Rozciąga się w rozległej kotlinie otoczonej szczytami wyżyny Podkrkonošská pahorkatina. Pierwsza pisemna wzmianka o miejscowości Semily pochodzi z 1352 roku, ponieważ jednak dotyczy kościoła, można zakładać, że miejscowość Semily istniała już dużo wcześniej.

Przez stulecia Semily były siedzibą pańską. Majątek długo należał do rodu Smiřickich, następnie do Albrechta z Valdštejna a po nim przeszedł w ręce zagranicznych rodów szlacheckich. Resztę majątku semilskiego odkupiło w 1890 roku miasto Semily.

Semily dzięki swojemu położeniu są dobrym punktem wypadowym wypraw do Czeskiego Raju, południowej części Gór Izerskich i podgórza Karkonoszy.