W XIII wieku przyszli do Chrastavy na zaproszenie Przemyślidów niemieccy koloniści. Byli to przeważnie górnicy, którzy na miejscu pierwotnej osady założyli miasto i zaczęli w okolicy wydobywać metale. Częścią Chrastavy jest osada Vítkov, która ma długość niemal 6 km. Obecnie tu przebiega remont umocnionego dworu Wothanburg z przełomu XII i XIII wieku. Niedaleko Chrastavy znajduje się też miejscowość Jitrava, w której znajduje się tablica początkowa i początek Międzynarodowego szlaku krajoznawczego Lužické i Žitavské hory.