Zamek powstał prawdopodobnie w XIII wieku jako strażnica przy ważnym szlaku handlowym łączącym Czechy z Łużycami. Jego założycielem był według legendy Chvala z Lipé, który odkrył skałę podczas polowania na niedźwiedzia. Na początku XIV wieku zamek rozbudował Jindřich z Lipé, który dostał go od Henryka VII jako lenno cesarskie za zasługi. W połowie XIV wieku gród uzyskał czeski król Karol IV, który tu założył klasztor celestynów. W drugiej połowie XVI wieku zamek z klasztorem i przyległymi gruntami kupiła Żytawa. W 1577 roku zamek zapalił piorun i niemal cały areał został zniszczony. Do jego odbudowy już nie doszło, w przybliżeniu sto lat później, w 1681 roku runęła część skały wraz z wieżą zamkową i zawaliła dziedziniec. W 1829 roku ruiny zamku i klasztoru co prawda udostępniono do zwiedzania, ale pozostałości nadal niszczały. Rozległych remontów areał doczekał się dopiero po 1990 roku, kiedy odrestaurowano wieże zamkowe, kościół i mury pałacu cesarskiego.

Dziś areał jest dostępny do zwiedzania. Droga od parkingu prowadzi między domami pod skałę nad miastem i do zamku po piaskowcowych schodach. Nie wolno ominąć centrum informacyjnego, w którym można zapoznać się z historią tego miejsca.

Ciekawostką jest kolejka wąskotorowa łącząca Oybin z Żytawą. Na trasie wciąż jeżdżą pociągi z lokomotywą parową. Trasa wąskotorówki zaczyna się w Żytawie i ma dwa odgałęzienia, z których jedno kończy się w Oybin a drugie w Jonsdorfie.