Najbardziej znanym właścicielem zamku był Jindřich z Lipé. Do połowy XVII wieku na zamku przebywali Berkovie z Dubé, którzy go w XVI wieku przebudowali na zamek renesansowy z dwupiętrowym pałacem. Później zamek został opuszczony a w 1957 roku zburzony. Z pierwotnego budynku zachowały się jedynie ruiny z zachowanymi piwnicami, części murów zamkowych oraz 2 bramy.

Obecnie na zamku odbywają się różne imprezy kulturalne, widowiska pasyjne i wiele innych.

Nowa ekspozycja na zamku wodnym: we wschodnim skrzydle zamku mieści się stała ekspozycja, która ma częściowo przypominać nie tylko czasy cukrowni, lecz również istnienie mniejszości żydowskiej w mieście oraz jej wkład na rzecz społeczności Czeskiej Lipy. W odrestaurowanych pomieszczeniach bramy wschodniej zwiedzający mogą zobaczyć, jak wyglądały pomieszczenia w XIX wieku, kiedy wykorzystywał je dyrektor cukrowni, który w tym okresie przebywał na terenie zamku.

Nowo otwarta ekspozycja ma wyposażenie zapożyczone z Narodowego Instytutu Zabytków. Z pierwotnego wyposażenia zachowały się jedynie dwa piece.