Nejznámějším držitelem hradu byl Jindřich z Lipé. Do poloviny 17. století na hradě sídlili Berkové z Dubé, kteří jej v 16. století přestavěli na renesanční zámek s dvoupatrovým palácem. Později však byl zámek opuštěn a v roce 1957 stržen. Z původní stavby se dochovala jen zřícenina se zachovanými sklepy, částí hradního zdiva a 2 brány.

V současné době se na hradě konají různé kulturní akce, pašijové hry a další.

Nová expozice na vodním hradě:
Ve východním křídle hradu je umístěna stálá expozice, která má dílčím způsobem připomenout nejenom dobu cukrovaru, ale i existenci židovské menšiny ve městě a její přínos pro českolipskou komunitu.

V zrestaurovaných prostorách východní brány tak může návštěvník získat představu, jak vypadaly místnosti v 19. století, kdy je využíval ředitel cukrovaru, který v té době v areálu byl.

Nově otevřená expozice je vybavena mobiliářem zapůjčeným z Národního památkového ústavu. Z původního vybavení se zachovala jen dvoje kamna.