Najstarszym i najlepiej zachowanym obiektem założenia zamkowego jest baszta, zwana basztą Halszki, czy też basztą Czarnej Księżniczki. Wzniesiono ją w XV wieku jako budowlę obronną i około 1518 r. przystosowano do celów mieszkalnych. Nazwa baszty związana jest z historią Halszki, księżniczki ostrogskiej, która przez 14 lat mieszkała w niej. Baszta była wkomponowana w ciąg murów obronnych pełniąc rolę wieży przybramnej, w której to umieszczona była tablica fundacyjna.

Ekspozycja w Baszcie Halszki poświęcona jest dziejom miasta i najbliższej okolicy. Na czterech kondygnacjach pokazano historię od czasów najdawniejszych do 1945 roku.