Zamek w Holszanach został pierwotnie zbudowany na wysokiej górze nad rzeką Korabl, na północny wschód od miejscowości Holszany. Według kronik pierwsze wzmianki o drewnianym zamku pojawiły się w XIII wieku. Został założony i był własnością książąt Holszańskih do 1525 roku. Po ślubie księżnej Heleny Golszańskiej z Pawłem Sapiehą zamek przeszedł w ręce Sapiehów.
Paweł Stefan Sapieha, który był kuzynem Lwa Sapiehy, przeniósł zamek Golszański na brzeg rzeki Lusta (Zhyganka), przebudował go w kamieniu w pierwszej połowie XVII wieku. Zdalnie, w swojej kompozycji, przypominał zamek w Mirze.
Pod względem kształtu zamek Golszan był prostokątem, a raczej prostokątnym zamkniętym budynkiem o wymiarach 88,6 x 95,6 metra. Podobnie jak w Mirze, w Golszańskim budynki mieszkalne z wieżami tworzyły zamknięty dziedziniec o wymiarach 57 × 65 metrów. Jednak, w przeciwieństwie do Mirska, mocne mury typowe dla XVI-wiecznych murów obronnych ustąpiły miejsca fasadzie domu mieszkalnego. Sześciokątne baszty stojące na rogach stały się mniejsze i smuklejsze, a wieży bramnej nie było. Chociaż nie straciły one swojego pierwotnego znaczenia obronnego, były również wykorzystywane do celów mieszkalnych i domowych. Główna obrona zamku Golshan została jednak przeniesiona na potężne wały ziemne i rowy z wodą. Wejście do zamku prowadziło przez łukowaty portal w centrum północnego budynku mieszkalnego. Pod zamkiem znajdowały się ogromne sklepione piwnice.
Pomimo obecności wież i fos, zamek Golshan był używany bardziej jako rezydencja, która musiała robić wrażenie na gościach swoich właścicieli. A było czym imponować, bo nie bez powodu nadano mu przydomek "Kamienny Kwiat" i uznano za jeden z najpiękniejszych pałaców w WKL. Pomieszczenia zamku były ozdobione enfiladą, podłogi zdobiły mozaiki, w oknach wstawiono witraże, a także znajdowała się arkadowa galeria.
Swoją kompozycją zewnętrzna fasada zamku Golshan przypominała holenderskie zamki Besenstein i Kleidael w pobliżu Antwerpii. Takie podobieństwo można wytłumaczyć faktem, że architektura Wielkiego Księstwa Litewskiego podlegała dość silnym wpływom architektury holendersko-flamandzkiej, co wynikało z rozwoju stosunków kulturalnych i handlowych WKL z Europą Zachodnią.
Podobnie jak wiele innych zamków na terytorium Wielkiego Księstwa Litewskiego, Zamek Golszański nie uniknął zniszczenia. Podczas Wielkiej Wojny Północnej większość jego części została zniszczona przez Szwedów. Ostatni właściciel, niejaki Gorbanev, rozkazał wysadzić mury i wieże zamku, a cegły wykorzystać do budowy tawerny. Jednak zamek nie został całkowicie zniszczony. Wiadomo, że ludzie nadal mieszkali w zamku przed pierwszą wojną światową. Po drugiej wojnie światowej pomieszczenia mieszkalne zostały rozebrane na potrzeby miejscowego kołchozu w celu budowy domu kultury i chlewni. Z dawnej świetności zamku w Holszanach zachowało się częściowo wschodnie skrzydło pałacu i dwie wieże.