Zamek w Lidzie został zbudowany na polecenie wielkiego księcia litewskiego Giedymina w latach 20-30 XIV wieku. Usytuowano go u zbiegu rzek Kamenki i Lidy, na piaszczystym nasypie o wysokości około 5 metrów. Dodatkowym utrudnieniem dla wrogów były bagniste brzegi rzeki otaczające zamek. Ponadto po północnej stronie zamku wykopano szeroką na 20 metrów fosę, oddzielającą go od miasta.
Zamek był nieregularnym czworobokiem o bokach 93,5 x 83,5 x 80 x 84 metry z dwiema wieżami na przekątnej. Fundamenty murów wykonano z głazów ułożonych w poziomych rzędach; cegły ułożono na głazach zgodnie z technologią bałtycką. Wysokość murów sięgała 12 metrów przy grubości 2 metrów na dole i 1,5 metra na górze. Uzupełniała je galeria bojowa z barierą o grubości 0,7 metra. Platforma galerii wsparta była na drewnianych belkach. Bezkomorowe otwory strzelnicze, które w planie miały kształt trapezu, szeroką podstawą zwrócone były w stronę dziedzińca zamkowego. Przy tej samej wysokości, otwory strzelnicze miały trzy różne szerokości i były rozmieszczone naprzemiennie w murze co 2,4 metra. Pierwotnie były one przeznaczone do strzelania z łuków i kusz, ale później były również używane do strzelania z lekkiej broni palnej.
Bramy w zamku Lidy znajdowały się we wschodnim murze, bliżej jego północnego narożnika. Jedna brama była mniejsza, miała 3 metry wysokości i 2,5 metra szerokości, druga brama była większa, miała 6 metrów wysokości i 4,5 metra szerokości. Szczyt obu bram miał formę łuku. Największa brama posiadała niszę o wysokości 2,5 metra, która wystawała poza mury, co wskazuje, że brama posiadała most, którego część przed zamknięciem była najprawdopodobniej podnoszona.
Pierwsza południowo-zachodnia wieża zamku w Lidzie ma plan kwadratu o długości murów 11,3 x 11,3 metra. Druga wieża znajduje się po przekątnej w północno-wschodnim narożniku. Jej plan przypomina lekko przekrzywiony prostokąt o długości ścian 12 x 12,5 x 12,3 x 12,15 metra. Wieża posiadała łukowate wejście od strony dziedzińca oraz szerokie na 1 metr schody wbudowane w zachodnią ścianę z drewnianymi stopniami.
Zamek Lida był ważnym elementem systemu obrony WKL przed krzyżowcami. Po śmierci księcia Gedemina stał się własnością jego syna, księcia Olgierda. Od momentu podpisania Unii w Krewe zaczął zapewniać stosunki między dwiema stolicami, Wilnem i Krakowem. W tym zamku w obecności wpływowych osób z WKL i Polski w 1387 roku Skirgiełło złożył przysięgę wierności swojemu bratu Jagiełle jako wicekrólowi Wielkiego Księcia. Było to również miejsce, w którym Jagiełło podpisał ważne dokumenty związane z chrztem Litwy, a w 1422 r. świętował tu swój ślub z Zofią Golszańską po ślubie w Wilnie. W XV-XVI wieku zamek nadal był jedną z wielkich rezydencji książęcych i najważniejszym elementem strukturalnym miasta.
Ze względu na swoje strategiczne położenie, zamek w Lidzie był często atakowany przez krzyżowców, zwłaszcza podczas wewnętrznej wojny między Witoldem i Jagiełłą o władzę w WKL. Zamek stracił swoje strategiczne i narodowe znaczenie na przełomie XVI i XVII wieku. Po szturmie i częściowym zniszczeniu przez wojska moskiewskie w 1659 r., a następnie przez Szwedów w 1700 r., stopniowo zaczął popadać w ruinę.