Za panowania księcia Kiejstuta w latach 1345-1381 Troki były jego stolicą i ważnym ośrodkiem politycznym. Sam zamek w Trokach został zbudowany na początku XV wieku na wyspie pośrodku jeziora Galve przez wielkiego księcia litewskiego Witolda.
Zamek w Trokach należy do typu domu klasztornego, który powstał w wyniku ewolucji od typu kasztelu. Przede wszystkim zamki zakonu krzyżackiego były domami konwentualnymi, ponieważ powstały w ramach architektury zakonu. Powodem ich powstania była specyfika organizacji życia wewnętrznego. Dość precyzyjne w planie formy konwentów uwarunkowane były potrzebami zakonu rycerskiego, jednocześnie organizacji monastycznej i rycerskiej. Kompozycja obejmowała kapitele, kapitel (główna sala), bergfried (główna wieża obronna), refektarz (jadalnia), dormitorium (pomieszczenia sypialne), wieże zewnętrzne, galerie bojowe, zwinger (niski mur w pewnej odległości od głównej części zamku), forburg (część przedzamkowa) i dansker (latryna).
Najprawdopodobniej zamek w Trokach został zbudowany przez budowniczych z ziem zakonu krzyżackiego, gdzie Witold mieszkał przez wiele lat, kiedy walczył o władzę w WKL ze swoim kuzynem królem Polski Jagiełłą. I najprawdopodobniej ci sami budowniczowie po zakończeniu budowy udali się do księcia Jana Mazowieckiego, męża siostry Witolda, gdzie wznieśli dwa zamki w Liwie i Ciechanowie, które są podobne do zamku w Trokach.
Zamek w Trokach składał się z dwóch części: rezydencji i przedzamcza (forburga), które oddzielone były fosą wypełnioną wodą. Były one połączone mostem zwodzonym. Rezydencja otoczona była zwingerem i miała regularny czworoboczny kształt. Składała się z dwóch prostokątnych trzykondygnacyjnych pałaców zbudowanych równolegle do siebie, które były połączone ze sobą drewnianą galerią. Końcowe części pałaców były połączone murami obronnymi. Niższe kondygnacje wykonane były w formie pomieszczeń półpiwnicznych. Na pierwszym piętrze południowo-wschodniego pałacu znajdowała się sala ceremonialna ozdobiona freskami miejscowych mistrzów w stylu rosyjsko-bizantyjskim, poświęcona wielkiemu księciu litewskiemu Witoldowi. Okna w tej sali były przeszklone witrażami. Na pozostałych piętrach znajdowały się po trzy pokoje.
Wejścia do rezydencji strzegła sześciokondygnacyjna wieża-donżon o wysokości około 34 metrów i wymiarach 9,2 x 9,6 metra. Na parterze wieży znajdowało się przejście do rezydencji z podnoszonym mostem, gersą (mocną kratą wykonaną z żelaza lub drewna) i podwójnymi drzwiami. W wieży znajdowały się dwie klatki schodowe, jedna spiralna, a druga prosta.
Wieża z bramą z takim samym systemem obronnym jak w donżonie rezydencji prowadziła do części przedzamkowej (forburgu), a także do rezydencji. Na trzech rogach fortu wzniesiono kwadratowe wieże w podstawie i okrągłe w górnej kondygnacji, o wymiarach od 12 do 14 metrów w podstawie. Wewnątrz, wzdłuż murów, znajdowały się dwupoziomowe kazamaty z poddaszem przystosowanym do obrony.
Zamek w Trokach, zbudowany na wyspie, stał się rezydencją Witowta, gdzie podejmował ważne decyzje polityczne, przyjmował gości i ambasadorów z różnych krajów, w tym Jagiełłę, który przebywał na zamku w Trokach 13 razy. W tym samym zamku w 1430 roku zmarł jego założyciel Witold.
Zamek w Trokach był uważany za najbardziej nie do zdobycia we wschodniej Europie, a ponieważ został zbudowany w celu obrony przed krzyżowcami, nigdy nie został zdobyty przez wrogów. Jednak po zwycięstwie nad krzyżakami w bitwie pod Grunwaldem znaczenie zakonu krzyżackiego zaczęło zanikać, zamek stracił swoją funkcję obronną i z rezydencji książęcej przekształcił się najpierw w więzienie dla wygnanej szlachty, a następnie, w drugiej połowie XVII wieku, został opuszczony i zniszczony.
Dopiero w drugiej połowie XX wieku zamek w Trokach został odrestaurowany. W 1991 roku został uznany za historyczny park narodowy Republiki Litewskiej, w którym obecnie znajduje się Muzeum Historii Trok.