Zamek Brzeski był pierwotnie miejscem starożytnej osady. Lokalizacja była niezwykle korzystna z punktu widzenia obrony wojskowej - na wysokim cyplu, gdzie rzeka Muchawiec wpada do zachodniego Bugu. Nic dziwnego, że na miejscu osady wkrótce wyrósł trójkątny zamek o wymiarach 234 x 187 x 234, oddzielony od południa fosą w kształcie łuku od reszty otaczającego go terytorium. W połowie XIII wieku obrona brzeskiego zamku została wzmocniona kamienną wieżą, która stała do początku XIX wieku.
Ze względu na korzystne położenie, zamek brzeski często znajdował się w centrum wydarzeń politycznych i wojskowych. Wiadomo, że po tym, jak wojewoda brzeski Tytus odparł kolejny atak Mazowszan w 1282 r., zamek brzeski był zaangażowany w długą serię starć wojskowych między książętami litewskimi a królami polskimi. W połowie XIV wieku Brześć zaczął być niepokojony przez krzyżowców, którzy na krótko przejęli zamek w 1334 roku. W 1337 r. Brześć przeszedł w ręce księcia Kiejstuta, następnie w 1348 r. przeszedł w ręce Polaków, a dopiero w 1366 r., po tym jak Kiejstut ponownie go zwrócił, miasto zostało ostatecznie zabezpieczone przez litewskich książąt.
W grudniu 1409 r. na zamku odbyło się tajne spotkanie wielkiego księcia litewskiego Witolda z polskim królem Jagiełłą. To właśnie tam opracowano plan bitwy pod Grunwaldem. W latach 1446-1569 zamek stał się miejscem siedemnastu sejmów stanowych Wielkiego Księstwa Litewskiego. Ponadto regularnie odbywały się tu spotkania lokalnej szlachty i sesje sądowe.
Do naszych czasów nie zachowały się żadne szczegółowe opisy Zamku Brzeskiego, a z opisów Starostwa Brzeskiego z 1566 r. wiadomo jedynie, że zamek posiadał pięć wież i bramę. W wieży, która stała od strony rzeki Mukhavec, znajdowało się okrągłe blankowanie, a w starej bramie "z gankiem na szczycie" wisiał dzwon wojskowy - "Wielkie Dzwonienie". Znajdowała się tam metalowa zbroja dla 100 ludzi, jeden moździerz, 12 armat, 96 gakownic, 7 żelaznych "Kijów", 360 żelaznych atomówek, bełty do kusz i inne rzeczy. Specjalna służba i rzemieślnicy zamkowi opiekowali się bronią i konstrukcjami obronnymi: kanonier, stolarz, kowal, platernik, murarz.
Te same opisy wskazują na obecność specjalnej pompy do ukrytego dostarczania wody rurami do zamku brzeskiego. Pompy wodne były napędzane dużym kołem wodnym "Młyn". Mogło ono również obsługiwać mechaniczną stupę do mielenia prochu. Konserwacja pompy wodnej Zamku Brzeskiego była nadzorowana przez specjalnego mistrza - rurmistera.
W czasie pokoju do zamku przydzielano codziennie 12 stróżów i 12 urzędników. Obrona zamku i miasta spoczywała na barkach mieszczan i mieszkańców parafii. W czasie wojny na zamku stacjonował dodatkowy kontyngent wojska. Tak więc podczas wojny inflanckiej w lipcu 1566 r. stacjonowała tu kompania 600 kawalerzystów.
Ogólny system obronny Brześcia został uzupełniony o zamek i fortyfikacje miejskie. Główna część kwater miejskich znajdowała się naprzeciwko zamku i była korzystnie położona na wyspach otoczonych dwiema odnogami wodnymi rzeki Mukhavec. Miasto otoczone było wałem ziemnym, na którym stał parkan. Po wschodniej stronie, przed wałem, znajdował się rów wypełniony wodą. Ta linia obronna miała co najmniej cztery bramy. Przed każdą z bram znajdował się most.
Od połowy XVII wieku, z powodu częstych wojen, zamek był często niszczony i nie mógł być ukończony na czas między wojnami. A wraz z rozpoczęciem budowy Twierdzy Brzeskiej w 1833 r. pozostałości fortyfikacji zamkowych zostały ostatecznie zniszczone, a na ich miejscu zbudowano fortyfikacje wołyńskie.