Ufortyfikowane centrum Połocka pierwotnie znajdowało się na osiedlu w pobliżu rzeki Połoty, ale w XI wieku zostało przeniesione do jej ujścia, na cypel położony na prawym brzegu Dźwiny Zachodniej.
Nie ma informacji o fortyfikacjach zamku w Połocku w XIV-XV wieku, z dokumentu z XIV wieku wiadomo tylko, że wieża "Wołkowaja" została zburzona. Bardziej szczegółowe informacje o zamku zawiera dokument "Rewizja Połocka z 1522 r.", który został opracowany przez marszałka Jana Kmitoju i stajennego Trockiego Martina Podtsevsky'ego.
Zgodnie z rewizją, zamek w Połocku miał 9 wież i 204 drewniane miasta zbudowane na skraju wysokiego "Wzgórza Samorodnaja". Wszystkie miasta były wykonane z drewna sosnowego, ściany miały grubość 5 bali i długość 5,84 metra. Dokument ten opisuje również wieże zamku.
Pierwsza wieża bramna nazywała się "Usteisky", stała w rogu zamku nad ujściem rynny i otwierała drogę przez most do Zapolotsky Posad. Wieża miała grubość trzech bali i prostokątny kształt. Miała podnoszony most.
Druga wieża, podobnie jak pierwsza, miała ściany o grubości trzech bali. Trzecia wieża miała otwory strzelnicze dla dział. Nie ma wzmianki o czwartej wieży. Piąta "Michajłowska Wieża", zbudowana przez wynajętych przez Brasława budowniczych, strzegła wyjścia do Połoty. "Szósta wieża została zbudowana przez budowniczych z Wielkich Łuków, Sebezh, Nevel i Zovolchya.
Siódma wieża została zbudowana przez mieszczan połockich i została ukończona w 1522 roku. W budowie pomógł wielki książę litewski Zygmunt, który przeznaczył na ten cel 10 kop groszy (1 kopa = 60 groszy). Ósma wieża strzegła mostu prowadzącego z zamku do Wielkiego Posadu. Ostatnia, dziewiąta wieża nazywana była "Wieżą Zofii", miała grubość trzech bali i stała na rogu zamku.
Wszyscy mieszczanie Połocka byli zobowiązani do dbania o stan czterech wież i czterdziestu miast. Ponadto musieli naprawić i zbudować dwa mosty i fortyfikacje ostróg wokół Wielkiego i Zapolotskiego Posad.
Z rewizji z 1552 r. wiadomo również, że zamek i miasto Połock miały własny system ochrony. Tak więc bramy zamku były strzeżone przez dragonów, którzy byli utrzymywani z dochodów z ceł połockich. Ponadto, Wielki Książę Litewski Zygmunt w 1529 roku specjalnie wydał "Statut Połocki", który określał porządek strzeżenia bram miejskich i fortyfikacji. Zgodnie z tym statutem "klikunowie" pełnili służbę w nocy, krzycząc i dmąc w specjalne trąbki. Duże znaczenie miała służba przeciwpożarowa.
Druga grupa straży, zgodnie ze statutem Zygmunta, składała się z 12 osób, mogli do niej należeć wszyscy mieszkańcy miasta, od książąt po mieszczan. Grupa ta strzegła bram w nocy. Ponadto w zamku połockim znajdowała się stała grupa strażników, którzy otrzymywali za to wynagrodzenie.
Ze względu na swoje położenie Połock był ważnym ośrodkiem strategicznym i punktem zaczepienia dla różnych wrogów. Mury połockiego zamku i miasta chroniły mieszkańców przed ciągłymi atakami na miasto. W czasach częstych ataków zakonu inflanckiego Połock nigdy nie został zdobyty przez krzyżowców. Jednak drewniane mury nie były w stanie ochronić miasta przed pożarami. Zamek w Połocku spłonął w 1499 r., ale został szybko i energicznie odbudowany.
Począwszy od XVI wieku fortyfikacje zamku połockiego i miasta były poważnie uszkadzane podczas częstych działań wojennych. Podczas wojny inflanckiej w 1563 r. wojska Iwana Groźnego poważnie zniszczyły obronę miasta i zamku. Jednak po zdobyciu Połocka wojska carskie szybko przywróciły je do dobrego stanu.
W 1579 r., kiedy Połock został wyzwolony przez wojska wielkiego księcia litewskiego i króla polskiego Stefana Batorego od wojsk Księstwa Moskiewskiego, mury Połocka zostały ponownie uszkodzone przez ogień i kule armatnie. Po wyzwoleniu zostały ponownie odrestaurowane. Zamek był niejednokrotnie remontowany w latach 1654-1667, czyli w okresie wojny Rzeczypospolitej Obojga Narodów z państwem moskiewskim.
W czasie wojny północnej na zamku połockim i w pozadach zbudowano dodatkowo fortyfikacje bastionowe. Jeśli chodzi o mury, były one nadal drewniane, co wyraźnie widać na rysunku z 1703 r. autorstwa stolnika Piotra Wielkiego M. Cyzyrewa.
Ostatni raz zamek w Połocku i miejskie fortyfikacje były bronione w wojnie 1812 roku, po zakończeniu której straciły swoje strategiczne znaczenie. Obecnie teren zamku jest objęty rezerwatem historyczno-archeologicznym.