Zamek w Witebsku został zbudowany na lewym brzegu rzeki Dźwiny u zbiegu z rzeką Wićba. Składał się z dwóch części, górnej i dolnej, o łącznej długości 300 metrów i szerokości 150 metrów. We wschodniej części Zamek Górny znajdował się na górze (o wysokości około 15 metrów i płaskiej powierzchni 0,7 hektara). Ta część góry była pierwotnie ufortyfikowanym centrum Witebska, gdzie w VI-IX wieku znajdowała się osada Krywicze, a w X - pierwszej połowie XIV wieku w tym miejscu. W XIV wieku w tym miejscu została założona drewniana cytadela, w pobliżu której na cyplu u zbiegu rzeki Wity do Dźwiny Zachodniej znajdowało się rondo.
W 1320 r. Witebsk stał się częścią WKL, przechodząc w drodze dziedziczenia na syna wielkiego księcia litewskiego Giedymina Olgierda, który był żonaty z Marią Jarosławną, córką ostatniego księcia apanażowego Witebska Jarosława. Od tego momentu zamkowi w Witebsku przypisywano ważną rolę strategiczną w polityce wschodniej WKL, więc Olgierd nakazał budowę kamiennych fortyfikacji. Budowa rozpoczęła się w latach 30. XIV wieku i zakończyła w 1351 roku pod kierownictwem drugiej żony Olgierda, Uljany Twierskiej. Kamienne mury zostały zbudowane wzdłuż obwodu starego miasta i przyległego miasta, ostatecznie tworząc jeden system obronny składający się z Górnego i Dolnego Zamku.
Dolna część murów została zbudowana z dużych głazów, a na nich położono cegły, podobnie jak w zamkach Krewa i Lidy. Mury miały zaledwie 0,5 metra głębokości, ale ze względu na swoją grubość i wewnętrzny drewniany szkielet składający się z siedmiu rzędów bali iglastych wypełnionych gliną, były bardzo mocne i stabilne. Mury kończyły się galerią bojową z zębami i miały łączną długość 688 metrów.
Podstawą obrony witebskiego zamku było osiem kamiennych wież, w tym: duża brama od strony zamku dolnego, brama od strony Dźwiny i brama od strony rzeki Wity. Trzy- i czterokondygnacyjne baszty miały wymiary 7 x 7 i 8,8 x 8,8 metra, z 3-metrowymi ścianami u podstawy. Wszystkie znajdowały się na zewnątrz murów, co pozwalało na frontalny i flankowy ostrzał przyległego terytorium.
Wraz z basztami, które były częścią linii murów zamkowych i stanowiły niezależne elementy obronne, istniały dodatkowe występy z murów, które zazwyczaj nie były zamykane od wewnątrz i nie przekraczały wysokości murów zamkowych. Gzymsy te nie pełniły samodzielnej funkcji obronnej, a służyły jedynie do dodatkowego ataku flankowego na wrogów. W rezultacie witebski zamek był fortyfikacją obronną, która wyglądała jak ścięta piramida.
Pomimo swojej potęgi, kamienne fortyfikacje witebskiego zamku zbudowane w połowie XIV wieku nie przetrwały długo w swojej pierwotnej formie. Ze względu na swoje położenie Witebsk był często atakowany, więc pod koniec stulecia zostały poważnie uszkodzone podczas walki o władzę w WKL między Witoldem a Jagiełło. W 1437 roku, podczas oblężenia miasta przez wojska wielkiego księcia litewskiego Zygmunta Kiejstutowicza, kamienne fortyfikacje witebskiego zamku zostały ponownie zniszczone. Mimo zaciekłego oporu mieszczanie musieli uznać władzę Zygmunta.
Z powodu częstych zniszczeń, do połowy XVI wieku z kamiennych fortyfikacji pozostał tylko jeden zniszczony mur i poważnie uszkodzona kamienna wieża nad Dźwiną, jak mówi zapis w Kronice Litewskiej i Żmudzkiej. Wszystko to doprowadziło do tego, że w XVI-XVII w. kamienne fortyfikacje były stopniowo przekształcane w drewniane, których wznoszenie było szybsze. To pozwoliło Piotrowi Wielkiemu spalić zamek podczas wojny północnej w czasie odwrotu.