Zamek w Orszy został zbudowany u ujścia rzeki Orszy do Dniepru. Podobnie jak zamek w Witebsku, zamek w Orszy został zbudowany na fundamentach dawnej drewnianej osady, która stała na terenie starej osady Orsza od XII wieku. Starożytna cytadela, która stała na wzgórzu o wysokości 6-7 metrów, miała trójkątny kształt i była otoczona wałem, a od strony wschodniej chronił ją rów wykopany na głębokość 3 metrów. Jego całkowita powierzchnia wynosiła 0,5 hektara.
Po tym, jak Orsza stała się częścią WKL, zyskała strategiczne znaczenie i na rozkaz wielkiego księcia litewskiego Olgierda zamek w Orszy został wzmocniony. Zamiast starego drewnianego zamku zbudowano kamienne mury i wieże.
W trakcie odbudowy zamku zasypano fosę obronną i wykopano nową, położoną wyżej na wschodzie. Wzdłuż krawędzi powiększonego terenu zbudowano ziemny wał, a jego zbocze, które wcześniej otaczało cytadelę, od wewnętrznej strony wyłożono kamienną kostką brukową. Na obwodzie nowego miejsca zaczęto budować kamienne mury i wieże, jednocześnie włączając drewnianą cytadelę do kamiennego kompleksu. W ten sposób całkowita powierzchnia zamku w Orshy wzrosła do 3,1 hektara.
Za życia Olgerda budowa zamku nie została ukończona, więc gdy książę odszedł, kamienne mury obronne zostały szybko uzupełnione drewnem. W tej formie, pół kamiennej i pół drewnianej, zamek stał do końca XIV wieku.
Budowę kontynuowano w latach 1398-1407 z rozkazu wielkiego księcia litewskiego Witolda, ale nawet wtedy drewniane konstrukcje nie zostały zastąpione kamiennymi. Przy wznoszeniu murów i wież stosowano tzw. technikę "muru pasowego", w której rzędy średniej wielkości głazów były wyrównane z rzędami cegieł.
Mury twierdzy Orsza zostały wzmocnione pięcioma wieżami, z których trzy były wieżami narożnymi. Wejście do zamku znajdowało się we wschodniej ścianie i prowadziło przez drewniany most nad fosą wypełnioną wodą z rzeki Orszy. Po dwóch etapach budowy długość murów zamku wynosiła około 354 metry.
W wyniku częstych działań wojennych i czterech oblężeń przez wojska moskiewskie w latach 1502-1519, zamek w Orszy został zniszczony. Jego odbudowa rozpoczęła się w 1529 roku, a ponieważ Orsza nie miała wystarczających środków na odbudowę, kamienne mury i wieże zostały odbudowane z drewna.
Do 1560 r. bramy zamku były dwupoziomową konstrukcją na kamiennym fundamencie z systemem konstrukcji blokujących. Brama była zamykana od zewnątrz przez podnoszony most. Na lewo od bramy znajdowała się dwukondygnacyjna półkamienna wieża. Dalej wzdłuż muru w kierunku wschodnim znajdowała się trzecia wieża, kamienna do drugiej kondygnacji, a nad nią drewniana. Jej dolna część była zaadaptowana na zbrojownię. Od strony Dniepru znajdowała się czwarta dwukondygnacyjna wieża, w pobliżu której, pod kamiennym murem, znajdowało się zamaskowane wejście do zaopatrywania obrońców zamku w wodę z Dniepru. Dalej mur zamkowy prowadził do piątej wieży. Mury zamku kończyły się galerią bojową na belkach wspornikowych.
W takiej formie zamek w Orszy stał do połowy XVII wieku, aż do całkowitego zniszczenia podczas wojny Księstwa Moskiewskiego z Rzeczpospolitą Obojga Narodów w latach 1654-1667. Biorąc pod uwagę szczęśliwe strategiczne położenie zamku, Moskale próbowali go odbudować, ale nie mieli czasu, w 1661 roku zamek został wyzwolony przez wojska Rzeczypospolitej Obojga Narodów bez większego wysiłku. Po zwycięstwie w tej bitwie zamek został ponownie odnowiony, ale w kolejnej wojnie, już ze Szwedami w latach 1700-1709, został spalony z rozkazu cara Rosji Piotra I. Po wojnie północnej zamek został ponownie odbudowany i ostatecznie zniszczony w 1772 roku, kiedy Orsza została przyłączona do Imperium Rosyjskiego w wyniku pierwszego rozbioru Rzeczypospolitej Obojga Narodów.