Zamek w Braniewie zbudowano pod koniec XIII wieku w czasach biskupa Henryka I Fleminga. Wzniesiono go z cegły na miejscu poprzedniej warowni założonej przez Krzyżaków, a zniszczonej przez Prusów. Budowlę założono na planie kwadratu z przelotem bramnym od południowego-wschodu wiodącym na główny dziedziniec przez budynek mieszkalny. Od strony południowo-zachodniej znajdowało się przedzamcze, do którego prowadziła brama z głównego dziedzińca. W latach 1320-1330 nastąpiła rozbudowa warowni, którą otoczono murem obronnym z dwiema wieżami, od północy i zachodu. Wzdłuż muru od strony północno-wschodniej zbudowano budynki gospodarcze. W czasie czternastowiecznej rozbudowy podwyższono wieżę bramną miedzy dziedzińcem a podzamczem, umieszczając w górnej kondygnacji kaplicę.

Od roku 1340 po przeniesieniu siedziby biskupów do Ornety, na zamku rezydował burgrabia. W 1454 roku zamek zdobyły wojska polskie, a od 1461 ponownie znalazł się w posiadaniu biskupim. W latach 1633-35 okupujący Braniewo Szwedzi zbudowali przed zamkiem bastiony i szańce. W roku 1811 w zamku mieściła się szkoła. Dopiero w latach 1873-74 rozebrano część zabudowań. W czasie walk o wyzwolenie w 1945 roku zamek spłonął i około 1958 roku ruiny zostały rozebrane. Ocalała jedynie wieża bramna z kaplicą na piętrze.

Resztki zamku znajdują się w południowo-wschodniej części Starego Miasta niedaleko kościoła św. Katarzyny