I Palissaderna kan man ännu se spår av den stora medeltida borganläggningen Visborgs slott.
Visby hade under större delen av medeltiden ställningen som en fri stad som lydde direkt under den svenska kungen. Det förklarar att en medeltida borganläggning inte fanns i staden förrän på 1400-talet. Men i början av 1400-talet började ett borgbygge planeras av Tyska Orden. Projektet övertogs år 1411 av Erik av Pommern.
Visborgs slott blev ofantligt stort, som en stad i staden innanför Ringmuren. Med förborg hade det en yta om ca 160 x 140 meter. Borgen byggdes till under 1500-talet och blev Nordens starkast befästa borg.
När danskarna intog Gotland år 1676-1679 sprängdes borgen. Bara en del av den södra yttermuren och en bit av muren ner mot havet finns bevarad. Käutatavlan i Fårö kyrka visar den äldsta avbildningen av Visborgs slott i Visby.
