До начала 15-ого века город Visby имел статус свободного города, подчинялся непосредственно шведскому королю. В 15-ом веке уже под руководством Тевтонского Ордена началось строительство замка Visborg. Visborg был огромен, его можно было назвать городом внутри города. Построен он был в 16-ом веке и стал служить как укрепление. В 1676-1679 годах, когда остров захватила Дания, замок практически полностью разрушили. До наших дней сохранилась лишь южная внешняя стена и кусок стены внизу у моря. В церкви острова Fåro, на картине, Вы можете увидеть каким было это величественное здание.