Um den fuer die ca. 25 km entfernt liegende Stadt Wesenberg wichtigen Hafen auf einer Halbinsel am Finnischen Meerbusen effektiver vor Ueberfaellen durch Seeraeuber schuetzen zu koennen, wurde dort Anfang 1471 durch den neu gewaehlten Landmeister des Ordens Johann Wolthus von Herse eine erste Burg namens Vredeborch errichtet. Diese war ein kleiner dreistoeckiger befestigter Turmbau aus Stein, der dann nach den baulichen Erweiterungen den westlichen Teil der Ordens- burg bildete. Herse wollte den Livlaendischen Zweig des Ordens umfassend reformieren, um kuenftigen kriegerischen Bedrohungen besser begegnen zu koennen, machte sich aber durch sein engagiertes und eben auch eigenmaechtiges Vorgehen unter oftmaliger Umgehung des Generalkapitels wenig Freunde im Orden und wurde kurze Zeit spaeter durch eine Oppositionsgruppe um den Ordensritter Bernd von der Borch gestuerzt, im Herbst 1471 verhaftet und vermutlich 1472 von seinen Gegnern in Gefangenschaft ermordet.

Gegen Ende des 15. Jahrhunderts hatte die unter dem neuen Landmeister Bernd von der Borch erweiterte und in Tolsburg umbenannte Burganlage ausserdem einen inneren und aeusseren Burghof, geschuetzt durch 14 m hohe und 2 m dicke Mauern. Zusaetzlich erhielt die Burg einen Torturm im Osten zur Sicherung des aeusseren Burghofs und des nordwestlichen Abschnitts. Die Nordecke hinter dem aeltesten Gebaeudeteil bekam einen Kanonenturm, zur Seeseite hin wurden zwei Dansker errichtet und die Wehrmauer nochmals erhoeht.

Es gibt keine genauen Aufzeichnungen ueber die Burggeschichte waehrend des Livlaendischen Krieges (1558-1583); Tolsburg war aber waehrend dieser Zeit mehrfach umkaempft, so wurde sie 1558 durch russische Truppen ohne Gegenwehr eingenommen, von den Schweden 1574 erfolglos belagert und 1581 bei einem zweiten Angriff erobert. Waehrend des Schwedisch-Polnischen Krieges war sie 1600-1605 von polnischen Truppen besetzt. Gegen Ende des 17. Jahrhunderts konnte die Wehranlage nur noch teilweise und eingeschraenkt genutzt werden. Nach dem Grossen Nordischen Krieg (1700-1721) wurde die Tolsburg vermutlich wegen Zerstoerung dann ganz aufgegeben.