Die Stadtbefestigung besteht aus der eigentlichen, zehn bis elf Meter hohen Mauer und einer davor liegenden niedrigeren Zwingmauer in etwa neun Meter Entfernung. Daran schließt ein etwa 15 Meter breiter und fast zehn Meter tiefer Stadtgraben an, der am Petersberg in den Hang gegraben ist. Der Wassergraben wird aus verschiedenen Grundwasserquellen gespeist und mündete früher in die Stadtkanalisation, heute befindet sich der Abfluss am Südende des Grabens. Die unteren Mauerteile stammen aus dem späten 13. Jahrhundert, jüngere Abschnitte aus dem ersten Viertel des 14. Jahrhunderts, der Großteil der Zwingermauer und die Zinnenbekrönung aus dem 15. Jahrhundert. Neben dem nördlichen Neumarkter Tor, dem östlichen Olsator und dem südlichen Sankt Veiter Tor besaß die Befestigung hangseitig westlich des Virgilienberges das Heidentor und zwischen Rotturm und Petersberg das Sacktor, welches heute noch besteht.