Die Stadt brannte im Jahre 1666 erneut ab. Diesmal verwendeten die Bürger auch die Steine der Burgruine zum Wiederaufbau ihrer Häuser. Da die Burg zur Verteidigung des Landes nicht mehr benötigt wurde, wurde sie auch nicht wieder aufgebaut. Der heutige historische Stadtkern "Alter Flecken" hat aus dieser Zeit sein Erscheinungsbild.