Die Geschichte der Burg beginnt eigentlich mit dem Burgherrn Bertram von Bourscheid, dessen Name zum ersten Mal im Jahre 1095 erwähnt wurde. Der Baubeginn der Burg geht auf das Jahr 1000 zurück und beruht auf noch älteren Bauten. Die Burg liegt auf einen nur von Nordwesten aus zugänglichen Schieferfelsen, 150 Meter über dem rechten Ufer der Sauer, 360 bis 380 m über dem Meeresspiegel.
Die Ruinen dieser Anlage zeugen heute noch von einer bedeutenden Feste, die etwa 151 m lang und 53 m breit war, mit einer Fläche von 12.000 m2, umgeben von einer starken Ringmauer mit Zwingern und 11 Türmen
Um das Jahr 1000 entstand aus einer primitiven hölzernen Befestigungsanlage eine erste feste Burg aus Stein. Ausgrabungen brachten römische, merowingische, karolingische und ottonische Spuren zu Tage. Von dieser ersten romanisch-gotischen Burg zeugen jetzt nur noch Bergfried und Ringmauer, heute innere Ringmauer. Die äußere Ringmauer, mit acht Türmen bewehrt, wurde um 1384 fertig gestellt. Gleichzeitig entstand das Stolzemburger Haus mit seinem gotischen Gewölbekeller.