Von der Kaiserpfalz sind nur noch einige Buckelquader aus Rotsandstein und spärliche Mauerwerksreste der Kapellenummantelung der von Friedrich II. erbauten Doppelkapelle erhalten. Diese sind an der heutigen Burgstraße (Südwestecke des Geländes) zu sehen (s. auch oben). Eine spezielle Pflasterung im unteren Bereich des Rathausvorplatzes zeigt den Grundriss des ehemaligen Saalbaus (28 x 19 Meter). Heute zum Teil ausgegraben:

Bei Baumaßnahmen im Umfeld der Kaiserpfalz wurden in den 1930er-Jahren weitere Mauerwerksreste und die unterirdische Gänge freigelegt. Östlich des Casimirschlosses sind Wagenspuren im Felsen sichtbar. Sie gehören zu einem Weg, der nach durchqueren der Lauter über eine Fuhrt weiter nach Osten führt.