Betritt man die Ortenburg durch die kleine Pforte im Matthiasturm, erblickt man linker Hand hoch oben an der Burgmauer, neben dem Turm unter einem Fenster zwei steinerne Köpfe eingemauert.
Es handelt sich wahrscheinlich um die Reste zweier Bildsäulen, die unter dem Brandschutt gefunden worden waren. Da man über die Herkunft jedoch nichts Genaueres mehr aussagen konnte, fand eine Sage eine ganz eigene Erklärung.
Es heißt, dass sich ein Mönch aus dem Bautz'ner Franziskanerkloster in eine Ratstochter der Stadt verliebt hatte. Weil ihre Liebe den strengen Gesetzen und Gepflogenheiten des Mittelalter widersprach, wurde das Mädchen aus Bautzen verbannt und in ein Nonnenkloster nach Prag geschickt. Doch die Sehnsucht war zu groß. Die junge Frau entkam den Klostermauern und kehrte in die Arme ihres Geliebten zurück. Allerdings wurde das Liebespaar entdeckt und ihre Strafe sollte sehr grausam sein, denn sie wurden an der besagten Stelle lebendig eingemauert. Solche Strafen wurden in Bautzen tatsächlich vollzogen. Als Beweis dient ein Skelettfund, den man bei Mauerarbeiten an den ehemaligen Klostermauern fand. Die Gebeine stammen von einem jungen Mann, dessen Kopf noch auf einem eisernen Ring saß, der in die Mauer eingelassen war.