In einem Umkreise von etwa fünfzig Meter Durchmesser um den Schulerstein liegen frei auf der Erdoberfläche drei stark abgerundete Granitblöcke, die als "Teufelsbrote" bezeichnet werden. Die Sage meldet:
Zur Zeit als noch die Muttergottes mit dem Kinde unerkannt herumwanderte, bekam sie einmal von mitleidigen Menschen drei Brote. Das ärgerte aber den Teufel, der der hl. Maria stets spinnefeind war, und er verwandelte die Brote in Stein. Dagegen schnitt er sich von seinem Brot eine große Mugel ab und machte aus Neid den Rest dann auch zu Stein. Ein zwei Meter hoher, kugelförmiger Steinblock, der sich gleichfalls (noch um 1890) in der Umgebung von Eibenstein bei Gmünd befand, hat ungefähr Brotform und sieht so her, als ob von ihm ein Stück abgeschnitten worden wäre; der heißt nun das Teufelsbrot, mit der Erinnerung an die Bosheit des Bösen, schon in den Urtagen unseres Waldviertels.