Stein ist die einzige mittelalterliche Burg Kärntens, die noch weitgehend im Originalzustand erhalten ist. Die Burg verfügt über keinen Innenhof und auch über keine durchgehenden Gangverbindungen. Die einzelnen Geschosse waren nur über zwei schmale Wendeltreppen zugänglich. Man vermutet daher, dass sie von zwei Familienzweigen bewohnt waren und Stein eine Doppelburg war. In der Nordostecke der Burg liegt die zweigeschossige Kapelle, die älteste und schönste Doppelkapelle Kärntens. Sie ist ein selbständiger Baukörper mit einem eigenen Dach, der an der Nordseite des Palas deutlich vortritt. Ein als Glockenturm dienender Dachreiter lässt sie als Sakralbau leicht erkennen. Von den anschließenden Wohngebäuden war sie ursprünglich durch einen kleinen Hof baulich getrennt, doch wurde dieser später überbaut, um den ständigen Raummangel zu lindern. Die Burgkapelle besitzt eine halbkreisförmige romanische Apsis, die an der östlichen Außenmauer turmartig vorspringt. Es handelt sich bei der Kapelle eigentlich um zwei übereinander liegende Beträume. Der untere ist dem hl. Valentin geweiht. Johannes von Viktring berichtet, dass sich 1228 in ihr ein Wunder ereignet haben soll. Urkundlich wird sie aber erst 1334 erstmals genannt. Der damals für die Burgkapelle in Avignon ausgestellte prächtige Ablassbrief des Papstes Johannes XXII wird im Kärntner Landesarchiv aufbewahrt. Eine Öffnung in der Holzdecke bildet die Verbindung zur oberen Kapelle, die dem hl. Martin gewidmet ist. Sie wurde 1503 durch den Toblacher Baumeister Bartholomäus Vierthaler auf die Valentinskapelle aufgesetzt und eingewölbt. Die Schlusssteine ihres Netzrippengewölbes zeigen gemalte Wappen der Familien Görz und Gonzaga. Die Gewölbemalereien schuf Simon von Taisten zwei Jahre später. 1975 wurden auch Wandmalereien des gleichen Meisters freigelegt. Im Wohnbereich haben sich mehrere spätgotische Portale sowie bemalte Holzdecken erhalten. Manche Decken sind auch mit spätgotischen Netzgrat- und Sterngewölben versehen.
