Die im 12. Jh. erbaute Burg besteht aus einer am Hang des Kulmriegels liegenden Vorburg, ein turmartigen Quaderbau der darunter liegt und einer Hochburg auf dem Gipfel. Die Grimmensteiner waren von 1155 bis zu ihrem Aussterben im 14 Jh. die Besitzer. Danach wurde die Anlage mit der Herrschaft Pitten vereint. Dem Chorherrenstift Wiener Neustadt wurde die Anlage 1444 von Kaiser Friedrich III. geschenkt. 1468 im Besitz des St.Georgs-Orden, 1693 Freiherren von Petrowitsch, 1720 Grafen von Stella-Caracciolo. Seit 1961 im Besitz von Johann Riegler, der die Anlage neuromantisch ausbaut.