Über mehrere Eigentumswechsel kam die mittlerweile stark verkommene
Burg im Jahr 1551 in den Besitz der Grafen Fugger aus Augsburg. Diese ließen von 1571 – 1578 die Burg durch Veit Milser zu einem feudalen Jagdschloss mit Stilelementen der Renaissance umbauen.
Heute ist die Burg im Besitz des Landes Baden-Württemberg und wird
vorwiegend durch die Katholisch Studierende Jugend (KsJ)
als Tagungsstätte und Schullandheim genutzt.
