Als einst kaiserliches Lehen besaßen das Schloß Hainstetten einst die Sinzendorf, die Saint Julien, die Kielmannsegg und andere. Graf Saint Julien war es auch, der im 19. Jahrhundert den Umbau durchführen ließ.