Schloss ist die in Isny gebräuchliche Bezeichnung für die Gebäude des auf das Jahr 1096 zurückgehenden Benediktinerklosters. Im Rahmen der Säkularisation erhielt Graf von Quadt-Wyradt die Anlage.
1942 Stadt Stuttgart kauft das Schloss und nutzt es als medizinisch-geriatrische Abteilung des Bürgerspitals Stuttgart, später als Altenpflegeheim
1997 kaufen Isnyer Bürger die gesamte Anlage für 2,7 Millionen Mark; Rolf und Hans Müller erwerben das Hauptgebäude (1,2 Millionen Mark).
1999 Stiftung "Friedrich Hechelmann und Schloss Isny Kunst- und Kulturstiftung" übernimmt Hauptgebäude (finanziell ermöglicht durch die Brüder Müller, Annemarie und Walter Lautermann, Friedrich Hechelmann sowie Ilse Müller-Vollmer
Stiftungsgremium: Vorstand: Sabine und Felix Gölker, Dr. Antje Vollmer; Beirat u.a.: Friedrich Hechelmann, Rainer Magenreuter (Bürgermeister Isny), Dr. Kai Michael Sprenger (Kreisarchivar), Gerhard Köpf (Autor).
Kunsthalle: im Hauptgebäude untergebracht, beinhaltet das künstlerische Werk Friedrich Hechelmanns
Refektorium: Der ehemalige Speisesaal der Mönche wird heute als Veranstaltungsraum genutzt.