Die Schlossmühle wurde 1997 von Peter Freiherr von Freyberg und seiner Gemahlin Sylvia Gräfin von Pestalozza gegründet. Daher zeigt das Wappen der Schlossmühle das Allianzwappen der Freiherrn von Freyberg und der Grafen von Pestalozza. Zu früheren Zeiten befand sich an der Stelle, wo heute die Schlossmühle steht, eine Ölmühle, die durch das Wasser der Schmiech angetrieben wurde. Heute erinnert nur noch das für die Schlossmühle angefertigte Mühlrad an diese Zeit.
Später wurde dann ein Hallenschwimmbad an dieser Stelle gebaut, bis dieses aus Altersgründen abgerissen werden musste und auf dessen Mauern dann schließlich die Schlossmühle erbaut wurde. Dort wo jetzt der große Rasen zu sehen ist stand früher eine Gärtnerei, die unter anderem von der Familie von Freyberg betrieben wurde, aber schließlich auch aus Altersgründen abgerissen werden musste. Von der Terrasse aus sieht man recher Hand das Alte Schloss (ehemaliges Wasserschloss) und linker Hand den langen Gang, der das Alte Schloss mit dem sogenannten Neuen Schloss verbindet.
Die Freiherrn von Freyberg sind ein schwäbisches Uradelsgeschlecht, deren Ursprünge in Graubünden und Schwaben, der Sage nach sogar in Rom, liegen. Es gab mehrere Stämme, Linien und Äste, doch sind im Laufe der Jahre viele von ihnen ausgestorben und so sind heutzutage alle Freybergs Nachfahren von Ernst (1844-1909) und Leopoldine (1851-1941) von Freyberg. Heute besitzen die Freybergs noch die Schlösser zu Allmendingen, Altheim, Jetzendorf, Haldenwang und Knöringen.
Das Stammwappen der Freybergs ist ein quergeteilter Schild, oben silber oder weiß, unten blau, darin drei goldene Kugeln (Dottern). Auf dem Helm mit blau-silbernen Decken fünf silberne Straußenfedern.
Einige Persönlichkeiten aus den Reihen der Freybergs: Johann Christoph von Freyberg (1616-1690) war Fürstbischof zu Augsburg und kaufte für seine Familie die Reichsherrschaft Justingen; Irmingard von Freyberg (geboren 1907) machte Scherenschnitte, von denen man heute noch viele in Sommerhausen bewundern kann; Charlotte von Freyberg war Malerin und die meisten Bilder in der Schlossmühle stammen von ihr; Egloff von Freyberg (1883-1984) war Generalmajor bei der Luftwaffe und war als Zigeunerbaron aufgrund seiner ausgeprägten Beziehungen zu den Zigeunern bekannt. Die Beziehungen zwischen den Freybergs und den Zigeunern stammt noch aus der Zeit als die Freybergs den Kesslerschirm inne hatten; außerdem sind die Freiherrn von Freyberg Nachfahren der Heiligen Elisabeth von Thüringen.
Die Geschichte des Allmendinger Schlosses beginnt mit dem ehemaligen Wasserschloss zu Allmendingen, welches seit Ende des 14. Jahrhunderts der Wohnsitz der Herrscher von Allmendingen war. Spätestens seit 1520 bewohnte es die Famiele Renner von Allmendingen, die sich in kaiserlichen Diensten emporgearbeitet hatten. Später verkauften sie es an die Stadt Ehingen, welche das Schloss mit seinen dazugehörigen Besitzungen sogleich den Freyberg zu Altheim überließ. Das Schloss ist heute noch im Besitz der Familie von Freyberg, die das Schloss mit einem neuen, 1784 vollendeten, Bau erweiterte.
Das ehemalige Wasserschloss zu Allmendingen ist seit Ende des 14. Jahrhunderts der Wohnsitz der Herrscher von Allmendingen. Spätestens seit 1520 bewohnte es die Famiele Renner von Allmendingen, die sich in kaiserlichen Diensten emporgearbeitet hatten. Später verkauften sie es an die Stadt Ehingen, welche das Schloss mit seinen dazugehörigen Besitzungen sogleich den Freyberg zu Altheim überließ. Das Schloss ist heute noch im Besitz der Familie von Freyberg, die das Schloss mit einem neuen, 1784 vollendeten, Bau erweiterte.
