Seit über 1.000 Jahren wird im westlichen Münsterland, in den Baumbergen, ein feinkörniger, gelblicher Sandstein abgebaut. Dieser Sandstein  ist im Münsterland über Jahrhunderte sowohl als Baumaterial wie auch als Werkstein für Steinmetze und Bildhauer verwendet worden. Für die in den Baumbergen ansässigen Menschen waren Abbau und Verarbeitung des Sandsteins von existentieller Bedeutung.

Anfang der 1980er Jahre begannen Überlegungen, diesem für die Sozialgeschichte der Region wie auch  für die westfälische Kunstgeschichte wichtigen Naturstein ein Museum zu errichten. Es galt, die historischen Zeugnisse, die Arbeitsstätten und die künstlerischen Werke für spätere Generationen zu bewahren.
Auf Anregung von Clemens Freiherr von Twickel konnte die  Gemeinde Havixbeck den unter Denkmalschutz stehenden westfälischen Bauernhof, den "Rabertshof",  für die Einrichtung eines Museums zur Verfügung zu  stellen. Zur ideellen und materiellen Unterstützung dieses Vorhaben wurde dann 1985 der "Verein zur Förderung eines Museums für Baumberger Sandstein e. V." gegründet.
Zum ersten  Vorsitzenden wurde Clemens Freiherr von Twickel. gewählt, der den Vorsitz bis zu seinem Tode im Jahr 2007 inne hatte.

1986 übernahm die Gemeinde Havixbeck die Trägerschaft für das Museum. Eine bedeutende finanzielle Förderung erhielt das Vorhaben durch das Land Nordrhein-Westfalen sowie durch den Kreis Coesfeld. Gemeinsam mit dem Museumsamt des Westfälisch-Lippischen Landschaftsverbandes wurde eine Konzeption für die Ausstattung des Museums ausgearbeitet. Bereits vor Eröffnung des Museums fanden erste Ausstellungen und Veranstaltungen in der Remise statt..

Ein Jahr später konstituierte sich nach Beschluss des Gemeinderates ein Museumsbeirat, der eine beratende Funktion in Verbindung mit den beteiligten Fachausschüssen der Gemeinde sowie des Kreises Coesfeld hatte.
Das Baumberger-Sandstein-Museum konnte dann am 11. Juni 1994 offiziell eröffnet werden.
Seiner Satzung entsprechend war der Förderverein von Anfang an aktiv bei der Beschaffung von finanziellen Mitteln und geeigneten Exponaten wie auch bei der Knüpfung von persönlichen Kontakten. Nicht zuletzt leistete der Verein vielfältige ehrenamtliche Arbeiten zur Akzeptanz des Sandsteinmuseums innerhalb wie auch außerhalb von Havixbeck.

2004 erfolgte die Änderung des Vereinsnamen in "Förderverein Baumberger-Sandstein-Museum e . V."

Am Sonntag, den 5 September feiert der Verein mit Förderern und Unterstützern, im Rahmen einer Festveranstaltung auf Haus Havixbeck, das 25 jährige Jubiläum des Fördervereins.