Das ehemalige Pfarrhaus zu Sarresdorf wurde um 1550 als Renaissance-Neubau errichtet, nachdem es im Geldrischen Erbfolgekrieg 1542/43 von Jülischer Truppen zerstört worden war. Pastor Peter Faber nahm 1666 umfangreiche Neu- und Umbauten vor. Als Sarresdorf 1708 bei einer Feuersbrunst zerstört wurde erlitt auch das Pfarrhaus erhebliche Schäden und musste abermals renoviert werden.

1803 wurde die Pfarrei Sarresdorf in die Pfarrei Gerolstein umbenannt. Der Grund ist naheliegend. Der Ort Sarresdorf war im Laufe der Jahrhunderte immer kleiner geworden, da seine Einwohner nach und nach in die am gegenüberliegenden Flussufer gelegene Stadt Gerolstein zogen. Hier lebten sie im Schutz der Ringmauer und genossen als Stadtbürger größere Rechte und Freiheiten.

Nachdem im Jahre 1811 mit dem Bau der überhaupt ersten Kirche in Gerolstein begonnen worden war, wurde die Kirche „Unsere liebe Frau zu Sarresdorf“ 1812 bis auf den Chor abgerissen. In dem feierte der noch hier wohnende Pastor die heilige Messe bis zu ihrem Abriss 1832. Das Pfarrhaus diente als solches der Pfarrei Gerolstein bis 1834. Danach wurde es zunächst als Wohnhaus genutzt, bis im Jahre 1958 das Kreisheimatmuseum mit bürgerlich/bäuerlicher Eifeler Wohnkultur vom 17. bis zum 19. Jahrhundert hier Einzug hielt. Dieses musste 1997 wegen baulicher Mängel geschlossen werden. Nach umfangreichen Renovierungsarbeiten durch das Ehepaar Engels konnte das Kreisheimatmuseum 2005 wiedereröffnet werde.