De kapel en kluizenaarswoning is vanaf 1688 bewoond en rond 1690 verbouwd in opdracht van graaf Hoen van Carthils, de toenmalige eigenaar van kasteel Schaloen. Het gebouw is later onder andere rond 1760 uitgebreid. Pater Laurentius Ploemen was de eerste die het gebouw als Kluizenaar betrok. Hierna hebben er tot 1930 nog 16 kluizenaars gewoond. Sinds 1758 vindt er op de laatste zondag van juni de Sjaesbergergank plaats: een bedevaart naar de Kluis.
