Kloosterlingen werden ontheemd en zwierven rond, en zo kwam in 1687 de Franciscaner pater Laurentius Ploumen in deze contreien terecht. Hij ontdekte in het Sjaasbergerbos een jachthut. Dit leek hem een goed onderkomen, waarin hij tot rust en bezinning zou kunnen komen. Een geschikte meditatieplek voor een kluizenaar. De oogstende boeren op het achtergelegen akkerland vertelden hem wie de eigenaar van de jachthut was en één uur later zat onze Eerwaarde in kasteel Schaloen bij graaf Jan Gerard Hoen van Carthyls en zijn echtgenote Agnes van Renesse.
Zijn verzoek viel bij hen in goede aarde. Ze raakten zelfs enthousiast, want een vrome man boven biddend in hun kluis, vergrootte hun kans op de hemel aanzienlijk. Het bouwsel werd naar behoeve aangepast en in het voorjaar van 1688 betrok de priester de sobere kluizenaarswoning. Hij heeft nooit vermoed dat hij nog 16 opvolgers zou krijgen tot in 1930 toe.
Lourens Ploumen werd in 1706 in het kluiskapelletje begraven en daarbij werd toen een gedachtenissteen in de muur geplaatst.
In 1764 kreeg hier ook de vijfde kluizenaar Arnoldus Haesen zijn laatste rustplaats en herdenkingsplaat, na een bijzonder heremietenleven op deze plek. Hij had door zijn ervaringen tijdens zijn jeugd, op de hoeve van zijn ouders te Wijlré,veel kennis verworven inzake de diergeneeskunde en de heilzame werking van velerlei kruiden uit het omliggende bos.
Dat kruid verwerkte hij in de Sint Teunisbroodjes, die verstrekt werden aan de veehouders na de misviering. De resultaten in de stallen moeten verbluffend zijn geweest.
De kapel was weldra te klein. Ze kon de dankbare veetelers niet meer herbergen en werd vermoedelijk rond 1756 vergroot met een heus schip vanaf de grafstenenboog tot en met het oksaal en de grote ronde kapelpoort aan de zuidzijde. In die tijd was in elk geval de noodzaak daartoe aanwezig, omdat tijdens de bewoning door kluizenaar Arnoldus Haesen de Sjaasbergergank op gang gekomen is. Hij zal met het restant van de mergelblokken en met behulp van de kapelbouwers de tuintoegangspoort als openingsmonument daar hebben neergezet. De Gank (bedevaart) naar deze hermitage werd steeds befaamder, het aantal pelgrims groter en de offerblok voller.
De kapel van de kluis is toegewijd aan de H. Antonius van Padua.