Széchényi Zsigmond halála után négy fia, Antal, Ignác, Zsigmond és László osztozkodott a család birtokain. Széchényi Antal grófnak (1714–1767) jutott többek között Nagy- és Kiscenk. A gróf 1740-ben költözött át feleségével, gróf Barkóczy Zsuzsannával Kiscenkre, ahol átmenetileg a majorház szolgált lakhelyüknek, majd később megépült a ma is látható kastély.

A családi hagyomány szerint a kastély körüli barokk franciakerthez szervesen kapcsolódó kettős hársfasort Barkóczy Zsuzsanna grófnő telepíttette az 1750-es évek közepén. Az allé végén, az úgynevezett Kiserdőben a korabeli főúri ízlésvilágnak megfelelően remetelakot, majd később remetekápolnát építtetett.

A mindenkori „cenki” remete feladata volt a kápolna őrzése, gondozása, a déli harangozás, valamint az, hogy a kápolna esti imáján részt vegyen. A cenki remeték Remete Szent Pál regulája szerint, laikus testvérként, úgynevezett fráterként élték magányos életüket. Az első cenki remete, Astion Liebig fráter a győri egyházmegye feljegyzései szerint 1773-től teljesített szolgálatot.

Egy 1773-ban, német nyelven íródott dokumentum részletesen rendelkezik a remete eltartásáról. A jegyzék felsorolja az uradalom részéről a remete megélhetéséhez szükséges élelmiszereket: marhahúst, szalonnát, lisztet, sót, zsírt, sajtot és bort is biztosítani kellett meghatározott mennyiségben a remete részére.

Részlet a korabeli dokumentumból:

Kiss czenki eremitoriumban lakó remethének egész esztendőbéli konyha intertentiója:

36 pint liszt

24 pint lencse vagy borsó

28 font ki fűzött vaj

24 font soó

12 font sajt

Minden huss evő napra ½ font tehén huss és így egész esztendőre 96 fél font

72 darab officier kenyér

6 akkó bor helet kész pénz

6 öll tűzre való fa

Ezen kívül a ruhája, mint mondgya a kasznár, bele telik esztendőnként 20 forintokba.

 

A következő évben, 1774-ben Barkóczy Zsuzsanna grófnő a saját költségén kápolnát építtetett a remetelak mellé, Krisztus kínszenvedésének a tiszteletére.

II. József 1782 – ben feloszlatta a remeteség intézményét. A 18–19. század fordulóján és a század elején a remetelakban az uradalom szolgálatában álló személy lakott, akinek meghatározott feladatai voltak a kastély területén. A kápolna ekkor üresen állt, a hajdani remetelak pedig később vadászházként működött. A kápolnát 1870 táján kezdték ismét szakrális célokra használni, a keresztjáró héten (áldozócsütörtök előtti három napon) szentmisét tartottak itt, és a század végén is látogatott imahely volt.

A rokokó stílusú kápolnát 1902-ben bontották le. A szenvedő Krisztus fából készült, életnagyságú szobrát, mely az oltárt díszítette, 1903-ban a cenki templomba vitték. Jelenleg is ott található, a jobb oldali mellékoltár mellett. Az egykori remetelakból kialakított és kibővített vadászház ma is áll.

A kápolnát az eredeti helyétől nem messze építették újjá. Azért került a kastély közvetlen közelébe, a szoborpark mellé, hogy a Széchenyi-hagyatékot minél több látogató csodálhassa meg a lehető legteljesebb formájában.

A kápolna rekonstrukciója 2020-ban a korabeli tervek és fotók alapján valósult meg. Az egykori remetekápolna néhány elemét – a homlokzaton lévő kettőskeresztet és a bejárati vasrácsot – beépítették az itt látható rekonstruált épületbe. Az egykori imahely kőlépcsőjét megőrizték a Remetekápolna eredeti helyén, a hársfasor végében ma is fellelhető, szilárd emléket állítva a Széchényiek gazdag örökségének.