Een bezoek aan de Petruskerk is zeer de moeite waard. Deze Protestantse kerk is een van de mooiste kerken van Zuid-Beveland. De kerk stamt uit circa 1450 en heeft een prachtig interieur met veel oude elementen.
Dit interieur is uniek in Zuid-Beveland en is een goed bewaard voorbeeld van het protestantse kerkmeubilair uit het midden van de zeventiende eeuw. Er is een fraai getimmerde preekstoel met doophek aanwezig uit 1649. Ook is er een een rijk versierd orgel uit 1708, dat oorspronkelijk in een kerk in Belgisch Brabant hing.
Voorts staan er twee herenbanken in de Petruskerk uit respectievelijk 1650 en 1739. De ene is verbonden aan de heerlijkheid van 's-Heer Arendskerke, de andere aan die van Baarsdorp. De herenbank van Baarsdorp is in 1906 grondig gerestaureerd en is nog verbonden aan een recht op kerkgestoelte. Beide herenbanken zijn voorzien van een uit hout gesneden heerlijkheidswapen en zijn van hetzelfde model, wat een rustige en symmetrische uitstraling geeft.
De kerk is niet altijd open, dus mocht u in de buurt zijn en de dienst willen bijwonen of de kerk willen bezichtigen, kijk dan vooraf eerst op de website van Protestanse Gemeente Het Vierhuis.
In 1773 werd Baarsdorp kerkelijk verenigd met 's Heer Arendskerke, maar al lange tijd daarvoor namen de Baarsdorpers in 's-Heer Arendskerke deel aan de kerkdienst. Uiteindelijk is de kerk van Baarsdorp om die reden in onbruik geraakt en in 1880 afgebroken.
De Protestantse gemeente 's-Heer Arendskerke en Baarsdorp is dus circa 250 jaar oud en is een kleine, maar levende gemeente, die een actieve rol speelt in 's-Heer Arendskerke en omgeving.
Daarnaast maakte de gemeente deel uit van een federatie met de gemeenten van Borssele, Lewedorp en Nieuwdorp.
Per 1 januari 2021 zijn de vier federatiekerken opgegaan in een nieuwe PKN gemeente "Het Vierhuis".