De kasteelberg van Baarsdorp is een zichtbare herinnering in het landschap aan een lang vervlogen verleden. Ooit, zo'n 400 jaar geleden stond daar nog een kasteel. De overlevering is niet geheel duidelijk over wat er met het kasteel is gebeurd.
Sommige geschiedschrijvers stellen dat het kasteel dusdanig vervallen was dat men in de eerste helft van de zeventiende eeuw het maar gesloopt heeft. Anderen schrijven dat het kasteel is verwoest door de Watergeuzen tijdens de Tachtigjarige oorlog in 1572, tijdens de belegering van Goes.
We zullen er vermoedelijk nooit achter komen hoe het kasteel aan zijn einde is gekomen, net zoals we ook niet weten hoe het er uit heeft gezien. Er bestaan wel oude tekeningen van het kasteel, maar deze tekeningen laten vrijwel allemaal een totaal ander kasteel zien en zijn ook nog eens meer dan een eeuw na de verwoesting of sloop gemaakt.
Eigenlijk weten we heel weinig van het voormalig kasteel van Baarsdorp en is het kasteelterrein in mysterie gehuld. De kasteelberg wordt omringd door de resten van een gracht. Vlak daarbij, op hetzelfde terrein ligt nog een heuvel.
Het is volstrekt onduidelijk waarvoor die heuvel diende. Er zijn auteurs die menen dat op de heuvel een molen stond, maar dat is onlogisch omdat circa 400 meter oostelijk van het kasteelterrein, aan de huidige noordweg lange tijd de molen van Baarsdorp heeft gestaan.