In het begin van de 14de eeuw kwam de kasteelhoeve Barelsteyn in het bezit van Gijsbrecht Van Leeuwerghem, gouverneur en kastelein van Bornem. Samen met enkele andere lenen had hij rond 1301 Barelsteyn aangekocht en hij trachtte zijn eigendom tot een heerlijkheid met eigen rechtsgebied te verheffen. Hij hield hier zijn vierschaar, vonniste overtredingen en sprak grote en kleine boeten uit. Gijsbrecht vocht tijdens de Guldensporenslag in 1302 op de Groeningekouter in Kortrijk samen met Willem van Boernheim (Bornem). Willem was hospitaalridder van Sint-Jan in Jerusalem. Op de vooravond van deze slag had hij tevens deelgenomen aan de bestorming en beklimming van het Kasteel van Maele. Op het Groeningeveld was hij bevelhebber der schildknapen, ook Zwane-Ridders genoemd.
Robrecht van Kassel, de 2de zoon van Robrecht van Bethune, was gehuwd met Jeanne de Bretagne. Hij werd heer van Bornem tot 1331 en was meer dan de voorgaande heren van Bornem begaan met zijn bezittingen. Robrecht was het niet eens met de plannen van Gijsbrecht om van Barelsteyn een eigen rechtsgebied te maken. Hij hield daarom in 1314 in de priorij van Bornem een plechtige rechtszitting en veroordeelde Gijsbrecht. Alle rechten die Gijsbrecht zich had toegeëigend werden verbeurd verklaard.
In 1393 staat een zekere Jan Van Wijneghem gekend als eigenaar van Barelsteyn. Zijn zoon Claus verkoopt alle goederen aan de familie Van Tannerien. Deze familie bewoonde Barelsteyn tot in de 2de helft van de 16de eeuw. Tijdens de godsdienstoorlogen veranderde het goed geregeld van eigenaar. Zo vinden we achtereenvolgens Jan Baptist Van Damme, Diederick van de Werve van Antwerpen en Rombout Danckaerts.
Graaf Karel van Mansfeld (1547-1595) was de volgende eigenaar van Barelsteyn. Karel was de zoon van Pieter Ernest van Mansfeld, beroemd legeraanvoerder der keizerlijke troepen en landvoogd van de Zuidelijke Nederlanden van 1588-1592. Hij huwde met Maria Christina van Egmont, dochter van Lamoral. Het huwelijkscontract werd op 12 december 1591 op het kasteel van Hoogstraten te Brussel opgesteld. Hij bracht in gemeenschap de heerlijkheden van Temse, Buggenhout, St. Amands en Baasrode. Maria Christina bracht een fortuin van 268.963 Artesische munt in gemeenschap en haar eigendom bevatte o.m. de heerlijkheid van het Steen van Elewijt, dat ooit aan Pieter Pauwel Rubens toebehoorde.
Karel was peter bij de doop van Pedro Coloma II in 1587. Karel koos aanvankelijk de zijde van Oranje, maar kwam daarna in dienst van Margareta van Parma. Na een verblijf in Frankrijk waar hij deelnam aan de godsdienstoorlogen keerde hij in 1576 naar de Nederlanden terug, waar hij diende onder Don Juan van Oostenrijk. In 1579 kreeg hij het bevel over de artillerie en nam aan diverse krijgsverrichtingen deel, onder meer aan het Beleg van Antwerpen (1584-1585), waar hij ernstig werd gekwetst. Na de dood van Farnese voerde hij tijdelijk het opperbevel over de Spaanse troepen in de Nederlanden. Hij nam deel aan de strijd tegen Prins Maurits van Nassau en in 1592 als admiraal aan de strijd van de Spanjaarden in Frankrijk. In 1593 nam hij dienst in het keizerlijk leger dat in Hongarije optrad tegen de Turken en sneuvelde in de strijd te Comore op 14 augustus 1595.