Al heel vroeg is er sprake van een huis gelegen aan het Wiel: op 21 december 1564 verkoopt Joost Turck aan Hendrikck Stael voor 100 pond “een hofstad en geseet gelegen in het dorp Hemert aan de Weyl belast met erftijnsen van F 3,-.
In 1576 worden de goederen van wijlen Hendrick Stael gerechtelijk verkocht aan Aert Ansemszn ten behoeve van Claes Ghijsberts Lieffman die ze verkoopt aan Maria Wittenhorst, weduwe van Fredrick Torck, vrouwe Hemert .

In de 17e eeuw woonde op Huize Wielestein gedurende de drie generaties de familie de Graaff (of Graeff). Zij leverde de drossaard (schouw) en rentmeester.
- Adriaen de Graaff (1597) en Elisabeth Buys, dochter van Willem Buys (burgemeester van Heusden). Zij stierf jong (1623). De rentmeester trouwde voor de tweede maal met Helena van Wijck. Adriaan sterft op 61-jarige leeftijd (15/25-9-1695) en wordt begraven op de plaats van de kerktoren. Zijn grafsteen is nog aanwezig.
- Adriaen de Graaff (ongeveer 1628) getrouwd met Margretha van de Plas (nov. 1670). Adriaen sterft op 22 februari 1673 op 45-jarige leeftijd. Hun oudste zoon Adriaen (1655) is dan nog minderjarig en met goedkeuring van de heer van Nederhemert neemt zijn oom Bernardus Adolphus Scriba (dominee te Nederhemert, gehuwd met Huberta de Graaff) voor vier jaar rentmeesterschap waar.
- Adriaen is Drosseart en rentmeester van 1676-1796. Hij blijkt een zwakke gezondheid te hebben en bezoekt in Aken geneeskrachtige baden. Thuisgekomen neemt hij zijn toevlucht tot een bedenkelijke chirurgijn. Zijn sterfdatum was september 1696.

Op 29 november 1697 wordt het huis en de boomgaard voor fl. 1.750,- verkocht aan de heer Hemert Baron van Vittinghoff. Zijn opvolger Adriaan Van Lynden, die de dochter van Vittinghoff trouwt, erft Huize Wielestein.
Op 29 juni 1745 verkoopt Adriaan van Lynden “seecker wel betimmert woonhuys aan de zuidzijde der Mase met boomgaerd, grint en hofje annex soo en gelijck het selve van de Drost Adriaen de Graaff is heengecomen en bij den selve is beseten geweest” aan Cornelis Vos voor fl. 1.301,-.
Bij een deling tussen de kinderen van Cornelis Vos (sterfdatum: 28 januari 1751) en Maayke Nieuwkoop (Wijk) wordt het huis toegewezen aan dochter Maria Vos die getrouwd is met Cornelis Mulkhuysen.
Op 3 mei 1759 brandt de pastorie, gelegen in de Meurswei (100 meter ten westen van het Wiel), tot de grond toe af. Dominee Panneboeter krijgt onderdak in Heusden, maar schout  van Ommeren zoekt naarstig naar een passende behuizing op het eiland. In het begin ziet hij het somber in:”hoe wij nu weer een pastorijhuys krijgen kan ik geen besef van maken” (juli 1759). Maar hij blijft naar oplossingen zoeken want de Heer van Nederhemert had een bijzondere zorg voor het kerkelijke leven. Hij was het ook die nieuwe predikanten aanstelde, het zogenaamde collatierecht. Ook verschafte hij geld wanneer het kerkgebouw schade had opgelopen. Op 25 februari 1760 stelt Van Ommeren voor om Wielestein te kopen, maar Van Lynden is bang dat het huis te duur zal zijn en er zijn wellicht andere kopers die de prijs zouden opdrijven. Een week later heeft Van Ommeren het huis “nauwkeurig gevisiteerd en geexamineert en bevonden, dat hetselve gedeeltelijk hegt en sterk is, gedeeltelijk door rearatien en veranderinge merkelijk verbetert, maar ook gedeeltelijk wat bouwvallig is: het front van ’t huys, bestaand uit het voorhuis en soogenaamde saal, is hegt en sterk, alleenlijk sijn de agtercoutsijnen wat slegt; de vleugel naast het Wiel, waar in twee beneden en twee bovenvetrekken, sijn merkelijk sowel binnen als van buyten verbetert, en in goede reparatie, behalven de solders die slegt sijn; den anderen vleugel, waar in een keukentje, washuysje en stal, sijn wat bouvallig, dog bewoonbaar, de kap over het ganse huuys is redelijk sterk” (10 maart 1760). Op 3 mei 1760 verkopen Maria Vos en Cornelis  Mulhuysen huys Wilestein voor fl.1.300,- aan van Lynden.
Fig. 3. Huize Wielestein voor 1890.

Een jaar later is het huis geheel ingericht Van Ommeren schrijf “Het pastorijhuys is tans niet alleen voltrokken, maar in een staat datte weijnig beter sullen sijn” (4 juni 1761).
Het eiland ligt in de uiterwaarden van de Maas, de bewoners zijn gewend dat hun landerijen jaarlijks onder water lopen. Hun huizen hebben ze gebouwd op verhogingen. De pastorie stond ook op een terp, maar soms kwam ook daar het water binnenkabbelen. In 1781 verhaalt de rentmeester Van Ommeren:” Dominee Wilmet en deszelfs meid hebben op ’t studeercamertijen hoog en droog gezeten, en hebben daar geen gebrek gehad als aan klaar water het welk mijn kinder hem hebben doen brengen, want het Maas water was ook hier ongemeen dik en vet; in den tour die ik met een schuyt over het Eijland heb gedaan om alles te onderzoeken, ben ik ook aan de pastorie geweest, maar kon niet ingelaten worden. Aan de Wielkant sprak ik met Dominee, die mij uyt het venster van de studeercamer een soopje toereikte; ruijm 8 dagen is er water in de pastorie geweest”(15 februari 1781).

Vanaf 1761 gaat een bonte rij aan predikanten achtereenvolgens het huis bewonen:
1761-1771 M. Grommé
1771-1776 N. Lange
1777-1785 J. Wilmet
1785-1791 J. Slotemaker
1791-1794 L. Vogelsanck
1794-1797 P.M. Brouwer
1797-1799 R. Sweigholt
1799-1801 J.E. Voet van Campen
1802-1806 J.G. Vorstman
1806-1811 D. Indeweij
1812-1816 C.J. Scheurleer
1816-1823 H.J. van Nouwhuis
1827-1827 W. de Rapper

Volgens de eerste kadasterkaart van 1832 is Wielestein niet meer eigendom van de heer Van Hemert (C.A.D. van Nagell) maar van de kerk van Nederhemert.

1827-1837 J.A. Hanewinckel
1839-1849 J.L.J. Hallo
1849-1856 C.H. van Dam
1856-1860 M. Salvedera de Grave
1860-1869 A.D.J. Scholte
1870-1873 P.S. Niemeijer
1873-1877 A. Voorhoeve
1880-1883 J.W. Berkelbach
1884-1888 Dr. J.M.S. Baljou

Er zijn klachten over de slechte behuizing in Wielestein. Sommige predikanten hebben dat ook uitgesproken en in de tachtiger jaren van de 19e eeuw wordt besloten om de pastorie af te breken en er een nieuwe voor in de plaats te zetten. In 1890 wordt de eerste steen gelegd door Elisabeth van Nagell (meisjesnaam: Kretschmar).

1889-1892 Dr. J.A. Cramer
1894-1904 ds. Bleeker
1895-1911 ds. Pannebakker
1912-1914 ds. Van Voorst Vader
1915-1918 ds. Verloop
1919-1924 ds. Kluin

Daarna is er lange tijd geen vacature. Het dorp in Noord groeit sterker dan Zuid; in 1939 wonen er in Nederhemert totaal 962 mensen in Nederhemert Zuid zijn er slechts 10% daarvan. Het zwaartepunt van het kerkelijke leven heeft zich daardoor verplaatst naar Noord. Daar wordt een pastorie beschikbaar gesteld en wordt de pastorie verhuurd aan Mr. van Dam, advocaat uit Rotterdam.
In 1954 wordt besloten de pastorie in Zuid te verkopen. Johanna Helena Knoop (26-3-1893) wordt eigenaresse van Wielestein. Zij gaat er samen met haar zus Els (6-7-1893) en haar broer Hendrik (6-7-1898) wonen.
Johanna Helena, juffrouw Leentje, was actief in het kerkewerk in Nederhemert. Zij bespeelde in Noord en in Zuid het orgel, op sommige zondagen drie maal per dag. Ze gaf orgelles, verzorgde de zondagsschool en sleepte voor de jeugd talloze leesboeken aan, want ze was beheerster van de afdeling van ‘de reizende bibliotheek’. Zij stierf op 2 februari1972.
Juffrouw Els werkt als onderwijzeres eerst in Nederhemert Zuid maar al spoedig gaat zij naar Brakel en is ze lang onderwijzeres geweest in Zutphen. In 1954 kwam ze naar Heusden om samen met haar broer Willem alle lessen van de Nut U.L.O. te geven. Ze stierf op 27 januari 1984. Hendrik was jarenlang werkzaam bij een bloemist in Waalwijk en vanaf 1956 de bekende en vertrouwde boswachter van Staatsbosbeheer op het eiland Nederhemert. Hij stierf op 18 juli 1991.

Het huis is nu eigendom van de kinderen van Willem Knoop. In 1991 en 1992 krijgt Wielestein een grondige opknapbeurt en is thans weer een voornaam gebouw op het eiland Nederhemert.