De steenhuizen op het Groninger land waren eigendom van rijke boeren. Zij hadden van oudsher een heerd, met daarbij behorende rechten van rechtspraak en bestuur. Sommige van deze heerdbezitters werden hoofdelingen genoemd. Een naam die ze vermoedelijk kregen omdat ze de machtige (het hoofd) van een dorp of streek waren. Door onderlinge strijd en het aangaan van huwelijken met een andere goede familie probeerden zij hun macht uit te breiden. Als vertegenwoordigers van de Groninger landadel noemden deze families zich later jonkers.

Het aanleggen van dijken zorgde er voor dat het oorspronkelijke steenhuis werd uitgebouwd tot langhuis. Doordat de bewoners van het huis steeds rijker en machtiger werden, kon hun onderkomen uitgroeien tot een borg van formaat. In de jaren die volgden werd Verhildersum uitgebreid en kreeg er achtereenvolgens twee vleugels en een poortgebouw bij. Ook de indeling binnen veranderde met de woon- en leefwensen van de eigenaars.

Na de Franse revolutie raakte de landadel haar machtige positie in de 19e eeuw kwijt. Hierdoor werden veel Groninger borgen te duur om te onderhouden en raakten in verval. Dit resulteerde vaak in sloop. Verhildersum bleef echter bewaard, al zijn het poortgebouw en de vleugels verdwenen. Het huidige gebouw is te vergelijken met het langhuis uit de 15de en 16de eeuw. De laatste grote verbouwing heeft plaatsgevonden in 1792. De huidige voorgevel, in classicistische stijl, is ongeveer 80 cm voor de vroegere gevel geplaatst.