Norske Gårdsbruk, som er utgitt av diplom ingeniør Lars Berg i 1941, omhandler alle gårdsbruk i Akershus skriver om Hvidsten gård:

Hvidsten ligger i et temmelig flatt lende fra Verpet mot Drøbak. Hvidsten finnes som gårdsnavn mange steder, ikke minst rundt Oslofjorden. Gårdsnavnet er nevnt fra 1410 som ­Hwitostaine, senere Hwittesten i 1510, ­Huidsteen i 1578, Hvidsten fra 1723. Gårdens navn, beliggenhet og størrelse, samt de mange arkeo­logiske funn, tyder på at Hvidsten sannsynlig er ryddet i romersk jernalder. Trolig er flere av de omkringliggende gårder ryddet fra Hvidsten, som var en storgård som omfattet land ned til fjorden. Ifølge sagaen bodde det i 1100 århundre den kloke Navstein som var gift med Ingrid som var datter til Sigurd Syr og bror til Harald Hardråde. Fra tiden i jernalderen gikk det en rive-, eller køvvei fra gården og ned til strandstedet Hvitsten. Disse sporene finner vi forbi Skog (Skaug), Ugjestrud, S Knalstad, Sekkebekk og til standen.

Fra 1600 tallet har man sikre opplysninger om eier –  Bent ­Hvidsten. Svend Hvidsten overtok etter dette i 1616. Denne tiden var det leilendinger som drev gårdene siden staten ofte eide gården. I 1669 ble gården solgt til Hans Nielsen som eide Grøstad fra før – han døde og i 1702 kjøpte ­Levord Anonsen Hvidsten. ­Levord sin sønn Anon hadde 4 barn (Jens, ­Helle, Anne Marie og Maren Sophie). Anon døde og hans kone giftet seg med Hans Olav Nyqværne som eide gården fra 1729 – brukeren var den gangen Søren Hvidsten, mens eier bodde på strandstedet Hvitsten.

I 1752 solgte Hans Olav N gården til Carl Hansen Ugjestrud. I taksten fra 1753 var gården i meget dårlig forfatning. Husene var dårlig, skogen var uthugget, jorder var gjengrodd, gjerder til beiter var ikke i stand. Grunnen til dette var nok at gården hadde vært leid bort og i tillegg vært brukt som bosted for soldater under bla. Den store nordiske krig på 1700 tallet.

I 1792 overtok Jørgen Carlsen gården etter sin far Carl Hansen. Jørgen døde i 1822, og eldste sønnen Hans Jørgensen overtok gården. Han var gift med Ragnhild Jørgendtr Tørfest. I 1845 var det 3 husholdninger og 2 husmannsfamilier på Hvidsten. Hans var svært dyktig bonde og fikk i 1836 Agershuus Amts Landhusholdnings Selskab æreds pris (en stor sølvskje). Hans hadde en datter, Johanne Helene, og hun overtok Hvidsten i 1864. Hun var gift med Ole Johannesen fra Strand gård i Hvitsten. De fikk 4 barn og hans yngste sønn, Hans, for­paktet Hvidsten (fra 1885) mens Ole flyttet til Strand gård. Hans hadde 5 barn (Ole, Helene, Hildur, Jens, Johannes). Det var Johannes som eide Hvidsten etter sin far i 1891. Han var gift med Janna Næss, og han var en meget politisk interessert mann og drev i lang tid som kommunekasserer. Johannes døde i 1917 og var barnløs. Enken solgte gården til sin nevø Ole Hvidsten. Ole eide også Strand gård så han solgte gården til sin yngre bror Jens Hvidsten – dette var i 1920. Jens var gift med ­Ingeborg Hvidsten (f. Randem). Jens solgte igjen gården til sin nevø Helle Randem som igjen solgte gården til sin sønn i 2003 til Jens Andreas Randem.