Í gögnum sem má rekja aftur til ársins 1953 birtist mynd af konu í erfiðum aðstæðum, sem mætti hvorki skilningi né stuðningi samfélagsins: „Ólafía leitaði til nefndarinnar með heimilisvandræði sín. Maður sá, sem hún býr með virðist ekki aðstoða hana sem skyldi“, segir í fundargerð barnaverndar frá því 1953. Nokkru síðar er skráð að hún búist við því að missa húsnæðið, Svavar sé heima af sjónum og hún sé hvött til að fá hann til að hjálpa sér með húsnæði. Börn þeirra verði send á Silungapoll. Að hausti kom fram að hún hefði sótt syni sína á Silungapoll án þess að bera það undir barnavernd. Talið var að hún hefði fengið húsnæði. 

Næstu ár einkenndust af húsnæðisströggli og óöryggi og svar yfirvalda var ávallt það sama: Að fara burt með börnin, „vegna húsnæðisvanda og erfiðleika móður“. Í stað þess að fjölskyldunni væri útvegað viðunandi húsnæði voru börnin á stöðugu flandri …