Finnes barnehjem ble bygd på eiendommen Jægershvile på Lilleby i 1907, med midler fra H. W. Finnes legat for hjemløse og nødlidende barn. Hans Wingaard Finne (1835-74) var grosserer i handelshuset Hans Wingaard Finne & Sønner og etterlot seg en formue på vel 47 000 spesidaler da han døde, uten egne livsarvinger. 23 656 spesidaler (94 625 kroner) ble avsatt til barnestiftelsen, og denne kapitalen var ved utgangen av 1902 vokst til 342 440 kroner. Samme år ble det ved bystyrevedtak bestemt at stiftelsen skulle begynne sin virksomhet.
Ifølge Finnes testamente fra 1868 skulle både jenter og gutter opptas på barnehjemmet, men ettersom det allerede fantes et barnehjem for jenter i byen, Fridheim barnehjem som lå i samme område som Jægershvile, ble det bestemt at man først bare skulle ta inn gutter i det nye barnehjemmet. Når kapitalen var vokst tilstrekkelig, skulle det åpnes et lignende hjem for jenter, ifølge vedtaket fra 1903.
Barnehjemmet skulle etter Finnes ønske være en bygning av anselig utseende på en så stor tomt at den ga tilstrekkelig lekeplass for barna. En slik tomt fant man på den landlige eiendommen Jægershvile på 46 mål, som ble innkjøpt for 30 000 kroner. Jægershvile var opprinnelig kjent som plassen «Ladebroen» under Rønningen og var frasolgt som egen eiendom til grosserer Lorentz Lorck i 1852.
Styret for stiftelsen skulle ifølge testamentet velges av magistrat og formannskap og bestå av fem personer. Nå engasjerte dette styret byens kjente arkitekt Gabriel Kielland til å tegne barnehjemmet, som ble bygd for å romme 25 barn samt personale. Finne hadde ønsket et «anseelig» hus, og da det sto ferdig i april 1907, til en kostnad av 60 000 kroner, fremsto barnehjemmet som en stor og vakker toetasjes bygning med valmet tak, store og høye vinduer som ga rikelig med lysinnfall, lyst pussede vegger og en rundbuet hovedinngang mot en gårdsplass mot sør. På nordsiden fikk bygningen et rundt hjørnetårn som stilmessig bidrar til å gi bygningen et snev av jugend.
Ved åpningen hadde barnehjemmet tatt inn seks gutter, mens antallet ble økt til 13 i løpet av det første året. Finnes barnehjem ble drevet frem til 1940 da tyskerne rekvirerte bygningen. Barnehjemmet ble gjenetablert på eiendommen Horgheim i Møllebakken i 1945. En privat bygning fra 1880-årene ble revet, og nye hus ble satt opp.
Barnehjemsdriften opphørte i 1980, og stedet ble drevet videre som Møllebakken ungdomshjem med ti internatplasser. Det gamle Finnes barnehjems gamle bygning var i bruk som kontorlokaler til 2006. I 2009 inngår bygningen i Veidekkes planer for utvikling av Lilleby-området.
Adresse: Ladeveien 9
Merket med plakett i 2001
(Teksten er hentet fra boken Hus med hedersmerke, Per R. Christiansen, 2009)