Kaptensbostället har inte alltid legat på den plats det nu ligger, nämligen i Haraldsarvet på Sollerön, cirka en km öster om kyrkan. Dit flyttades gården först år 1817.
Gården var ursprungligen belägen strax norr om kyrkan, exakt när den uppfördes vet man inte med säkerhet. Abraham Hülphers (1734-1798) som var köpman till yrket och tillika topografisk samlare, företog resor inom olika delar av Sverige, Finland och Ryssland. Under en av sina resor besökte han kaptensgården på Sollerön som då innehades av majoren friherre Wilhelm Armfelt.