舊司令長官官舍現時所在的山丘最早在大寶3年（703年）龜山神社遷座時已有人跡，明治19年（1886年）隨著鎮守府的開設，被大日本帝國海軍接收，建築物曾作明治天皇行幸所使用，後來成為司令長官官舍。戰後至1956年由英聯邦佔領軍(BCOF)使用，1967年入船山紀念館成立，成為向公眾開放的博物館。

作為現存的明治時期的建築物，「舊司令長官官舍」屬於海軍高階軍官官邸，類別特殊。這棟木製平房由東側的洋館和西側的和館組成。

洋館外觀採用了英國風樣式，屋頂是東北地方魚鱗葺。 玄關門上側和左右都鑲嵌了英國製彩繪玻璃，牆壁和天花板則貼上全國稀有的金唐紙。