旧总督山顶别墅前身是1862年设立的英国军队疗养院，在1867年由港督麦当奴爵士向军方购入，建成木造的避暑小屋，但于翌年被台风吹塌。虽然当时再度重建，但再于下一年再被台风吹塌，避暑小屋之地遂一度荒废。至1892年，港督罗便臣委任工务局主管Francis Cooper在该址设计新别墅，然而1894年香港爆发鼠疫，使计划一度暂停。1900年，港督卜力重提别墅计划，但由于他不喜欢工务局的设计方案，遂委托建筑商公和洋行重新设计新别墅，并于1902年建成别墅。
虽然其时旧山顶道及山顶缆车已开通，但交通仍被视为不便，因此历任港督入住率不高，并且自1930年贝璐上任开始未有港督入住。在二次大战期间，旧总督山顶别墅饱受破坏。由于别墅修葺费高昂，加上粉岭建有另一港督别墅，山顶别墅最后在1946年拆卸，只余下此“旧总督山顶别墅守卫室”，别墅原址于1950年代规划成为山顶公园，并于1970年代加设凉亭。