在一個城市的高處建山頂別墅是英國人一貫的做法。高添強解釋因為未能適應亞洲的氣候,英國的總督一般都會在山頂建別墅作避暑用,所以在檳城、新加坡及印度也有山頂別墅。有記錄顯示在香港,山頂和山下的溫差10度。
第一代的山頂別墅是由第六任港督麥當勞在1867年興建。他從英軍手上買入療養院的土地興建別墅,由於是木建築,落成不到一年,便兩度遭颱風吹襲而倒塌,於是要重建。第二代山頂別墅依然是木建築,而且很簡單,在1874年被另一次特大颱風吹致部份倒塌。
到了第三代才是石建築,被認為是山頂最漂亮建築,把山頂大班屋也比下去。