「議會山莊」1774年建成以來,多次易手,其間曾是招待皇室和社會名流的場所,包括已故英皇佐治六世(KingGeorgeVI)和現任英女皇伊利沙伯二世(QueenElizabethII)。
「議會山莊」原名Parkfield,本來面積較小,到19世紀末由股票經紀斯克林杰(WalterScrimgeour)購入後,為了妻子和八名子女,加建了一個課室、育嬰室、健身室和桌球室。
1913年斯克林杰一家遷出,由國會議員克羅斯菲爾德爵士(ArthurCrosfield)購入。他妻子熱愛網球,曾是瑞士女子網球賽冠軍,兩夫婦於是花了100萬英鎊(相等於現在2.48億港元),把Parkfield改建成40,000平方呎的「宮殿」,並加設四個網球場,招待倫敦貴族名流。克羅斯菲爾德將大宅命名為Withurst(議會山莊),Witan代表議會,hurst代表種滿林木的山。