特區政府一直堅持舊政府總部西座沒有保育價值,可拆卸重建。不過,三大國際組織,包括聯合國教科文組織屬下的國際古蹟遺址理事會、國際建築師聯會及國際現代運動建築遺址協會,均反對拆西座,甚至向全球發出「文物警示」,要求港府停止重建計劃;一向深居簡出、住在倫敦的前工務司鄔勵德,以及前布政司鍾逸傑等退休高官,也「出山」反對。現居倫敦的99歲前工務司兼舊政府總部總建築師鄔勵德(Michael Wright)早前公開表示,舊政府總部是一個建築群,政府不應將西座拆卸,因建築群反映50年代建築風格,他又指西座是中區政府合署非常重要的部份。