廖暉父親廖承志是第一代處理香港回歸問題的中央官員,因父親關係,廖暉早與不少香港富豪、政界人士建立關係,所以他在1997年從僑辦調任港澳辦主任,基本上已累積一定港澳人脈。他任內其中一項重要任務,就是配合前國家副主席、首任港澳協調小組組長曾慶紅,於2003年7.1遊行後,策劃前特首董建華「腳痛」下台,換上愛將許仕仁做政務司司長,以及許的好友曾蔭權做特首。
政圈盛傳他對特區政府影響力,遠超以往港澳辦主任,有傳曾就算遇上不涉中央重要事情,也要了解廖的想法,所以廖離開港澳辦前幾年,不斷有傳他涉貪腐,不過廖於2010年卸任後,仍留在港澳協調小組,直到習近平任國家主席,廖在港澳事務影響力才告終。