不過霍公子卻有意將他在體育界的「衣鉢」,交給兒子霍啟剛繼承,事實上霍公子近年已積極部署兒子接棒,除了「保送」了兒子入中央政策組做非全職顧問,累積政治經驗外,霍公子又安排霍啟剛加入港協暨奧委會,出任義務副秘書長,香港協辦奧運馬術期間,霍啟剛又出任香港各界青少年迎奧運系列活動委員會秘書長,早前他又以青聯副主席名義,帶領一班年輕人出席申辦亞運諮詢大會,從這些安排可見,今年已64歲的霍公子明顯為交棒兒子開始做工夫,希望子承父業,出任未來的港協暨奧委會會長。
假若霍公子可以為體育界爭到申辦亞運這份「大禮」,未來幾年、甚至十幾年,政府必定會加強投放在體育界的資源,作為港協暨奧委會會長的霍震霆及其現有班底,自然手握分配大權,到時要借此扶助「太子」霍啟剛上位,接霍公子的棒做港協暨奧委會會長便事半功倍。不過正如某些體育界中人所言,若霍公子順利交棒兒子,港協暨奧委會仍是霍家天下,那些港協舊臣可以繼續留下,未來港協要有大刀闊斧式改革,相信十分困難。