當年施偉賢在大律師名冊排第二,僅次於另一地位超然的大狀、已故資深大律師張奧偉,不過施於2002年突然放棄大律師工作,轉任事務律師,並計劃開設律師行。當時法律界對施以70歲高齡轉任事務律師無不大感意外,並流傳不同說法,包括施希望以自己在法律界的江湖地位,為子孫建立法律事業。
不過施偉賢於2004年決定重返資深大狀行列,在大律師名冊排名也升到第一名,當時施偉賢解釋,他從事律師工作7個月後,覺得自己不適合,亦懷念以往上庭打官司生涯,再加上他的長孫、當時仍在修讀法律課程的JohnLouisSwaine以做大狀為目標,所以施偉賢決定做回大律師,希望有朝一日可以與做大律師的兒子、孫兒共事,達成祖孫三代同為大狀的夢想。《蘋果》記者