港英時代政治部得以設立,根據資料,與1922年香港海員大罷工事件有關,當年港府發現中共組織滲入工會,在警隊內成立「反共產活動小組」,歸「政治課(Political Bureau)」管轄。
1934年易名政治部(Special Branch),表面隸屬警隊刑事部,其實由英國軍情五處第二處直接指揮,運作費用及人員薪酬均由英國政府直接支付,由成立之初200名人員,發展至1980年代高𥧌期間有1,200名人員(包括文職人員在內),隨着主權移交臨近,政治部於1995年解散。
當年政治部最為人詬病是嚴重違反人權及繞過法律程序,現時法律規定,疑犯羈押時間不能超過48小時,但被政治部拘捕的疑犯,羈押時間不限,可作長期羈押,被囚人士完全失去法律保障,甚至可能「被消失」,如藝人傅明憲的父親傅奇,就在白屋被拘留了八個月後才被遞解出境。
在港英時代政治部工作六年的86歲退休督察葉愷表示,當年被派駐政治部「文化組」,專門監視國共兩黨的文藝人,主要跟蹤左派文化人,防範共黨分子顛覆。有一次,他們在調景嶺捉到一名國民黨間諜,兩名外籍警官一人捉住對方一隻腳,將間諜「倒掛」入積滿水的大油桶,逼他吐出情報。
立法會保安事務委員會委員林卓廷形容新政治部等於現代「東廠」,擁有無限資源及無限權力,不單法律條文賦予他們權力,執法力及影響力均是空前,相信只聽命於國安,連特首都不得干預,成為北京在港的重要打擊異己工具。