第一代油麻地警署建於1893年，原位於上海街及眾坊街交界（現為梁顯利油麻地社區中心），當時上海街亦因此稱為差館街。隨着社會變遷及需要，該警署1922年遷往廣東道及眾坊街交界，即舊油麻地警署現址。
樓高3層的舊油麻地警署初期只有V形主大樓，有探長室、落案室、飯堂、廚房等；一樓是高級警員及水警宿舍；二樓是警司宿舍。
1957年擴建新翼大樓，舊翼2至3樓原為開放式及以拓石支撐的迴廊，後來封閉以擴充空間。建築物正門設計因考慮風水關係，原本V形的建築物，其尖角位置改為鋸齒形狀，正門門口亦建有單層弧形門廊，以減低風水學上的煞氣。警署內部保留昔日建築特色，包括大理石牆身樓梯、木扶手、柚木地板及圓拱形門廊等。
署理油麻地分區助理指揮官李慶洋指出，當年油麻地屬沿海地區，不少船隻會停泊維修保養，「當年漁船會用桐油維修保養啲蔴繩，慢慢就將呢度叫油蔴地」。而報案室正門的「油蔴地警署」的「蔴」字，雖然警署曾進行過翻新工程，但仍然沿用舊有的「蔴」字，保留昔日特色。
■記者謝明明