香港淪陷前夕，港府高層決定將遮打捐贈的一批珍貴藏畫，收藏在港督府地底等秘密地方。1942年，日軍修建港督府，一名當時有份參與工程的本地判頭冼子霖在施工期間，赫然發現20多幅遮打藏畫被丟棄在廢物堆中，他於是用防水的紙張將作品包裹。為了將藏畫運出港督府，冼子霖籠絡和賄賂看守的日軍，並在數月後託詞欲撿走一些棄置的木板回家，日軍不虞有詐而應允，最後順利將23幅藏品偷運出去。
冼子霖首先將這批畫藏在灣仔洛克道自己家中，但由於日軍不時有搜查民居的行動，所以他在翌年年中，將這些畫送到寶安縣的家鄉。1945年3月，冼子霖在灣仔的住宅被炸毀，藏品差點成為灰燼。香港重光後，冼子霖將以自身安全換回來的遮打藏品悉數歸還港府。