一九四九那一年，齊白石八十六歲。新政權給予了老人多方照顧。第二年四月的一天，毛澤東主席邀請他共進晚餐，噓寒問暖，使這位一輩子賣畫為生的民間藝人深受感動。隨後他當選為中國美術家協會第一任理事會主席、北京中國畫研究會主席，又作為湖南省人大代表出席第一屆全國人大。應該說，經歷八十多年的戰亂顛簸，老人此時生活安逸、心情舒暢。但在他九十二歲那年，卻遇到了一件很不愉快的事情，歷來的記述對此都含糊其詞。最近讀到齊白石的兒子齊良遲的一篇遺稿《白石老人暮年搬家》，才瞭解此事經過。

一九五五年春天的一個早晨，白石老人的女弟子、老舍太太胡絜青坐了一輛小臥車來到西城跨車胡同十五號齊白石住宅，沒多久就把老人接走了。兩小時後又開來了一輛載重汽車，多名壯夫把老人畫室裏的家什全部運走。中午時分，齊家人接到美協的電話，通知他們老人已經搬到北城後門雨兒胡同十四號。等齊良遲去新居，發現那裏設有傳達室，家人進去也要簽名。老人從住了三十多年的熱鬧胡同，搬到這裏門可羅雀的新居，一下子變得異常沈默。趁着負責「照顧」他的人走開時，老人終於熬不住了，對兒子說：「我犯了甚麼法？你一定要救救我呀！」齊良遲把這些情況向美協反映，卻沒有結果，而老人變得越來越惶恐不安，甚至出現了有人要來殺他的幻覺。齊良遲兄弟毅然寫信到國務院，請求周總理主持公道。結果還是周總理親自出馬，把老人送回跨車胡同，並親眼看到家什搬回安頓好，才告辭。第二天，白石老人挑了一幅和平鴿大畫，讓齊良遲送到國務院。
但是這次搬家的原委，還是不清楚。莫非當局認為，我關心你的生活，也就有權給你安排一切，不管你自己是否願意。