會計司胡同25號曾是清朝內務府的會計司衙門舊址,據傳《紅樓夢》作者曹雪芹的遠親曾在此辦公。胡同外有一扇大鐵門,胡同內共住有幾戶人家,其中最裏面朱紅色大門內就是胡耀邦故居。胡遷入前工作人員看到25號院房屋破舊,年久失修,建議大修,但胡耀邦則對秘書說:「我們歲數都這麼大了,還能住幾年?要修等以後老百姓都有房子再修。」結果工作人員只好粉刷一下牆壁,便讓胡搬進去住。
1989年4月15日胡耀邦去世後,胡的遺孀李昭及三個兒子一直在該四合院居住;大兒子胡德平將其中部份隔出自住,因他享受正部級待遇,沒有超標,合情合理。2017年3月李昭去世後,二兒子劉湖也搬了出去,房子只剩幼子胡德華獨守。會客廳懸有胡耀邦大幅照片,以及他及夫人的兩幅肖像畫。胡耀邦的女兒李恆作為中共海軍退役上將劉曉江的夫人,自有獨立居所。