廖麗麗父母於戰時相識，出生後父母再投身戰事，廖麗麗交由家人照顧，還到一家幼稚園寄宿。

1950年，廖麗麗父親在軍中位列團政委，「我爸爸係一個小學教師，係一個有文化嘅人，就俾人拉咗佢去做政府署長。嗰陣要同香港嘅資本家傾生意，我爸爸就用好多錢買糧食返嚟救濟啲人，但嗰陣有啲人從中落格，當時三反五反，打我爸爸做大老虎。我好記得嗰陣啲人嚟抄家，乜嘢都摷唔到。我爸爸屈住咗，坐咗一年監，我嗰陣因為係讀幼稚園，幼稚園旁邊就係勞改場。成班小朋友小息嗰時喺度玩，我就趴住喺個鐵欄度搵爸爸。啲老師幫我哋洗頭嗰陣，扯住我頭髮話：『你爸爸係大老虎嚟0架！』我又驚，又想見媽媽，於是夜晚唔冚被，凍親發燒，咁就可以返屋企見媽媽喇。」

雖然仍然只是幼稚園學生，但同齡小朋友都知道「大老虎」是甚麼，所以都不肯跟廖麗麗玩。她憶述當時跟媽媽到監牢探望爸爸，爸爸在獄中有很多畫作，還拿給母女看，這一切廖麗麗一直深印腦海。

廖父離世前一星期，中央才下指示，為其父平反，恢復原職，但他當時已患胰臟癌病重，只說；「太遲了。」愛國愛黨一個老實人，最後下場卻是如此。