沈君山與台灣前副總統連戰、前外交部長錢復、監察院前院長陳履安,因為皆具美高等教育的履歷,在七十年代被視為國民黨未來的接班人選,因此當年有政壇「四大公子」之稱。政治以外,沈是圍棋業餘六段棋士和橋牌高手,以才氣縱橫和風流倜儻的形象深入民心,其感情生活亦十分豐富。
沈君山在1973年與首任妻子離婚,1978年因為爭取台灣參與奧運會,結識知名的退役田徑名將、有「飛躍羚羊」之稱的紀政。紀曾私下暱稱他為「沈大頭」,說沈「讓我覺得自己好像小女孩」。兩人曾經同遊希臘,買下棉織衫,紀至今還保留着,但兩人的愛情最終昇華成友情。沈2003年接受《壹週刊》訪問時說,他對愛情的看法是,「得到了就是失去,失去了也未必不能再得到。花不折會落去,但也可以很美。」