與其他中共第五代領導人比,劉雲山履歷相對簡單,他既無顯赫學歷,也非中共太子黨,中專畢業後長期在內蒙古偏遠地區工作,做過教師、宣傳幹事,後來改行做記者。上世紀80年代初,他任共青團內蒙古委員會副書記,此時胡錦濤是團中央書記,故外界通常將劉列為團派,與李克強、李源潮、汪洋同列團派的「四大金剛」。
海外有報道指,劉雲山表面屬胡錦濤的團派,但實際上與江澤民關係非淺。美國作家庫恩(Robert Lawrance kuhn)擬寫《江澤民傳》(英文書名The Man Who Changed China:The Life and Legacy of Jiang Zemin),得到劉暗中支持,派手下協助他搜集資料,出版後迅即譯成中文版,在內地上架,大討江的歡心。