明崇禎元年（1628）進(jìn)士，改翰林院庶吉士。累官詹事府少詹事。

順治元年（1644），在北京降清，授原官，不久改任翰林院侍讀學(xué)士，掌管院事，賜鞍馬。順治二年（1645），遷國史院學(xué)士，不久任《明史》編修副總裁。順治五年（1648），升禮部左侍郎，丁母憂，奉旨在京守制。順治九年（1652），擢升禮部尚書，侍宴中和殿，賜貂皮朝衣。順治十年（1653），因總兵任珍案，徇私附和，降三級(jí)留任。順治十二年（1655），以疾乞休，順治帝慰留之，加太子太保。

順治十三年（1656），副都御史魏裔介、廣東道御史焦毓瑞彈劾胡世安受大學(xué)士陳之遴委托，推薦其同鄉(xiāng)安肅令沈令式為知府，沈令式為人庸劣；不久，總督李蔭祖又彈劾胡世安結(jié)黨營私，胡世安部議罰俸一年，革去太子太保，降三級(jí)任用。順治十四年（1657），任經(jīng)筵講官。順治十五年（1658），任武英殿大學(xué)士，兼兵部尚書。順治十六年（1659）加太子太保，不久加少傅兼太子太傅