潘岳出身儒學(xué)世家。少年時，隨父宦游河南、山東、河北，青年時期就讀洛陽太學(xué)，二十余歲入仕，供職權(quán)臣賈充幕府，后歷任京官，因作賦頌揚(yáng)晉武帝躬耕藉田顯露才華被當(dāng)權(quán)者左遷河陽縣令（今焦作孟州和洛陽吉利區(qū)），潘岳負(fù)其才而郁郁不得志。

當(dāng)時任尚書仆射山濤、領(lǐng)吏部王濟(jì)、裴楷等受寵，潘岳很憎恨他們，于是在宮殿大門柱子上寫下歌謠：“閣道東，有大牛。王濟(jì)鞅，裴楷鞧，和嶠刺促不得休?！庇直蛔筮w離洛陽更遠(yuǎn)的懷縣做縣令。潘岳做得有聲有色、政績斐然，朝廷提拔他到京城做財政部官員，后來因為犯事被免職，不久被太傅楊駿引入門下做了太傅主簿。

后來太傅楊駿被害夷三族，潘安作為幕僚也在被誅之列，幸虧當(dāng)時他公事在外又有當(dāng)權(quán)者、楚王的心腹、他的好友公孫弘替他說話（潘岳曾在他貧困潦倒時幫助過他），他被調(diào)往長安做縣令，因為母親生病辭官奉養(yǎng)，在此期間與好友石崇附會賈充外孫賈謐，之后升遷做了黃門侍郎，賈謐開閣延賓，召集天下文士潘安、石崇、陸機(jī)、