裴蘊性明辯，有吏干。一開始在陳朝做官，任過直閣將軍、興寧令，但他卻始終思念著北方的故土和親人。同時他估計北方的楊堅可能會統(tǒng)一全國，曾暗中派人送信給楊堅，表示“請為內(nèi)應(yīng)”。陳朝被隋滅掉后，隋文帝楊堅接見曾在陳朝做過官的所有“江南衣冠之士”。當(dāng)接見到裴蘊時，楊堅想起了他曾奉表“請為內(nèi)應(yīng)”之事，便破格提拔裴蘊時，超授為儀同之職。左仆射高颎進(jìn)諫說：“裴蘊無功于國，所受的恩寵卻超過了同輩，我認(rèn)為此舉是不妥當(dāng)?shù)??！彼逦牡蹢顖月牶蟛灰詾槿?，反而又給裴蘊加官為上儀同。高颎仍然不解，再次進(jìn)諫。文帝又給裴蘊加官，授以開府之職。高颎這才不敢說話了。以后，裴蘊又歷任洋、直、棣等州刺史，都有能名。

大業(yè)初，考績連最。隋煬帝聞其善政，征為太常少卿。之前，高祖隋文帝不好聲技，派遣牛弘定樂，非正聲清商及九部四儛之色，皆罷遣從民。至此，裴蘊揣測知隋煬帝意，奏括天下周、齊、梁、陳樂家子弟，皆為樂戶。其六品已下，至于民庶，有善音樂