康澤曾留學(xué)蘇聯(lián)莫斯科中山大學(xué)，1928年畢業(yè)，但不認(rèn)同馬列主義，認(rèn)為共產(chǎn)主義不適合中國(guó)國(guó)情，回國(guó)后不久建議時(shí)任國(guó)民革命軍總司令蔣中正采用俄國(guó)保衛(wèi)局制度（格別烏），保護(hù)政權(quán)。初在南京國(guó)軍總部任侍從副官，中原大戰(zhàn)結(jié)束后，1931年經(jīng)蔣批準(zhǔn)成立南昌行營(yíng)別動(dòng)總隊(duì)，康澤任少將總隊(duì)長(zhǎng)，在江西剿共時(shí)期為蔣所重用。在紅軍曾建立過(guò)的根據(jù)地，康澤的別動(dòng)總隊(duì)特別活躍，督促地方進(jìn)行清剿，恢復(fù)政權(quán)行使。在紅軍長(zhǎng)征之際，蔣派薛岳率中央軍追剿紅軍進(jìn)入川、康、貴、滇地區(qū)，每個(gè)縣都有康澤的別動(dòng)總隊(duì)，以之監(jiān)視地方共產(chǎn)黨與左派分子，作用極大。

康澤所帶領(lǐng)的別動(dòng)總隊(duì)（共產(chǎn)黨稱(chēng)為特務(wù)武裝，而康澤不認(rèn)為自己為大特務(wù)），其隊(duì)員的成分，乃是收容黃埔軍校的失業(yè)學(xué)生而組成。按期別有校尉之別，人數(shù)初為數(shù)百人，后來(lái)發(fā)展至數(shù)以萬(wàn)計(jì)，當(dāng)年的劉伯龍、公秉藩等將軍都是康澤系要人。1932年后，康澤擔(dān)任過(guò)中華復(fù)興社中央干事與書(shū)記及國(guó)民黨中央委員，深受蔣的器重