1903年，葉長庚出生于浙江省開化縣中村鄉(xiāng)西畈村。家境貧苦，8歲替人牧牛，12歲起打零工。

1926年6月，為本村陳姓地主當(dāng)腳夫去廣東韶關(guān)，在韶關(guān)參加國民革命軍，編入2軍5師13團(tuán)機(jī)槍連，參加北伐戰(zhàn)爭。

1928年2月，部隊(duì)駐守景德鎮(zhèn)時(shí)，與軍內(nèi)外共產(chǎn)黨員頻繁接觸，還向方志敏部隊(duì)送武器。

1929年，投奔工農(nóng)紅軍。12月，任機(jī)槍連一排代理排長，乘全排戰(zhàn)士投奔紅軍。

1930年7月，加入共產(chǎn)黨。10月，任紅八軍四師二團(tuán)團(tuán)長。參加了第一至五次反“圍剿”戰(zhàn)爭和二萬五千里長征。受到中央軍委的嘉獎(jiǎng)，榮獲蘇維埃政府頒發(fā)的三級(jí)獎(jiǎng)?wù)潞褪暧⒂律茟?zhàn)紀(jì)念章。

1932年6月，任江西軍區(qū)獨(dú)立十二師師長，后調(diào)紅八軍二十二師師長、游擊區(qū)司令、湘贛軍區(qū)代理參謀長。長征途中，兼管六軍團(tuán)后勤工作。

抗日戰(zhàn)爭時(shí)期，任晉察冀軍區(qū)第四軍分區(qū)晉察冀軍區(qū)第四軍分區(qū)副司令員兼參謀長、晉察冀第五專署民兵部部長等職。參加了陳莊戰(zhàn)役、百團(tuán)大戰(zhàn)等重大戰(zhàn)役。