抗日戰(zhàn)爭爆發(fā)后，參加了新四軍軍部教導(dǎo)隊的學(xué)習(xí)。1939年春，任中共青浦縣工委委員、組織部長兼民運部長，在青浦東鄉(xiāng)組織群眾抗日武裝，擔(dān)任青東后備隊總指揮，組建了一支有2000余人、千余槍支的抗日武裝，為青浦縣的抗日斗爭作出了重大貢獻(xiàn)。1939年冬，曾被中共江蘇省委選派為出席黨的“七大”代表，后赴延安，在中央黨校學(xué)習(xí)四年。1945年4月，張凡參加了中國共產(chǎn)黨第七次代表大會。

抗戰(zhàn)勝利后，張凡回中共中央華中局駐地江蘇淮安。1946年，調(diào)任上海任中共淞滬工委書記。不久，兼任中共浦東工委書記。在國民黨控制的浦東地區(qū)，發(fā)動群眾，重建武裝，開展游擊戰(zhàn)爭。1948年，所創(chuàng)建的地方武裝擴編為浦東人民解放總隊，兼任總隊長。5月，根據(jù)中共中央上海局的決定，率300余名武裝人員橫渡杭州灣，勝利到達(dá)浙東四明山根據(jù)地，部隊改編為浙東人民解放軍第五支隊，任中共四明工委副書記兼五支隊副政委。8月，奉命率10余名干部，赴金蕭地