土地革命戰(zhàn)爭時期，任紅四軍第十師通信排排長，紅三十軍第九十師警通隊隊長。1935年任紅四方面軍三十軍第九十師獨立營副營長，參加了長征。1936年11月進入紅軍大學(xué)學(xué)習(xí)，后入甘肅慶陽步兵學(xué)校學(xué)習(xí)；

抗日戰(zhàn)爭時期，任八路軍一二九師三八六旅七七二團連長，一二○師三五九旅七一九團營副政治教導(dǎo)員，團政治處宣教股股長。1944年隨八路軍南下支隊第一梯隊進軍湘粵邊，繼轉(zhuǎn)入鄂南，在通城等地開展游擊戰(zhàn)爭；

解放戰(zhàn)爭時期，于俠先后任隨（縣）棗（陽）獨立團政委、中原軍區(qū)三五九旅特務(wù)團副政治委員，1946年6月，國民黨以30萬兵力包圍中原軍區(qū)，妄圖圍殲我6萬中原軍區(qū)部隊。于俠率特務(wù)團隨三五九旅為右路軍向西突圍，歷時63天，穿越30余縣，血戰(zhàn)90多次，勝利到達陜北。1947年12月，率三團挺進晉南，參加了運城戰(zhàn)役，殲敵1個保安團，俘敵800余人。戰(zhàn)后，調(diào)任西北野戰(zhàn)軍第二縱隊六旅十八團政委，后任團長。西北野戰(zhàn)軍第二縱隊六師