馬成年少時為縣吏。劉秀伐潁川時歸順，劉秀以馬成為安集掾，后調(diào)任郟縣（河南郟縣）縣令。劉秀討伐河北，馬成就棄官步行，追到蒲陽趕上劉秀，劉秀任命馬成為期門，跟從征伐。

公元25年，劉秀登基稱帝，改元建武，馬成升任護(hù)軍都尉。

建武二年（26年），隨蓋延平定割據(jù)東部的劉永。

建武四年（28年）秋，馬成拜為揚武將軍，督誅虜將軍劉隆、振威將軍宋登、射聲校尉王賞，征調(diào)會稽、丹陽、九江、六安四郡的軍隊攻擊割據(jù)江淮一帶的李憲。當(dāng)時劉秀到壽春，設(shè)立壇場，按祖禮授馬成軍權(quán)。

馬成進(jìn)圍李憲于舒(今安徽省廬江縣)，令諸軍各深溝壁壘。李憲多次挑戰(zhàn)，馬成堅壁不與交戰(zhàn)，圍守一年多，到建武六年（30年）春，城中食盡，于是攻城，屠殺舒城居民，斬李憲，追擊其黨羽，盡平定江淮地區(qū)。

建武七年（31年）夏，封為平舒侯。

建武八年（32年），跟從大軍征伐割據(jù)隴西的隗囂，四川的公孫述派兵救援隗囂，馬成與征西大將軍馮異、建威大將軍耿弇、虎牙大將軍蓋延