1961年蔣介石集團(tuán)乘國內(nèi)經(jīng)濟(jì)出現(xiàn)困難，在美帝國主義的支持下，妄圖策劃反攻大陸，我國沿海高度戒備，為增強(qiáng)部隊?wèi)?zhàn)斗力，在部分的在校中學(xué)生中征兵。1961年7月，正在廉江中學(xué)讀高二的溫玉柱，響應(yīng)祖國號召，帶頭報名參軍，分配在解放軍215師偵察連當(dāng)戰(zhàn)士。入伍后，他從難從嚴(yán)要求自己，進(jìn)步很快。1973年加入中國共產(chǎn)黨，歷任班長、排長、偵察科長、團(tuán)長。

1979年2月，時任團(tuán)長36歲的溫玉柱，率領(lǐng)165師495團(tuán)參加對越自衛(wèi)反擊戰(zhàn)。在戰(zhàn)斗中，他深入前沿，制訂作戰(zhàn)方案，部署兵力，配置火力，身先士卒，與戰(zhàn)士并肩戰(zhàn)斗，戰(zhàn)績顯著，495團(tuán)集體榮立三等功。他顯示出來的軍事才能受到上級關(guān)注。戰(zhàn)爭結(jié)束后，升任165師副師長。1980年到解放軍軍事學(xué)院深造，此前的1976年，他也到過中國人民解放軍軍政大學(xué)軍事系學(xué)習(xí)，是軍中為數(shù)不多兩度到軍事學(xué)院進(jìn)修的中青年師級干部。

1983年后，任55軍參謀長、副軍長、某集團(tuán)軍軍長19