嚴(yán)折西于1909年2月出生在安徽歙縣一個(gè)平民家庭。祖父曾在浙江桐廬做過(guò)官，當(dāng)年“楊乃武與小白菜”是用祖父之“密室相會(huì)”之計(jì)解開癥結(jié)。父親嚴(yán)工上早年在歙縣新安中學(xué)教英文，后來(lái)改行從事電影表演和音樂創(chuàng)作，被譽(yù)為“中國(guó)流行歌曲五人幫”之一。

當(dāng)他9歲時(shí)隨父親嚴(yán)工上全家遷來(lái)上海。父親多才多藝,擔(dān)任過(guò)上海戲劇學(xué)校英語(yǔ)教師,后入電影界,拍過(guò)103部電影,最后拍的是與白楊陶金吳茵等演的"一江春水向東流“，飾演張忠良的父親。

嚴(yán)折西就讀于上海尚工小學(xué)，后來(lái)升入光華中學(xué)。

1925年，江浙軍閥齊燮元、盧永祥混戰(zhàn)，戰(zhàn)火波及上海，學(xué)校停課。嚴(yán)折西轉(zhuǎn)入自學(xué)，系統(tǒng)學(xué)習(xí)音樂理論、樂器演奏及美術(shù)課程。他從小受到父親的影響，對(duì)音樂繪畫有特殊的愛好，加之父親的幫助，進(jìn)步很快。

1926年，就開始為商務(wù)印書館出版的《小說(shuō)月刊》設(shè)計(jì)封面，創(chuàng)作插圖。又任職于富華公司畫廣告，參與了中華歌舞學(xué)校樂隊(duì)的演奏。同年與“四大天王”之一的薛玲仙成婚。