其祖父為本鄉(xiāng)大地主，富甲一方，貲雄鄉(xiāng)里。父早喪，弟兄三人，同父異母長(zhǎng)兄倪昭奎（字文光），是當(dāng)時(shí)道教的上層人物，曾“宣受常州路道錄”、“提點(diǎn)杭州路開(kāi)元宮事”、“賜號(hào)元素神應(yīng)崇道法師，為主持提點(diǎn)”、又“特賜真人號(hào)，為玄中文潔真白真人?！倍纾ㄍ┠咦隅Ｔ谠?，道教的上層人物地位很高，有種種特權(quán)，既無(wú)勞役租稅之苦，又無(wú)官場(chǎng)傾軋之累，反而有額外的生財(cái)之道。

倪瓚從小得長(zhǎng)兄撫養(yǎng)，生活極為舒適，無(wú)憂(yōu)無(wú)慮，倪昭奎又為他請(qǐng)來(lái)同鄉(xiāng)“真人”王仁輔為家庭教師。倪瓚受到這樣的家庭影響和教育，養(yǎng)成了他不同尋常的生活態(tài)度，清高孤傲，潔身自好，不問(wèn)政治，不愿管理生產(chǎn)，自稱(chēng)“懶（嬾）瓚”，亦號(hào)“倪迂”，常年浸習(xí)于詩(shī)文詩(shī)畫(huà)之中，和儒家的入世理想迥異其趣，故而一生末仕。性好潔，服巾日洗數(shù)次，屋前后樹(shù)木也常洗拭。家中藏書(shū)數(shù)千卷，親手勘定。

青少年時(shí)期的倪瓚雖然家境富裕，生活優(yōu)裕，但未染上紈绔子弟習(xí)氣，對(duì)自身的學(xué)習(xí)修養(yǎng)，抓得挺緊。