善化許氏家族住善化、東鄉(xiāng)、圭塘、許家沖。系十六世紀初，明正德年間，在全國性的流民潮中，自江西遷居到湖南的。許瑤光是圭塘許氏家族第十一代。許瑤光出身微寒。父親許永璜、字國賢，母張氏，兄仁甫、次衡、力常，種菜務農。妻朱氏，有三子，方義、方鎮(zhèn)、方藻。許瑤光讀書做官后，許氏家族這一支系也由農轉士。以后，許瑤光之女嫁何紹基(著名學者，大書法家)之侄；再后，何紹基小孫女何琳蓀又嫁許瑤光長孫許直，許、何兩家結為親家。

許瑤光五歲時，父母聘請老師督教他上課，大哥、二哥也常購書督促他讀書。他和三兄考取秀才(附生)后，進省城東南的紫荊山房讀書。學校位于東茆古里，面臨小瀛洲，十分幽雅。秀才享受食廩，免除丁糧稅，見到知縣可不下跪。

道光二十一年，許瑤光父親去世。二十四年喪滿，正好騎跨省試日期，錯過了考舉人。清代科舉，喪服三年未滿者不得應試。他感到悲傷憂郁。二十五年，歲試“四十賢人”賦，及“秋蘭”詩，見賞于南皮張振之(名