林徽因的母親名叫何雪媛,是她父親林長民的繼室,婚后生有一子兩女,但只有林徽因活到長大成人。后來,林長民又娶了上海女子程桂林,程桂林肚子爭氣,一連生了一女四子五個孩子。從此以后,林長民便獨寵這位漂亮溫柔的姨太太,把原本就不受待見的何雪媛徹底冷落了。在林家宅邸里,林長民與程桂林以及他們的孩子住在前面的大院,而林徽因則隨母親住在后面的小院。
在林徽因的童年記憶中,前面的大院是天堂,充滿歡聲笑語,后面的小院則無異于冷宮,陰森又冷清。父親很少去后院,即便去,也是與母親吵得不可開交。何雪媛恨林長民,更恨程桂林,她認為,都是那個女人的到來把她推入了守活寡的地獄。林徽因的童年并不幸福,甚至可以說非常痛苦,因為母親經常把她當成發泄的對象。
再后來,林長民去世,林徽因成家成名,她把母親接到身邊生活,以盡孝道。但是,多年的情緒壓抑,讓何雪媛的脾氣越發古怪,她在梁家耀武揚威、打罵傭人不說,還經常與林徽因發生沖突。最讓林徽因無法忍受的是,她像中國很多舊式女子一樣,把一肚子的怨氣全部轉移到了姨太太的子女身上。
作為長姊,林徽因與弟弟妹妹們自幼關系很好,雖然在何雪媛的干預下,他們接觸的機會不多,但林徽因對弟弟妹妹的愛是發自內心的,并沒有因為他們不是一母所生而有絲毫打折。