江沛霖大惊道：“可怜可怜，罪过在我，你不该死！”遂将其抱回，起乳名为“怜妹子”。江家“洗女”六代，人说可能发男家，江氏嫁给曾麟书后，丈夫中了秀才，儿子官封一品，荣华已极。因此江氏家族认为，曾家的发迹靠的是江氏祖先葬的这块“仙女袒肤”地。
江家原比曾家富裕得多。江沛霖的父亲江宏辉本是国学生，家业丰厚，颇有豪侠气概。江沛霖兄弟各分得一份不小的家业。而江沛霖“弃场屋为族之领袖”，“轻财好义，家遂中落”。江沛霖“虽然贫困不遏，其志未少损”。将女儿许给曾家后，他对女婿曾麟书寄予厚望。曾对女婿说：吾人为学，如果能不以外物移其志，不以世不录用而迁其业，持之以恒，自能成功。吾知你固能奋力而学，你的后嗣亦一定能光大吾道，努力吧！
曾麟书十分敬佩岳丈，常携妻儿造访江家。曾国藩十岁时，还曾到外祖父门下读书（江沛霖在家设馆课徒，招收了几百人）。江沛霖家旁有一口水井，据说有一次，曾国藩跟外祖母去提水，与表弟相挤，掉进了井，幸被江沛霖救了出来。江沛霖晚年信佛，认为这是江家与曾家的祖德相报，并从外孙掉进井里险些“浸死”二字的谐音预言：外孙将来一定会成“进士”。后来曾国藩果真成了进士。道光十四年（1834年），曾国藩考中举人，曾麟书又携妻儿拜望已经八十五岁的岳丈。曾麟书让儿子曾国藩将他中举的试文拿给外公看，江沛霖细细阅读，大加赞扬，对女婿说：吾过去就知汝后代力学有大成，足以为吾道之光，这无非是其发轫耳。
中举才仅仅是个开始。这既是肯定，又是鼓励和更高的期望。江沛霖的话，给曾麟书、曾国藩父子留下了一生都无法忘怀的印象。后来曾麟书为岳丈刻写墓碑时，还满怀敬意地叙述上事，并说：“享年已八十五矣，其志之不衰如此。”
家风的影响和作用是十分重要的。曾国藩母家对曾氏家族的影响也不可忽略。
曾国藩的母亲江氏，拥有中国传统女性的许多优秀品德。她容貌秀丽，勤劳淑德，纺花搓线，烧茶煮饭，样样能干，并受家学影响粗识文字。当时，曾家经济尚不宽裕，江氏与曾国藩的父亲成婚后，谨守曾门家训，操持家务克勤克俭，特别是侍奉公婆十分周到。曾玉屏晚年卧病三年，她与丈夫日夜轮流守护床边，毫无怨言。江氏所生五男四女，“尺布寸缕，皆一手拮据”。曾国藩的父亲常以“人众家贫为虑”，而江氏总是“好作自强之言”相劝，或用“谐语以解劬苦”。她常对丈夫说：“吾家子女虽多，但某业读，某业耕，某业工贾。吾劳于内，诸子劳于外，岂忧贫哉？”
曾国藩继承了母亲的性格，敢与困难周旋，有倔强之气。晚年时，曾国藩说：他们兄弟秉承母德居多，好处是天性“倔强”。“‘倔强’二字，却不可少，功业文章，皆须此二字贯注其中，皆从‘倔强’二字做出”。
手足(1)
曾麟书育有四女五子。曾国藩为老二，上有一姐，下有三妹四弟，因最小的妹妹早夭，实际兄弟姐妹八人。
曾国藩在兄弟五人中居长；二弟曾国潢字澄侯，在族中大排行居四，称老四；三弟曾国华字温甫，过继给曾麟书三弟曾骥云，在族中大排行居六，称老六；四弟曾国荃字沅甫，在族中大排行居九，称老九；五弟曾国葆字季洪，后改名曾贞干，字事恒，称季弟。分别小曾国藩九岁、十一岁、十三岁、十七岁。
对几个弟弟，曾国藩恪尽兄长之责，认为这是在尽孝道，能够教导诸弟的德业进一分，自己的“孝”就有了一分；能够教导诸弟的德业进十分，自己的“孝”就有了十分；若全不能教弟成名，自己则为大不孝了。
曾国藩将进修德业视为教弟的根本。一次，曾国藩接得家书，知四弟、六弟未得入学，怅然之余，教导弟弟们：“科名有无迟早，总由前定，丝毫不能勉强。吾辈读书，只有两事：一者进德之事，讲求乎诚正修齐之道，以图无忝所生；一者修业之事，操习乎记诵词章之术，以图自卫其身。进德之事，难以尽言；至于修业以卫身，吾请言之。卫身莫大于谋食。农工商，劳力以求食者也；士，劳心以求食者也。故或食禄于朝，教授于乡，或为传食之客，或为入幕之宾，皆须计其所业，足以得食而无愧。科名者，食禄之阶也，亦须计吾所业，将来不至尸位素餐，而后得科名而无愧。食之得不得，穷通由天作主。予夺由人做主；业之精不精则由我做主。然吾未见业果精而终不得食者也。农果力耕，虽有饥馑，必有丰年；商果积货，虽有壅滞，必有通时；士果能精其业，安见其终不得科名哉？即终不得科名，又岂无他途可以求食者哉？然则特患业之不精耳。”
几个弟弟道理上明白，但实际行动起来，总是差强人意。如国潢懒散，国荃浮躁，国华受不得挫折，国葆缺乏自制。对此，曾国藩谆谆教导诸弟一要“立志有恒”，一要“专心致志”。他说：“苟能奋发自立，则家塾可以读书，即旷野之地、热闹之场亦可读书，负薪牧豕皆可读书。苟不能奋发自立，则家塾不宜读书，即清静之场、神仙之境皆不能读书。何必择地，何必择时？但自问立志之真不真耳。”又说：“求业之精，别无他法，日专而已矣！谚曰‘艺多不养身’，谓不专也。吾掘井多而无泉可饮，不专之咎也。诸弟总须力图专业。如九弟志在习字，亦不必尽庹他业。但每日习字工夫，断不可不提起精神，随时随事，皆可触悟：四弟六弟，吾不知其心有专嗜否？若志在穷经，则须专守一经；志在作制义，则须专看一家文稿；志在作古文，则须专看一家文集。作各体诗亦然，作试帖亦然，万不可以兼营并骛，兼营则必一无所能矣。切嘱切嘱！千万千万！”
曾国藩关心弟弟们的学业，择学择师均一一参与意见，支持弟弟们赴省城读书，并负担他们的学费。曾国藩在信中对父亲说：“四弟欲偕季弟从汪觉庵师游，六弟欲偕九弟至省城读书。男思大人家事日烦，必不能在家塾照管诸弟，且四弟天分平常，断不可一日无师，讲书改诗文，断不可一课耽搁：伏望堂大人俯从男等之请，即命四弟、季弟从觉庵师，其束脩银，男于八月付回，两弟自必加倍发奋矣。六弟实不羁之才，乡间孤陋寡闻，断不足以启其见识而坚其志向。且少年英锐之气不可久挫，六弟不得入学，既挫之矣；欲进京而男阻之，再挫之矣；若又不许肄业省城，则毋乃太挫其锐气乎？伏望堂上大人俯从男等之请，即命六弟、九弟下省读书。其费用，男于二月间付银廿两至金竺虔家。”
几个弟弟都曾到京城曾国藩身边读书。曾国藩除身体力行，教弟读书外，又为他们捐监，创造科考的条件。但最根本的还是希望诸弟通过读书，明晓事理，修身齐家。他常与诸弟说：“吾细思凡天下官宦之家，多只一代享用便尽，其子孙始而骄佚，继而流荡，终而沟壑，能庆延一二代者鲜矣。商贾之家，勤俭者能延三四代；耕读之家，勤朴者能延五六代；孝友之家，则可以绵延十代八代。我今赖祖宗之积累，少年早达，深恐其以一身享用殆尽，故教诸弟及儿辈，但愿其为耕读孝友之家，不愿其为仕宦之家。”要求诸弟“读书不可不多，用功不可不勤，切不可时时为科第仕宦起见”，看不透这层道理，即便金榜题名高官显宦，终算不得祖父之贤肖，我家之功臣；若能看透此道理，则我钦佩之至。
曾国藩对诸弟既严如父又慈如母，思弟念弟爱弟之情时时溢于言表。他曾说：
“我生平于伦常中，惟兄弟一伦，抱愧尤深。盖父亲以其所知者尽以教我，而我不能以吾所知者尽教诸弟，是不孝之大者也。九弟在京年余，进益无多，每一念及，无地自容。吾每作书与诸弟。不觉其言之长，想诸弟或厌烦难看矣。然诸弟苟有长信与我，我实乐之，如获至宝。……
兄弟和，虽穷氓小户必兴；兄弟不和，虽世家宦族必败。男深知此理，故禀堂上各位大人俯从男等兄弟之请，男之意实以和睦兄弟为第一。……
自忆连年教弟之信不下数万字，或明责，或婉劝，或博称，或约指，知无不言，总之，尽心竭力而已。”
曾国藩鼓励并重视诸弟对自己的批评，多次说：“诸弟远隔数千里外，必须匡我之不逮，时时寄书规我之过，务使累世积德，不自我一人而堕，庶几持盈保泰，得免速致颠危。诸弟能常进箴规，则弟即吾之良师益友也。而诸弟亦宜常存敬畏，勿谓有家人做官，则遂敢于侮人；勿谓己有文学，而遂敢于恃才傲人。常存此心，则是载福之道也”。“诸弟见我之立心制行与我所言有不符处，望时时切实箴规，至要至要”。“凡吾有过失，澄、沅、洪三弟各进箴规之言，余必力为惩改；三弟有过，亦当互相箴规而惩改之”。
他接到曾国潢批评自己“月月书信，徒以空言责弟辈。却又不能实为好消息，令堂上阅兄之书，疑弟辈粗俗庸碌，使弟辈无地可容”的信，回信说：“甚为切当”。“兄读之不觉汗下”。又说：“信中言兄与君子讲学，恐其渐成朋党，所见甚是，然弟尽可放心。兄最怕标榜，常存暗然尚纲之意，断不至有所谓门户自表者也。”还说，信中有“弟之牢骚，非小人之热中，乃志士之惜阴”，读至此，不胜惘然，“恨不得生两翅忽飞到家，将老弟劝慰一番，纵谈数日乃快”。