1864 年9 月在第三次温切斯特之战中阵亡。祖父使用过的马鞍一直珍藏在巴顿家中。鞍上写有这么一句话：巴顿上校在第三次温切斯特之战中殉职，因有忠诚之传令兵，此鞍、战马及军刀得以保存。祖父的几位兄弟也是弗吉尼亚军事学院的毕业生，都参加了南部同盟军，在战场上作过战。此外，祖父的几位表兄弟也在南部同盟军供职。小乔治·巴顿非常崇拜这些祖先、尤其是他的祖父。在他看来，他们作战勇敢、品格高尚、理想远大，是他“行动的楷模，前进的灯塔”。童年时的小巴顿经常产生幻觉，仿佛感到祖先一直站在峰颠上，观察他的一言一行，评判他的言谈举止，考测他的意志能力。想到这些，他不禁暗下决心，一定要克服心理障碍，要以祖先们的标准检验自己的言行，不断地督促自己奋发向上，力争有资格继承巴顿家族的传统。他写道：“我家族的祖先一直在催我奋进。如果我稍有迟疑，我就可能砧污我的血统。”
战争使巴顿家族受到沉重打击，于是，做了寡妇的祖母带着4 个孩子离开饱受战火摧残的家乡，千里迢迢来到加利福尼亚洛杉矶市。在这里，他们度过了几年艰苦贫困的日子。直到1871 年祖母改嫁给祖父的表兄弟乔治·休·史密斯以后，全家生活才有了好转。
小巴顿的父亲原名乔治·威廉·巴顿，生于1856 年，为了纪念继父而改名为乔治，史密斯·巴顿。他小时经历了战时南方的物资匮乏和早年加州艰辛的生活。巴顿的父亲自幼口齿伶俐，13 岁时开始引起公众的注意，当地一家报纸称他是中学生中具有“伟大魅力和温文尔雅的”辩士。长大后，他返回弗吉尼亚，入弗吉尼亚军事学院学习。他曾在高年级中担任头号学员干部——学员副官。毕业后，他当过一年法语教官，1878 年回到洛杉矶，在“格拉塞尔、史密斯和切普曼公司”法律事务所当律师。
1884 年，他当选为地方检察官。加利福尼亚富翁威尔逊家有两位小姐都倾心于他，最后还是三小姐鲁思，威尔逊成了他的妻子，即巴顿的母亲。巴顿的外公本杰明·戴维斯·威尔逊是一个白手起家的拓荒者。他当过猎手、商人、小店主等，经过多年的艰苦创业，终于成为洛杉矶屈指可数的富翁，并当选为洛杉矶第一任市长。到19 世纪70 年代，他成为加州最大的葡萄酒和白兰地酒制造商，并拥有大量的不动产。
威尔逊死后，其财产多被大女婿詹姆斯·肖波继承。肖波夫妇占有的财富最多时达200 万美元。他们建造了维多利亚式别墅、购买专供自己旅游的豪华专列，过着纸醉金迷的生活，有恃无恐地挥霍威尔逊留下的大笔遗产。但肖波经营无方，搞得债台高筑，最后被迫把产业交给巴顿的父亲经营。此后，父亲更多地陷入商业事务中，整日东奔西走，很少有时间陪孩子们玩，甚至经常不在家。后来，巴顿对姨夫肖波颇有微词，把父亲不能陪他玩耍的责任归咎于肖波身上。
父亲的工作越来越忙了，无暇照顾孩子们。这时，巴顿还差两个月就满12 周岁，“阅读失常症”也有所减轻，父母决定送他到斯蒂芬·卡特·克拉克私立学校就读，该学校位于帕萨迪纳市无轨电车线的起始点上，校舍是一套红木构筑的平房，有草坪环绕，不远处还有一个不小的操场。这是一所富人子弟学校，来自南加利福尼亚富贵家庭的25 名学生在此就读。巴顿在这里一读就是6 年，获得了良好的基础教育。
在学校期间，巴顿不得不比别的孩子付出更多的辛苦和汗水。他不仅要克服在阅读和拼写上的生理缺陷，而且还要忍受同学们的羞辱与嘲笑。有些同学在课堂上模仿他发音不准的朗读，有些同学还在黑板上模仿他不规整的拼写。他虽然感到很愤怒，但并没有因此而气馁。父母及家人的拳拳爱心和大力支持鼓舞了他，振奋着他的精神，促使他决心取得成功。这不仅仅是为了自己，而更主要的是为了报答父母和效法祖先。
巴顿最喜爱的功课是历史课。他认为历史是由伟人们的个人品质所决定的，他们以其爱国主义、自我牺牲精神和巨大的力量推动了历史的前进。甚至在上学之前，他就喜欢听大人讲历史故事、伟人的经历和军事家的功业。父亲给他朗读的著作都是精心挑选的，苏格兰诗人瓦尔特·司各特爵士的作品最受他的欢迎，他的史诗描写了苏格兰的生活、传说、部族、格子呢、风笛、侠士等等，这些都增强了巴顿对传统文化习俗的理解。荷马史诗中的《伊利亚特》和《奥德赛》，讲述了人类为反抗悲惨命运而进行的不屈不挠的斗争，它引导年轻的巴顿去思索人类如何去与命运抗争，把握自己的未来。色诺芬的《远征记》刻画了万人军克服重重险阻的远征及其统帅小居鲁士大无畏的英雄气概。莎士比亚在悲剧中探索了人类自身的冲突，揭露了一部分人自私丑恶的灵魂，赞扬了人间的真善美。《旧约》谈到了公正与邪恶的斗争。麦考利的《古罗马诗歌》和吉卜林的史诗读起来朗朗上口，乐趣无穷。所有这些都使他回味无穷，赞叹不已。
这些著作和诗歌对巴顿产生了巨大的影响，使他产生了某种神灵崇拜意识，相信灵魂转世和精神感应，并形成一种幻觉：他仿佛生活在其他历史时代，是一名斗士——一名古希腊的重甲步兵、古罗马军团的战士、东罗马贝利撒留将军的骑兵、斯图亚特王朝的苏格兰高地人、拿破仑的勇士等等。除了从书本上获得这些知识外，巴顿还从父母、姑姑。老师那里听说不少有关战争的故事。他把历史作为理解现在、预知未来的钥匙。
军事统帅们富有传奇色彩的战争故事更使巴顿迷恋不已。汉尼拔在西班牙和意大利的作战行动充分显示了用兵自如、胆量超人和对关键时间关键地点的敏锐感觉。恺撒率第10 军团在高卢的征战、圣女贞德在奥尔良抗击英军、拿破仑统军在意大利对反法联盟作战，等等，都展示了充满活力的个人领导才能和神秘莫测的军事艺术魅力。巴顿尤其崇拜因防御顽强而号称“石墙”的美国南部同盟军将领杰克逊将军，因为巴顿家族的几位成员都曾在杰克逊的麾下供职。这些人作战勇敢、指挥有方、充满自信、战绩赫赫，成为巴顿效法的楷模。
志向远大，甚至有几分狂妄，这是巴顿年轻时的主要特点。不少传记专家都指出这一点。但这并不是天生就有的，是优越的家庭环境使他养成了“高人一等”的感觉。他自幼受到父母和安妮姑姑的溺爱、有爱尔兰和墨西哥的仆人伺候，周围所接触的都是当地显要人物，生活养尊处优，应有尽有，所有这些使他感到：自己是“世界上最幸福的孩子”。尽管患有阅读失常症，但他还是认为自己位于上流社会的顶层，有一种优越感。他从不怀疑自己的社会地位。像弗吉尼亚的祖先一样担任军官，像历史上的伟大统帅一样成为伟人，这就是巴顿的雄心壮志和远大理想。
从中学时代起，巴顿表现出强烈的表现欲和虚荣心。他从心眼里看不起普通百姓，视广大民众如草芥。在私立学校就读期间，他在日记本中写道：“古代的普通百姓愚昧无知，其实现代的绝大多数人也没有什么两样。”他认为，所有的伟人不管是好是坏，都是通过对周围环境的控制和驾驭而达到显赫地位的。为了达到出人头地，他就必须在某些方面具有专长，并得到社会的承认。他认为他本人的专长就是在军事领域有所作为。为此，他重视荣誉和声望胜过生命，认为：只有继承了家族那种伟大、崇高和辉煌的传统，只有向社会展示出超群的才干并为国家作出卓越的贡献，才能获得荣誉和声望。
夏天，巴顿兄妹俩常常是在姑姑安妮或者父母的陪同下，乘船到圣卡特林纳岛度假。这里风景如画，气候宜人，没有受到污染的原始森林散发出缕缕清香。蔚蓝的天空、浩翰的海洋、迷人的自然景观给人一种心旷神怡、心胸开阔和飘飘如仙之感。这里有供游泳的浅滩、供划船的防波堤和供打猎的山地等等。巴顿在这里游泳、划船、打猎、捕鱼，玩得痛快淋漓。1902 年夏天，巴顿一家又来到这个岛休息，同时来到这里度假的还有他们的好朋友拜林和艾尔两家人。就在这时，巴顿结识了比他小两个月的比阿特丽丝·拜林·艾尔小姐。谁也没想到，这次偶然的相识却发展为两人真诚爱情的开始。
三个家庭的8 个孩子在一块尽情地玩耍。他们游泳、划船、演戏、跳舞，个个精神愉快、穿着时髦，玩得十分滞洒痛快。
虽然年仅17 岁的巴顿对姑娘还不怎么感兴趣，但小巧玲玫、谈吐不凡的比阿特丽丝一下子就迷住了他的心。而她也认为巴顿是个很特别的人，颇有男子汉的魅力。
其实，两人在很多方面都不尽相同。他喜欢运动和展示力量，性格粗犷；而她则是大家闺秀，喜欢高雅，感情细腻而浪漫。他长这么大还没有离开过加利福尼亚家乡；而她则游历了欧洲，并在法国和瑞士的学校就读，能讲一口流利的法语。他是个乐盲，而她却能弹奏一手好钢琴。如果说他代表了野蛮的西部生活的话，那么她则是东部海滨文明的产物。
她已年满16 岁了，但还是一副孩子气，喜欢玩洋娃娃。在家中的沙龙里，她是一个活跃分子。由于自幼受到父母的宠爱，她养成了固执、骄傲和目空一切的个性，但她对巴顿却格外温柔。