巴顿在军事上勇敢而睿智，但在政治却显得盲目和幼稚，二战结束后，他在政治上的幼稚又开始抬头，其表现为对苏联的敌视和对纳粹分子的宽容。一次在招待会上，一名记者问他，德国人参加纳粹党与美国人参加共和党或民主党是不是差不多，巴顿给予了肯定的回答。这件事在舆论界引起轩然大波。巴顿的这种言论，使美国军方非常被动，艾森豪威尔在舆论的压力下，免去了巴顿的第3集团军司令和巴伐利亚州军事长官的职务，任命他为第15集团军司令。这个集团军实际上是一个有名无实的单位，只有一些军官、宪兵和后勤人员，其任务是整理和编写欧洲战场军事史。
巴顿军事上的强悍和政治上的幼稚，反差如此之大，令人匪夷所思。这种反差使他丢掉了第3集团的司令的职务，也结束了他在军队里那一幕幕惊天地、泣鬼神的壮举，提前离开了他所钟爱的事业，黯然回国。