在北方诸国中，由氐族所建立的前秦，在苻坚时强大起来，并统一了北方大部分地区，随后，苻坚也想一统江南。383年，苻坚率军南下，声势浩大，企图一举消灭东晋。
前秦南下，东晋面临空前威胁，在宰相谢安的运筹下，东晋将领谢石、谢玄率北府兵大败前秦军队于淝水，取得了东晋北伐历史上的决定性胜利。这就是我国古代历史上著名的“淝水之战”。
淝水之战后，前秦瓦解，北方大乱，再次陷入长期分裂的状态，北方诸部无暇南侵。东晋以弱胜强，局势暂时稳定下来。
由于东晋时北方少数民族的入主中原，使他们更多的接触到华夏文化，使之与汉民族逐渐发展为同一生活习惯的民族，进而被汉族融合。自魏、晋、南北朝之后，中原北方大体已形成以汉族为主，其他少数民族混居的人口构成形式，使我国正式成为具有相似生活习惯的多民族国家。事实上，东晋政权是江南大族势力平衡下的产物，其他三族相继衰落，桓氏成为唯一的大族。
404年，桓玄废晋安帝，自立为皇帝，国号楚。然而，桓玄是一向腐朽士族中人，士族们连掘些草根充饥的本领也没有，所以他不可能维持既得地位。就在桓玄称帝同一年，刘裕在京口约集失意士人密谋攻桓玄，被众推为盟主。刘裕击败桓玄，掌握东晋政权。
东晋重要地区用大族作镇将，因而形成割据的局面。刘裕改用皇子作镇将，特别是荆州江州两镇，所统兵甲占全国兵甲的半数，更非选皇子不可，从此建康朝廷不再受大族重镇威胁。刘裕完成了上述军事上政治上的措施，东晋朝显然再没有存在的余地了。