汉武帝在国力强盛之后，一改汉初以来对匈奴委曲求全的防御政策，利用大规模的骑兵集团对其进行大规模反击。公元前127年，汉军主力部队收复河南地后，汉武帝立即任命校尉苏建重修秦始皇时的北部长城，作为夺取阴山山脉的进攻阵地。然后，汉武帝又派卫青、霍去病等连续发动了几次大规模的战役，迫使匈奴远遁于大漠以北地区。汉朝在控制了匈奴的战略基地阴山山脉后，开始修筑阴山以北的外长城，并将秦长城向西延伸到焉耆。汉代阴山长城是两条大致平行的复线长城，二者间隔5～50公里，这就加强了防御纵深。
汉武帝还修筑了河西长城，自居延泽开始，沿弱水向西南，至呼蚕水(今甘肃北大河)与羌谷水(今黑河)汇于弱水之处分为两支，一支向正西，经玉门、敦煌，一直达玉门关，一支沿羌谷水向东南，经今高台、张掖、山丹、永昌、武威，直到黄河边。在玉门关以西今新疆罗布泊、库尔勒、阿克苏、喀什等地，汉朝还修筑了大量的障塞和烽火台，以有效地保障丝绸之路的交通安全。如果将这些边塞设施加起来计算，汉代长城的总长度达到二万里，是中国历史上构筑规模最大、长度最长的长城。