公元前139年，汉武帝在从霸上返回皇宫的路上，顺便去姐姐平阳公主家看望。平阳公主设家宴款待，席间命人演奏歌舞助兴。
公主家的歌女卫子夫引起了汉武帝的注意，平阳公主把这一切都看在眼里，不久便将卫子夫送进宫去。卫子夫入宫以来颇得汉武帝欢心，宠爱冠绝后宫。
卫子夫的母亲卫媪当时是平阳候的家仆，为人风流多姿。平阳县吏郑季在平阳侯曹寿府中当差，后来郑季与卫媪产生私情，不久便生下一名男婴，随母姓取名卫青，所以卫青与卫子夫是同母异父的姐弟俩。
卫青长大成人后在平阳公主家充当骑奴。某日，卫青不小心得罪了汉武帝的姑母馆陶公主，馆陶公主一怒之下将卫青抓了起来。好在卫青的好朋友公孙敖纠集了几位壮士把卫青抢了回来。
汉武帝得知此事，诏见卫青入宫，任命为侍中，短短几天之内受到汉武帝的赏赐累计就有千金。不久，汉武帝册封卫子夫为夫人，同时将卫青升作太中大夫。
公元前129年冬，匈奴大军攻入上谷郡，杀死掳掠汉朝军民不计其数。汉武帝忍无可忍，决定出兵反击。
为了吸取上次马邑之战的教训，汉武帝决定起用青年将领。任命卫青为车骑将军，兵出上谷；骑将军公孙敖从代郡进发；轻车将军公孙贺以云中郡为进攻方向；老将骁骑将军李广率大军自雁门郡出发。
兵分四路，诸将各自统领一万名精锐骑兵，浩浩荡荡杀向正在边关抢掠的匈奴军队。
卫青一路追杀到龙城，斩杀俘获匈奴共计七百余人，公孙敖部与匈奴接战失利，所部伤亡七千余人。公孙贺部没有遇到匈奴军队，无功而返。李广所部被匈奴主力包围，士卒伤亡殆尽，就连李广本人也受伤被匈奴俘虏。
匈奴人为了防止李广逃跑，便在两匹马中间拉起一张大网，让李广躺卧在网子上。走了十多里路，李广一动不动躺着装死，麻痹匈奴。
李广偷偷睁开眼睛发现匈奴已经放松了戒备，于是突然从网子上跳到匈奴兵的马上，顺势夺过弓箭，射杀了好几名追击的匈奴骑兵，一路上拼命地鞭策战马往南狂奔，最后好不容易脱离险境逃回长安。
战后，汉武帝将损兵折将的李广和公孙敖交廷尉议罪，按律当斩，最后二人出钱赎罪才免于一死，贬为庶人。当初出征的四名将领里面，只有卫青因为战功被晋封为关内侯。
卫青虽是奴仆出身，但是他精于骑射，勇武过人。卫青平素与士大夫交往均以礼相待，领兵作战常与士卒同甘共苦，体恤有加。故而大家都乐意替卫青效命，再加上卫青本身就有将帅之才，所以每次与匈奴作战都会立有战功，天下臣民因此佩服汉武帝有识人之明。
公元前129年秋，匈奴又接连入侵汉朝边境，其中以渔阳郡受害最深。汉武帝便任用韩安国为将军防守渔阳。
第二年秋天，匈奴经过一年的养精蓄锐，统领两万骑兵侵扰汉朝，杀死辽西太守，并且掳掠两千多名汉朝百姓。不久匈奴大军以一部兵力包围韩安国的营垒，然后又进犯渔阳和雁门，大肆烧杀抢掠。
韩安国对匈奴的强大战斗力心生忌惮，所以把军队向东迁移躲避匈奴。最后汉军驻屯于北平，过了几个月，韩安国在忧惧和疾病的双重夹击下死在了任上。
汉武帝听说了韩安国的死讯，只好再次起用李广，拜李广为右北平太守。李广多年来数次与匈奴作战，匈奴人畏惧李广的威名，称李广为“飞将军”。所以自从李广接任以来，匈奴人数年之间不敢入侵右北平。
同年，汉武帝再次命令车骑将军卫青统率三万部众出征，从雁门关攻打匈奴。同时派将军李息从代郡分兵侧击匈奴，卫青此战大有斩获，杀伤虏获匈奴数千人。
第二年冬，匈奴入寇上谷郡、渔阳郡，汉朝吏民死伤千余人。汉武帝面对匈奴入侵选择针锋相对，派遣卫青和李息从云中郡出发向西进兵至陇西，攻打定居在黄河以南的匈奴楼烦王和白羊王。
楼烦王和白羊王在卫青犀利的进攻下狼狈逃窜，汉军此战杀伤匈奴数千人，虏获牛羊一百多万头，从此黄河以南地区纳入汉朝版图，汉武帝封卫青为长平侯。
公元前126年冬天，数次侵略汉朝的匈奴军臣单于死了，单于之弟左谷蠡王伊稚斜自立为匈奴大单于。然后伊稚斜单于派兵攻打军臣单于的太子于单，一番内讧之后，于单力不能支，走投无路之下便归降汉朝。
汉武帝从一个投降汉朝的匈奴人那里得知了一些有关西域的信息，曾经在敦煌和祁连山之间有一个强大的大月氏国。后来大月氏国被匈奴冒顿单于打败，大月氏国王被杀死后，头骨被单于制作成了酒器。
大月氏亡国后幸存下来的人向西迁徙，借此躲避匈奴。大月氏人对匈奴有刻骨的亡国之恨，一直想联络别的国家共同对付匈奴。
汉武帝因此打算和大月氏联手消灭匈奴，于是派张骞从陇西出发联络大月氏国。不久，张骞在半路上被匈奴俘虏，一待就是十几年。后来