第二年春天，汉朝派浞野侯赵破奴率两万骑兵，从朔方郡出兵西北二千余里，预定到达浚稽山，来接应左大都尉的计划的计划实施。浞野侯到达约定的地点，等待着左大都尉的消息。但左大都尉的保密工作，做的不好，被儿单于发现了。儿单于杀了左大都尉。

儿单于杀死了左大都尉，命令左方军队，进攻赵破奴。赵破奴率领部队边撤边战，杀敌数千，当撤至距受降城还有四百里的时候，赵破奴的两万骑兵，被八万匈奴骑兵围攻。赵破奴打又打不过匈奴骑兵，逃又逃不脱匈奴骑兵的层层包围，内无粮草，外无救兵，连水都没的喝，将士已经没有了斗志，只好全军投降了匈奴。

匈奴儿单于大喜，又派遣突击队攻打受降城，没有攻打下来，便到汉朝边民处抢掠一番才离去。第二年儿单于亲自率骑兵攻打受降城，结果在途中病死了。

儿单于继位三年就死了，他的儿子年纪太小，匈奴人就立他的叔父乌维单于的弟弟右贤王呴犁湖为单于。

呴犁湖单于继位后，汉朝派光禄徐自为出五原塞，修筑城堡和哨所。近的修数百里，远的修一千余里，一直修到庐朐。又派游击将军韩说、长平侯卫伉驻守在附近，又派强弩都尉路博德，在居延泽修建城堡。

这年秋天，匈奴大举入侵定襄、云中两郡，杀死和抢掠数千人，打败数位二千石级的高官才离开。行军途中还破坏了光禄徐自为所修的城堡。

又派右贤王侵入九泉、张掖二郡，掠走数千人。恰好遇见了汉朝将军任文引兵相救，匈奴不得已抛下抢来的汉人逃走了。这一年继位一年的呴犁湖单于去世了。

单于去世后，匈奴便立他的弟弟左大都尉且鞮侯当上单于。且鞮侯单于继位后，把扣留汉朝，又不肯降的使者全都送回了汉朝。单于刚刚即位，唯恐汉朝袭击他，就说：“我是个小孩子，哪敢同汉朝天子相比，汉朝天子是我的长辈啊！”

汉武帝见匈奴单于把扣留多年的汉使臣全部送回汉朝，又自称自己是小孩子，尊汉武帝为长辈。汉武帝就派中郎将苏武给单于送去了丰厚的礼物。结果单于非常骄狂无礼，完全不是汉朝所想的样子。

苏武被扣留，汉武帝怒了。此时汉已无能将，便派贰师将军李广利率三万骑兵，在天山攻击右贤王，杀死和俘虏了匈奴一万多人，在回来的时候，被匈奴人包围，汉军伤亡十之六七。汉又派将军公孙公孙敖从西河地区出发，同强弩都尉在涿涂山会师，结果一无所获。

又派骑都尉李陵率步乒五千人，从居延出发，向北步行千余里，同单于相遇，双方激战，匈奴死伤一万多人，汉军武器和粮食都用完了，李陵又被匈奴包围，李陵投降了匈奴，他的军队只有四百人回到汉朝。单于对李陵非常尊宠，把女儿嫁给李陵做妻子。