汉武帝派长史任敞出使匈奴，向匈奴单于提出了自己的主张。匈奴单于大怒，把任敞扣留在匈奴，不许回去。早年汉朝也招降过匈奴的使者，单于也扣留汉朝使者做为抵偿。汉武帝不能容忍匈奴单于扣留汉朝使臣，便重新征召兵马，再一次讨伐匈奴。没想到骠骑将军霍去病去世，汉武帝不得不放弃再次北伐匈奴。

几年后，伊稚斜单于统治匈奴十三年后去世，他的儿子乌维继位当了单于，这年是汉武帝元鼎三年。乌维单于继位，汉武帝开始巡视各郡县，这段的时间，汉武帝忙于向南讨伐南越和东越，没有讨代匈奴，匈奴也没有进入汉朝边境。

乌维单于继位三年的时候，汉朝已经把南越灭掉了，派遣原大仆公孙贺率一万五千骑兵，从九原出塞两千多里，直到浮苴井才返回，没有看到一个匈奴人。汉朝又派原来的从骠侯赵破奴率一万骑兵，从令居关出兵几千里，直达匈奴的河流才返回，也没有见到一个匈奴人。

天子巡视边境，到达朔方郡，亲率十八万骑兵以显示军威。又派郭吉出使匈奴，向单于传话。郭吉到了匈奴，匈奴主客询问他出使的意图。郭吉礼貌谦卑，善言温语地说：我见了单于在亲口对他说。

单于接见了郭吉，郭吉说：南越王的人头，已经悬挂在汉朝京城的北宫门上。如今单于若是敢和汉军交战，天子亲自率兵在边境上等着，单于若不敢与汉军交战，就应赶快向汉朝称臣。何必远远的逃跑，躲藏在沙漠以北，又冷又艰苦又缺少水草的地方呢，这样能有什么作为呢？

单于听完郭吉的话大怒，立刻杀了允许郭吉进见的那位主客，扣留了郭吉，不放他回去，把他放逐到北海一带。但单于始终不敢到边境侵扰夺抢，只是休养士卒和马匹，练习射箭与打猎的技术，多次派使者到汉朝，好言好语地请求和亲。

汉朝知道匈奴已经衰落，没有力量敢与大汉抗衡，但仍不放心，便王乌为使臣去窥探匈奴的情况。匈奴有法令规定，汉使要不放下旄节，用墨在脸上涂抹，就不能进入毡帐。王乌是北地人，熟悉匈奴风俗，便放下旄节，用墨在脸上涂抹，才得以进入毡帐。单于很喜欢他，假说马上就派遣太子到汉朝做人质，以此要求同汉朝和亲。

匈奴的谋臣赵信去世了，汉朝的官员以为匈奴已经衰弱，可以让他臣服于汉了，就派杨信出使。杨信为人刚正倔强，因为他不是显贵的大臣，单于也不重视他。单于本想召他进帐，但杨信不肯放下旄节，单于只好坐到毡帐外面接见杨信。杨信说道：如果单于真想和亲，就要派太子到汉朝去做人质。

单于答道：这不是以前的盟约，按从前的约定，汉朝派遣公主，供给一定等级的绸绢、丝绵、食物等，而匈奴也不再去边境骚扰了。如今你们却想违背以前的约定，让我的太子去做人质，这样做和亲就没有希望了。

匈奴与汉朝使者往来不断，汉若扣留匈奴使者，匈奴也扣留汉朝使者，一定要对等，才肯罢休。