窦太后去世后，汉武帝宠信丞相田蚡，逐渐疏远了魏其侯窦婴，因为没有权势，那些门客先后离去，对魏其侯懈怠傲慢起来。魏其侯领受到了世态炎凉，整天闷闷不乐。只有将军灌夫仍保持原来的态度，没有因为魏其侯失势而疏远他。

灌夫的父亲叫张孟，是颖阴侯灌婴的家臣，受灌婴的宠信，被推荐做了二千石级的官。因感恩灌婴，张孟便改姓名叫灌孟。吴楚叛乱时，灌婴的儿子颖阴侯灌何担任将军，是太尉周亚夫的部下，他推荐灌孟做了校尉。灌夫带着一千人和父亲一起从军。

父亲年纪大了，颖阴侯勉强起用他，以致他郁郁不得志，在一次攻打叛军营寨时，不幸战死。当时的军法规定：父子一同从军的，一个战死，另外一个可以随同灵柩一起回家。但灌夫不肯回去，而是悲愤激昂地说：我希望斩下吴王或吴国将军的头，来替父亲报仇。

说完便披铠甲，手拿戈戟，招募军队中愿意跟随的几十个勇士。等到了敌营门时，却没有人敢再前进，只有两个人以及随从的奴仆共十多个人，飞马冲进吴军阵内，一直冲到吴军的将旗之下，杀死吴军将士几十人，实在前进不了了，才飞马驰回，等回到汉营一看，奴仆全部战死，只有一个骑兵跟他回来。

灌夫勇闯敌营虽然回来了，身受重伤十多处。幸好有名医治疗，才得以保全性命。等到伤势稍微好转时，又再次向将军请求道：我现在对吴军军营的底细知道得更加清楚了，请让我再去。将军很欣赏他的胆量和义气，因担心他会送命，就报告了太尉，大尉便坚决制止了他。等到吴军被攻破以后，灌夫也因此名扬天下。

颖阴侯把灌夫的事迹报告给皇上，皇帝就任命灌夫担任中郎将。几个月后，因为触犯法令丢了官。后来到长安安了家，长安城中的显贵，都赞赏灌夫是英雄，愿意与他交往。

景帝时，灌夫官至代国国相。景帝去世后，汉武帝认为淮阳是天下交通枢纽，是兵家必争之地，因灌夫勇猛善战，便任命他为淮阳太守。建元元年，又把灌夫调进京做了太仆。灌夫爱喝酒，与长乐卫尉窦甫喝酒，结果灌夫喝醉了，动手打了窦甫。窦甫是窦太后的兄弟，汉武帝担心窦太后杀灌夫，就派灌夫担任燕国国相。几年后，他又因犯法被免职，闲居在长安家中。

灌夫为人刚强直爽，爱喝酒，不喜欢当面奉承人。对地位在自己之上的皇亲国戚及有势力的人，他却对他们不礼貌，有时还要取笑他们。对地位在自己之下的士人，普通人却很敬重他们，与他们平等相待。在大庭广众之下，特别喜欢推荐夸奖那些比自己地位低的人，因此士人们都很称赞他。

灌夫不喜欢文章经学，爱打抱不平，行侠仗义。答应别人的事，就一定办到。和他人交往的人，无不是豪绅或帮派首领。家中都有几千万的资产，家里的食客少则数十人，多则上百人。

灌夫在居住所在地，修建池塘，田地庄园。他的族人与门客倚仗他的势力，在颖川横行霸道。颖川人为灌夫家族编了首歌谣：颖水清清，灌氏安宁。颖水浑浊，灌氏灭族。

灌夫闲居在家，虽然富有，但失去了权力，依附他的达官贵人，宾朋门客也越来越少。魏其侯窦婴失势后，就想让灌夫去报复那些原先趋炎附势，失势后又抛弃自己的人。灌夫也想依靠魏其侯去结交列侯和皇族，以抬高自己的声望。两人互相倚重提携，关系如同亲兄弟一样密切。彼此心意相投，没有嫌忌，都有些相见恨晚的意思。

灌夫在为亲人服丧期间，有一天去拜访丞相田蚡，田蚡随口说：我想和你一起去拜访魏其侯，却正赶上你现在服丧不便前往。