张释之很有才能，但做了十年官却没有升迁，只做到公车令这个像官不是官这个位置。太子刘启与梁王同乘一辆车入朝，经过司马门时没有下车，公车令张释之迎上去拦住了太子和梁王，不让他们进宫，并且弹劾他们在皇宫门外不下车的不敬罪，并上报朝廷。

薄太后知道了这件事，文帝摘下帽子向太后赔罪说：都怪我教导儿子不严。

薄太后就派使者传令赦免太子与梁王，他们才得以入宫。文皇帝因为这件事，更加看出了张释之的与众不同，便任命他做中大夫。

张释之跟随孝文皇帝出行，登临上林苑里的虎圈。孝文皇帝询问上林苑的官员，各种禽兽的簿册登记情况，问了十几个问题，那些官员你看我，我看你，全都不知道如何回答。

看管虎圈的饲养员，在旁边代替上林尉，回答了皇帝提出的所有问题，回答问题很是完美。为了借此显示自己的本领，一切回答都是张口就来，毫不停顿。孝文皇帝说：做官吏不应该像这样吗？上林尉太无能了，话都说不分明。

孝文皇帝令张释之任命这个饲养员做上林令。张释之沉默了许久才上前说：陛下认为绛侯周勃是怎样的人？

孝文皇帝说：是个忠厚的长者啊！

张释之又问：东阳侯张相如是怎样的人呢？

孝文皇帝说：也是个忠厚的长者。

张释之说：绛侯和东阳侯都被称为长者，可这两个人谈论事情时都不善于言辞。现在这个饲养员因为口齿伶俐，说话滔滔不绝，就越级提拔，我担心此风一开，天下人都竞相追随，争相练嘴皮子，而不求实实在在的本事。陛下做任何事情，都不可以不慎重啊！

孝文皇帝说：你这么看问题很对。

于是就放弃了提拔饲养员的打算。孝文皇帝升任张释之为中郎将。

孝文皇帝要去灞陵，张释之也跟着一起去，他们站在霸陵的北坡眺望。慎夫人是孝文帝宠爱的妃子，时常带在身边。孝文皇帝指着通往新丰的路对慎夫人说：这条路可以一直通到邯郸。孝文皇帝看到了自己的陵墓，有些感慨，就让慎夫人鼓瑟，自己和着瑟的曲调而唱，曲调哀惋悲伤，心中一阵凄惨。

孝文皇帝回身对大臣们说：我想用北山的石头做外椁，把纻麻、棉絮剁碎，用漆黏合着塞在石椁的缝隙间，再用漆粘涂上面，那么谁还能打得开呢？

左右的大臣都迎合说：用漆粘涂上面，是很坚固的，没人打得开。

张释之走上前来说：假如坟墓中有人们想要的东西，就算封铸南山做棺椁，也还是会有缝隙。如果坟墓里没有人们想要的东西，即使没有石椁，又有什么值得忧虑呢！