尹翁归是平阳人，他少年时父母双亡，和叔叔一起生活。年轻的时候当过狱卒，很熟悉法律文书方面的事。他喜欢舞刀弄剑，武艺高强，没有人是他的对手。当时霍光执掌朝政，他对子弟管教不严，霍家子弟多住在平阳，家里的奴仆和门客拿着兵器在街上和人斗殴，官吏都不敢管。直到尹翁归担任管理街市的官员后，才没有人敢横行不法。尹翁归清正廉明，从来不接受贿赂，商人们都很敬畏他。

后来尹翁归辞掉了官职，回到家里。田延年为河东太守，他在巡视的时候到了平阳，把他过去手下的小吏们都召集了起来，共有五六十人，亲自接见。田延年命令他们当中习文的人站东边，习武的人站西边。大家都按照他的命令站好了，只有尹翁归跪在地上没有动。尹翁归告诉田延年：“我文武兼备，任凭您吩咐了。”田延年手下人认为这个人桀骜不驯，但田延年说：“这有什么关系呀。”把他叫到跟前问话，对他的回话感到非常惊奇，于是补选他为自己的手下。尹翁归处理案件都能一查到底，把事情的原委弄个清清楚楚。田延年很器重他，认为自己的才能不如他，于是提升他为督邮。当时河东郡下辖28个县，分为两个部分，尹翁归负责汾河以南。他揭发和检举官员都是依法办事，被他检举的人都是罪有应得，所以他管辖的地区官员即使因为他而受到惩处，也没有人怨恨他。不久他就因为清廉而节节高升，很快就担任了弘农都尉。

朝廷征召他为东海太守，他就任前向廷尉于定国辞行。于定国是东海人，他想委托尹翁归照顾同乡的两个孩子，就让那两个孩子在后堂等待引见。于定国在家里和尹翁归谈了一天，被他的气势所折服，一直不敢把那两个人引见给他。尹翁归走后，于定国对他们说“：尹翁归是个贤良的官员，你们又没有什么本事，我不能凭借私交求他照顾你们。”

尹翁归在东海郡担任太守期间，明察秋毫，东海一带的官吏百姓是好是坏，包括那些作奸犯科的人的名字他都知道得一清二楚。每个县的登记名册他都亲自处理，如果案子太急他会稍微缓一些。如果手下的官吏百姓稍微有所松懈，他就把他们的罪状披露出来。他每次出巡都会收捕些坏人，杀一儆百，官吏和百姓都服从他的管理，而且因为害怕他的威严而纷纷改过自新。东海有个大豪强地主名叫许仲孙，为人非常奸诈狡猾，公然违反法律，东海郡的人深受其害。每次来了新太守要逮捕他，他都倚仗势力，用狡猾的手段逃出法律的制裁，所以一直都没有受到惩罚。尹翁归到任后，派人将许仲孙抓了起来，在集市上将其斩首示众，整个东海郡的人都为之害怕折服，没有人敢违反他的禁令了，一时间东海郡被他治理得非常好。

尹翁归因为政绩优异而被调到右扶风（接近京城的地方）。他在任期间选拔清正廉明、疾恶如仇的人担任官吏，对他们以礼相待，和他们共同遵循同样的好恶。凡是背叛他的人，一定会受到严惩。尹翁归治理右扶风的办法和东海郡一样，那些作奸犯科者的名字，每个县都有详细记录。如果发现了盗贼，尹翁归就会召见当地的长官，告诉他主犯的名字，教给他们根据蛛丝马迹推理出盗贼所在地的方法，让他们找出盗贼的藏身之处，结果事情往往和他事先料想的一样，从来没有失败过。尹翁归在追查贫苦老百姓的时候比较宽松，而对那些地方豪强则非常严厉。地方豪强如果被治罪的话，就被送到掌畜官那里，让犯人铡草来赎罪，而且规定要按时到达，不准找别人来代替，如果发现有不合要求的，都要受到鞭打的惩罚，有的人因为被鞭打得过于疼痛，以至于无法忍受，甚至有用铡刀自杀的情况出现。京城的人因为畏惧他的威严，所以很少有人敢犯法，右扶风因为他而治理得非常好，惩治盗贼的政绩在京城三辅中常常排名第一。

尹翁归虽然喜好用刑罚，但他一向清廉自守，办公的时候从来不涉及私事，而且为人温良谦虚，从不因为自己的能力而看不起别人，在朝廷中的名声非常好。他任官几年后，因病去世，死后家中没有剩余的财产，皇帝亲自下诏书表彰他，称赞他是个难得的清官，对他的去世表示非常痛心，并赐给他儿子一百斤黄金，以表彰清官。

当初和尹翁归一起为田延年效力并被田延年提拔推荐的还有闳儒，也是个难得的好官，所以世人都称赞田延年善于识别人才。