霍光为汉室江山的巩固立了大功，从汉昭帝开始，霍光的儿子霍禹和哥哥的孙子霍云都官拜中郎将，霍云的弟弟霍山担任奉车都尉侍中，掌握兵权，负责统率外族投降汉朝的军队。霍光的两个女婿分别担任东宫和西宫的卫尉。此外，霍家的亲戚们享受着各种优待，担任了各种重要官职。可以说，霍家几乎控制了整个朝廷。汉宣帝即位后，霍光交出了朝政大权，但汉宣帝认为霍光功劳实在太大，遇到事情他自己先不做决定，要先报告给霍光，然后再呈报给自己。霍光每次来朝见他时，汉宣帝都表现得非常谦虚，以至于别人都觉得有点过头了。

霍光死后，汉宣帝非常悲痛，下令厚葬霍光，给予了非常高的待遇。葬礼结束后，汉宣帝又对霍光的子孙们加官晋爵。皇帝的宠爱和霍光的功劳，让霍家人渐渐骄傲起来，开始肆无忌惮地寻欢作乐了。

首先干坏事的就是霍光的妻子显，显当了寡妇后，不仅不安分守己，反而与家里的管家冯子都私通。上梁不正下梁歪，霍禹和霍山也都花大钱把住宅整修了一番，许多地方都违反了国家的规定，而且经常赛马取乐。霍云经常在应该朝见皇帝的日子里谎称有病不去朝见，而是带着亲信们到别的地方打猎取乐，这种行为没有人敢指责。而显和她的女儿们经常不分昼夜地随意进入太后居住的宫殿，一点约束都没有。

汉宣帝在做老百姓的时候就认为霍家的权势太重不是好事，但由于霍光的威望太高，加上又忠心耿耿，所以汉宣帝暂时没有动他们。等霍光死后，汉宣帝开始正式处理朝政，将御史大夫魏相提拔为给事中，让他可以在宫里面随时应对皇帝的咨询。显很不服气，她对子孙们说：“你们平时就知道胡闹，不去继承大将军留下来的事业。现在御史大夫做了给事中，万一他在皇帝面前说我们坏话怎么办！”后来霍家和魏家的仆人在路上争道，霍家的仆人平时骄横惯了，冲到魏相的府上，魏相只好给他们叩头赔礼，这才把他们哄走。显他们知道这事后感到非常忧虑。不久魏相被升为丞相，经常在一些非正式的场合与汉宣帝讨论事情，而另外一些和霍家没什么来往的大臣也都得到皇帝的重用。霍山当时担任尚书的职务，但汉宣帝却宣布大臣和百姓可以直接上书，不需要通过尚书，而大臣进见皇帝，也可以单独进见。这样就把霍山给架空了，对这些事，霍家又气又怕，但一点办法都没有。

汉宣帝当老百姓的时候，娶了一个姓许的平民女子为妻，两人非常恩爱。当上皇帝后，汉宣帝马上册封许氏为皇后。而显很喜欢自己的小女儿霍成君，认为她最有资格当皇后。但皇帝和皇后感情很深，她的想法是不可能实现的。于是显就收买了给皇后看病的医生，让他毒死了许皇后。然后显趁机将霍成君送进宫内，让她当了皇后。由于许皇后死得很突然，大臣们议论纷纷，控告那个医生在看病的时候对皇后无礼，把他关了起来。显很害怕他把自己指使他毒死皇后的事抖搂出来，于是就把这事告诉了霍光。霍光听了后非常吃惊，想去检举，又不忍心，于是还是想办法包庇了那个医生。霍光死后，这件事渐渐地流传了出来。汉宣帝也有所耳闻，但也不知道真假，心里却对霍家多了一层戒备之心，于是逐步削减霍家的权力，而把大权移交给自己的亲信们。

霍家见大权一天天被削减，自己却一点办法都没有，只能在一起哭，并相互埋怨。显一着急，就把当年谋害许皇后的事情告诉了他们。霍山他们听了之后很吃惊“：这种事情怎么不早点告诉我们？皇上他疏远我们，就是因为这个原因啊！这样大的事，惩罚一定小不了，怎么办？”他们开始动起了歪心思。

结果霍家还没来得及动手，密谋泄露了出去，皇帝下令彻底追查。霍云和霍山畏罪自杀，霍禹被腰斩，显和霍家其他人被斩首示众，只有霍皇后没有被杀，但也被废黜了。因为这件事被杀的人前前后后共有数千家。

当初汉宣帝刚即位的时候，他去祭拜汉高祖的庙。霍光和汉宣帝坐在同一辆车上，汉宣帝很怕他，坐他旁边感觉自己背上像有芒刺在扎一样。后来张安世陪同的时候汉宣帝就非常放松，感觉安详自在。霍光死后，霍家被灭族，人们都说：“自己的威望让天子感到不自在的人，是不会被天子长期包容的。霍家的惨案，其实从当年霍光陪同皇帝乘车的时候就开始了。”