刘贺的愤怒达到了顶点，他想为其父王昌邑哀王刘髆为迁灵，在孝武皇帝附近设置新的陵墓，遭到以霍光为首的原老臣的一致反对；他想把宫内外大大小小所有黄门、侍中全部换成昌邑国的人，又遭到一致反对；他想把长安武库的看守换成昌邑国的人，又是一片反对声，总之，自己是什么也做不成，什么也动不了。
刘贺觉得不能再等了，一天也忍不了了，只要霍光在位一天，他这个皇帝就当傀儡一天，便时时召集昌邑心腹商量对策，可是商量来商量去，竟然没有一个人拿出一个好主意。这日，刘贺又和几人聚在一起道：“霍光一日不除，我一日不得安心，我想了一个办法，你们都看看是否有什么纰漏。”
众人都道：“陛下之聪慧非我等能比，只要陛下吩咐，小人们照办就是了。”
刘贺道：“霍光身边防卫森严，暗杀他做不到，单独召见他他又总是推脱有病，朕打算到太后那里去，假意传他过来，就说太后有事相商，到了太后那里，把他和身边人隔开，断其护卫，就地以谋反罪将其就地格杀。”
几人听了，面面相觑道：“要是霍家子弟真的谋反了该当如何，他们手中可是掌握了很多兵。还有张安世，也是他的铁杆。”
刘贺道：“张安世不足为虑，他为人过于谨慎，霍光倒了，他不可能还追随他的。难对付的是霍家子弟，不过，朕已叫人发出十几份密函，邀请各诸侯王来朝见，等他们都来了，他们也就不敢动我刘家的位子了。”
昌邑臣子听了都拍手叫好道：“小的们就说陛下聪慧非我等能比，陛下已经思虑周全了，小的们照办就行，我们都想为您拔掉这个肉刺。”
只有一人道：“长乐宫内还都是霍光安排的人，想把刀斧手安排进去不容易啊。”
刘贺道，你这个问题问道点子上了，朕不需要多少人，只要有两个武士扮成黄门跟着我，腰藏短刀即可，晾他霍光年纪大了，扛不住偷偷一击。”那人听了，这才拍手叫好。
众人听了这样安排，都道：“要是清除了霍光，陛下的位子也就坐稳了，也就可以施展一番，让列祖列宗们看一看了，我们也能跟着陛下光宗耀祖了。”
刘贺笑道：“朕可不想当个昏君，要做就要做孝武皇帝那样的帝王，朕除霍光，也不是跟他有什么私仇，就是他管的太多！只要你们一心跟我干，侍中郎官的算什么，三公九卿就在尔等中间！”
几人听了，一个个眉开眼笑，高呼“万岁万岁万万岁”。
正在此时，突然听到外面似乎“哐啷”一声，刘贺喝到：“是谁？”几人忙出来看，就几个宫女站在外面，门口的两个宫人也都是昌邑国带来了人。
刘贺也出来了，问道：“刚才有什么可疑的人吗？”
两名宫人吓得连忙跪下道：“陛下，刚才好像是有只猫跑过。”
刘贺四处看了看，自言自语道：“快刀斩乱麻，久拖不宜。”说罢便带几人走了。
猫儿刚刚正在门口偷听，奈何听不真切，便想靠近点，谁知碰到了花坛上的罐子，吓得赶紧缩回来低下头，幸亏宫灯被风吹灭了几只，黑咕隆咚的，刘贺也就没有看见她。
猫儿跪在地上，等刘贺走的没影了，想站起来，却发现腿不听使唤了，连滚带爬的沿着墙根逃出了宫，直扑大将军府，见了霍光，将今日所听到的情形一一不落的告诉了霍光夫妻二人。虽然猫儿没有听的完全，但是霍光连蒙带猜，也基本搞清楚了刘贺的意图。霍光冷笑道：“那老夫可就先发制人了，想打太后的主意，也不查查族谱，太后还要喊我外祖父呢！”