却说昌邑王刘贺做了皇帝，可他却没有一点做皇帝的样子。他不仅不同霍光和大臣们商议国家大事，反而将昌邑的那些打鼓的、斗狗的、耍把戏的人员都弄到皇宫里来，叫他们陪着自己玩儿，并随意给他们赏钱。居丧期间，宫里不允许吃肉，他却偷偷地派人到宫外去买鸡、猪，然后宰了大吃大喝。他闲着没事儿，就跑到汉昭帝的后宫去奸污宫女。
刘贺梦见在皇宫西门的台阶东侧，有一大堆绿头苍蝇的粪便，约有五六石之多，上面盖着大片的屋瓦。刘贺向龚遂询问，龚遂说：“陛下身侧的奸佞之人很多，就像您在梦中见到的苍蝇粪便一样。希望陛下将昌邑旧人中的奸佞之徒全部逐出朝廷。我龚遂以身作则，第一个走。”刘贺不加理会，根本听不进龚遂的话。
汉书记载：刘贺受玺以来27天内干了1127件荒唐事，平均一天40件。这个数字确实惊人!试问一个孩子能有多荒唐，有没有故意夸大之嫌？要知道汉代有严厉的规定，皇帝是不准干预《起居注》记载的。但霍光不是皇帝，作为政治高手，他是不是干预了记载皇帝起居的官员呢？
事实上这是霍光等大臣的托词。真实的原因恐怕是刘贺即位之后，急于提拔自己从昌邑带来的僚属，想用这些旧臣来亲政。这点就得罪了大将军霍光，霍光能够把持朝政那是辛苦经营而来，刘贺怎么可能会那么容易拿走呢，于是双方就产生了冲突。可论权谋手段，刘贺岂是霍光的对手。霍光悄悄地叫人把他的心腹大司农田延年找来，并将他延入密室，屏退从人问以方法。
田延年道：“将军为国柱石，既知此人不可为君，何不奏闻太后，另选贤人立之。”霍光道：“吾意也是如此，但以臣废君，不知古代曾有此事否？”延年道：“昔日伊尹为商朝宰相，废太甲以安宗庙，后世皆称其忠。将军若能行此，也是汉之伊尹也。”
原来霍光未曾读书，不知伊尹之事，所以史官说其不学无术。如今既闻田延年之言，便引入为给事中。一面又与车骑将军张安世秘密计议此事，除他三人之外别人一无所知，刘贺更是终日昏昏毫无知觉。
时当六月，正是大热时候，偏偏连日阴沉不雨。一日刘贺正要出游，光禄大夫夏侯胜进谏道：“上天久阴不雨，臣下必有异谋，陛下将欲何往呢？”刘贺闻言大怒，斥为妖言惑众，立命左右将胜缚住发交有司究办。有司转告霍光，霍光暗思夏侯胜语似有因，于是提胜到来亲加研讯，夏侯胜从容答道：“《洪范传》有言，人君无道上天降罚。皇极不守现象常阴，白昼常阴，下人且谋代上位。臣不便明言，但云臣下有谋。”霍光闻言大惊，也不由刘贺主意，即将夏侯胜释放复任原官。
霍光想废立之事不宜再延。便一面与张安世着手预备，一面遣田延年密报丞相杨敞。杨敞本霍光故吏，霍光料他必然同意。因为他现为丞相，位居百僚之首，所以预先告明，免得会议之时惊慌失措。田延年奉命到杨敞家中备细说知。杨敞一听吓得汗流满背，不知如何答话。田延年起身出外更衣，杨敞独自坐在室中，杨敞之妻为司马迁女，这时急从东厢趋出对杨敞说道：“大将军已有成议，特使九卿来报君侯，君侯若不亟允，祸在目前了！”杨敞迟疑未决，可巧田延年更衣归座，杨敞妻不及回避，索性坦然相见，与田延年当面认定，愿奉大将军教令。田延年还报霍光，霍光又念起苏武现在免官家居，遂邀其共同谋议，一则自己可以取信于国人，二则苏武也可以借此恢复官位。
霍光不动声色，暗中布置十余日，诸事都已完备。于是遍召丞相御史将军列侯等齐集未央宫会议。
百官闻命陆续到来，其中只有少数预谋之人知道此会非同小可，心中各自担惊。此外大都不知所议何事。不消片刻众人到齐，大众眼光注定霍光一人。只听霍光说道：“昌邑王昏庸无道，恐怕要危害社稷，大家说应该怎么办呢?”群臣见霍光不称刘贺为皇帝而称昌邑王，一个个都吓得说不出话来。田延年看这情行不由站起身来，手按剑柄说道：“先帝把天下托付给大将军，是因为大将军忠厚贤明，能够安定刘家的天下。今天大将军作出的决定，容不得半点迟疑，谁要是不响应，我马上砍了他的脑袋!”霍光道：“所有责任由我来负。”群臣听了都趴在地上磕头说：“我们一定遵从大将军的命令!”于是霍光让尚书令把事先写好的奏章拿出来，请大臣们在上面一一签名。
此奏章乃霍光预先作就，群臣署名已毕，又随同霍光前往长乐宫入见皇太后，备述昌邑王淫乱情形，说他不可以嗣大位，请太后下诏废之，太后准奏。霍光即请太后备齐车驾前往未央宫，预备升坐承明殿宣诏，又请太后下诏，遍饬各禁门守卫之人勿使昌邑群臣擅入。
恰值刘贺入朝太后初回。守门宦者早已奉到太后诏书，望见刘贺入内便一拥上前将门闭上，不让昌邑群臣入内。此时刘贺如在梦中，外间举动丝毫不知。见众人无故关门闭户，觉得诧异便问何为？霍光在旁跪下答道：“皇太后有诏，不许昌邑群臣入内。”刘贺道：“既是皇太后有诏，不妨从容办理，何至如此惊人？”言罢入内。
早有车骑将军张安世带领羽林骑兵，将昌邑群臣悉数拿下，共得二百余人，连龚遂、王吉等一并在内，送交廷尉究治。一面报知霍光，霍光传入昭帝旧日侍臣，命其守卫刘贺。并嘱道：“汝等须留心守卫，万一羞愤自尽，使我负杀主之名，何以对天下。”诸人领命入内。刘贺见左右近侍皆新来之人，又听说昌邑群臣被缚，但不知自己当废，便问道：“我旧日从官因何得罪，大将军竟将他们悉数囚系？”左右答道：“不知。”
少顷使者持节到来，说是皇太后有诏来召。刘贺对使者说道：“我有何罪？太后却来召我？”使者也答不知。刘贺没法，只得乘车随同使者前往。
当日上官太后披着珍珠缀成的短袄，穿着盛装坐在未央宫承明殿武帐之中。侍御数百人排列两旁，手中皆持兵器。不久使者领了刘贺到来，太后命刘贺俯伏殿前听诏，旁有尚书令手持群臣奏章高声读道：
丞相臣敞、大司马大将军臣光、车骑将军臣安世等，昧死言皇太后陛下：臣等认为高皇帝因为创建汉朝基业，所以称汉太祖，孝文皇帝因为仁慈节俭被称为太宗，如今昌邑王行为放纵不合法度。宗庙重于君。陛下未见高庙受命，不可以承天序，奉宗庙，子万姓，应当废黜。臣等昧死以闻。
尚书令读罢奏章，皇太后宣诏曰：“可。”刘贺听说自己被废惊倒在地。霍光便令刘贺起拜受诏。刘贺急道：“古语有言，天子有诤臣七人，虽无道，不失天下。”霍光不待说完便接口道：“皇太后有诏废王，怎得尚称天子？”于是上前抓住他的手，解下他身上的玺印绶带，捧上交给太后，扶着昌邑王下了宫殿，走出金马门，群臣跟着送行。昌邑王向西面拜道：“我愚昧不明事理，不堪担当汉朝的重任。”起身坐上皇帝侍从的车辆。霍光把昌邑王送到昌邑邸后，告罪说道：“大王自绝于天下，臣下也没有办法。臣下宁可对不起大王，也不能对不起国家。从今天起，臣下就不能再服侍大王了，请大王多多保重!”说罢伤心涕泣而去。
刘贺既废朝中无主，霍光便请上官太后暂住未央宫临朝听政，又移夏侯胜为长信少府，赐爵关内侯，请他教授太后书经。其实太后年纪尚小，不知处断政务，又是霍光外孙女，也不敢自出主意。凡事皆由霍光拟定办法后奏闻太后，太后无不照准。
霍光见废立之事虽已成功，尚有刘贺与昌邑群臣须分别处置。遂请太后下诏群臣会议办法，群臣上奏说：“古代被罢黜放逐之人都流放到很远的地方，不使他干扰国家政令，我们请求把昌邑王迁到汉中房陵县。”
房陵县被称为“帝王流放之都”，战国七雄中的赵王、唐中宗、周恭帝等人都在这里住过很多年，吕不韦、嫪毐的门客、北宋赵廷美等人也被发落到这里。若是刘贺被扔到此处，倒也符合身份。
霍光没有对刘贺这么狠，他让刘贺回到了故土昌邑，还把从前昌邑王的财物都还给他，又赐给他两千户汤沐邑，他的四个姐妹也各自得到一千户的汤沐邑。这些赠送的东西可以维持住刘贺基本的体面。
作为被废的皇帝朝廷自然要有所惩处，刘贺之前是昌邑王，现在改为山阳郡，昌邑国除。
昌邑群臣被拿下狱，经廷尉逐人提出审讯，录取供词复奏。霍光命将二百余人一律处斩，昌邑相安乐也在其内，此时追悔不及，惟中尉王吉、郎中令龚遂屡次进谏得免死刑，髡为城旦。
到了行刑之日，原昌邑二百余人均被绑赴市曹斩首。赴死途中，又人高呼道："当断不断，反受其乱。"这句话只有一个解释，那就是他们曾经计划除掉霍光，但进度缓慢，最后被后者捷足先登反杀了。
由此可以推断，霍光罢黜刘贺的原因绝不是几件不合礼仪的荒唐事，而是昌邑旧部想扳倒自己。于是霍光先下手为强，他早已将宫廷事务抓在手里，禁卫军的兵权也换到了自己的亲信张安世手上，宫廷事务则由田延年掌控，所以这位老兄敢在朝堂上拿着宝剑威胁人。而完成最后一击的皇太后，她是霍光的外孙女。
刘贺被废后说过一段话："我本人愚笨，当不了皇帝。"这个意思是说，有霍光在，我当皇帝太难了。
从这些可以看出，霍光是个小心谨慎，手段高明的政治人物。由他主导废立皇帝的事，事后的官方档案记载里肯定不会出现丝毫不利于自己的记录。
至于昌邑群臣所坐罪名，不过是不能辅导，陷王于恶，依律原不至死，况二百余人中大多是马卒厨夫官奴等人，更不能责以大义，而霍光不问轻重一体骈诛，是不是有些过分呢。
后人有诗叹道：
国家为重嗣君轻，
主昧何妨作变更；
只是从官屠戮尽，
滥刑毕竟太无情。
霍光虽然带领大汉朝走进了“汉宣之治”，但是他也有奸诈的一面：把持朝政、危害朝臣、废立皇帝。虽然功不可没，但狡诈之心也昭然于天下。