不久京兆尹赵广汉奏报发现许多江湖游侠前往京师。给事中梁丘贺呈奏病已，病已召来执金吾严延年，嘱咐他细细留意。严延年亲自明察暗访，逐渐摸清了来龙去脉，回报道：“启禀陛下，这些江湖游侠都是大司马的人，微臣发现他们全部进驻了大司马的私宅，约数千人。”
病已大惊，“数千人？足够组建一支羽林军了！霍家怎么容得下这么多人？”严延年叹气道：“启禀陛下，长安东街都被霍家盘下，可谓财大气粗，富可敌国啊！这些年陛下赏赐给霍家的财物，应该都被置换成了私宅，有四百余家。年年光收租金，就高达千金。”
梁丘贺感慨道：“看来霍家是想狗急跳墙，不可不防啊！”病已扬声道：“执金吾，严密监视霍家的一举一动，如有异动，你可先斩后奏！给事中，去召丞相、御史大夫、宗正、卫尉、侍中骑都尉、侍中、中常侍、羽林令、期门仆射、两宫卫尉、三辅都尉等人。”
不久丞相魏相、御史大夫丙吉、宗正刘德、卫尉张延寿、侍中骑都尉张千秋、侍中张彭祖、王无故、王武、金安上、中常侍许嘉、羽林令史高、期门仆射史曾、未央卫尉史玄、长乐卫尉许舜、京辅都尉许广汉、右辅都尉许延寿、左辅都尉王奉光等人。严延年、梁丘贺也参加御前会议，谒者萧望之负责殿外护卫。
病已无奈道：“老虎已经露出凶狠的獠牙，咱们得时刻保持警惕。三辅都尉严密监视前往京师的流民、游侠等，你们是拱卫京师的重要屏障。羽林令、期门仆射、两宫卫尉，宫里要重点布防，轮番戍卫，不得常驻。卫尉、执金吾，朕的安危就靠你们了，今后出行依然是南北军混合护卫，相互协调。骑都尉、侍中，命你们监督宫中兵马，如有异动，立刻上奏。其余人各司其职，不要让奸人钻了空子。你们都是朕最信任的人，今后要勠力同心，不要闹内讧。”
众人齐齐应声，都预感不妙，似乎有大事要发生一样。梁丘贺上奏道：“陛下，如今京城的游侠增多，只怕会有非常之事发生，要不要撤了右将军的屯兵，以防万一？”众人齐齐附议，病已笑道：“暂时不必，朕想看看大司马到底能翻出多大浪花！”
翌日朝廷议政，大司农赵平上奏道：“启禀陛下，微臣要参核京兆尹！京兆擅离职守，多次无故离开自己地区，杳无音信，致使官吏怨声载道，纷纷向微臣揭发此事。另外，赵广汉屡屡越权行事，多次潜入京师暗访，又侵夺左冯翊和右扶风权力。微臣以为赵广汉恃宠而骄，简直无法无天！还有，赵广汉多次利用职务之便，严刑酷法，打击异己，微臣以为赵广汉分明是酷吏，当罢免！”
光禄勋范明友、少府邓广汉、太仆杜延年、左冯翊董让、右扶风尹翁归齐齐附议。赵广汉大骇，忙跪地道：“启禀陛下，微臣最近在追查……追查一些乱象，所以……微臣并非有意破坏朝廷法度，都是为了朝廷大事，不得不临时专权，望陛下恕罪！”
病已心里明白，赵广汉是在追查流民和游侠的事，而流民和游侠多经过京兆尹的辖区，西进入关，赵广汉自然成了霍家的眼中钉。如果拔掉了赵广汉，关外的游侠就能源源不断地输入京师，那时京城才是真正的危机重重。
令病已想不到的是，除了霍家众人支持外，太仆杜延年、左冯翊董让、右扶风尹翁归竟然也支持弹劾赵广汉。杜延年是霍家旧人，董让仁善，尹翁归是贤官七子之一，三人公开为霍家站台，病已始料未及，也暗暗皱眉。
这时宗正刘德扬声道：“京兆尹屡教不改，应该令其闭门思过一月，罚俸一年，命他人代职。如果还执迷不悟，应该罢官削爵。”群臣纷纷附议。
病已不得不同意，命赵广汉闭门思过一个月，罚俸一年，命长安市令、市丞、都水、铁官暂时分掌京兆尹职务。望着大司农赵平，病已冷笑道：“大司农，现在粮米多少钱一石？”
赵平一惊，“微臣……不太清楚。”
“那稻谷多少钱一石？”
赵平大骇，“微臣……不知。”
“天下每年产多少粮米？消耗多少多少粮米，剩余多少？每年太仓、常平仓储存多少？足够应付几年灾荒？”
“微臣不知。”一抹额头，早已冷汗直冒。
“百姓食盐价格多少钱？”
“微臣不知。”赵平只觉双腿打颤，双手颤抖。
“每年盐税多少？田税多少？口赋多少？朝廷总收支多少？每年军国开支多少？”
“微臣……”赵平惊惧万分，扑通一声跪倒地上，“陛下，陛下恕罪，微臣还没有来得及过问。”
病已大笑道：“好个大司农，你任职这么久，竟然一无所知。那朕问你，你属下有多少人？每日直接向你奏报者有几人？”赵平惊慌失措，仔细思忖，结巴道：“大司农丞、大司农部丞三人，其余微臣……微臣不知。”病已大怒道：“废物！连属下有多少人都不知道，朕养你何用？谁来告诉大司农他有多少属官？”
给事中梁丘贺上前道：“陛下，大司农属官有治粟都尉、太仓令丞、均输令丞、平淮令丞、都内令丞、籍田令丞、斡官令丞、盐市令丞、郡国盐铁官、常平仓官、大司农史、稻田使者、郡国农官、榷沽官……”病已摆手道：“不必再说了，赵平执掌大司农府失职，立刻罢官削职。”
大司马右将军霍禹大骇，忙求情：“陛下，赵平初任职不久，还没有熟悉大司农府事务，望陛下开恩！微臣相信只要再给他一个月时间，赵平必然不会让陛下失望！”
病已冷笑道：“是吗？右将军，你现在有多少兵马？”
霍禹大惊，“禀陛下，有数千……”
“数千是多少？”
“微臣……不太清楚。”
“数千兵马每年消耗多少粮米？多少钱财？”
“微臣不知。”
“这几千人马制造了多少收益？耽误了多少家庭农忙？”
“微臣不知。”
“你什么都不知道，那你知道什么？你知不知道三辅什么时候收麦子？”
“……应该是秋后。”
群臣顿时哄堂大笑，病已也忍不住笑道：“朕还是第一次听说是秋后收麦，你说的是什么地方的？长城外吗？”
霍禹惊惧不已，忙解释道：“陛下，农桑是底层黔首的事，微臣确实不知。”
病已吃惊道：“什么意思？农桑不值一提？不是军国大事？难道你不知道国以民为本，民以食为天嘛？连《诗经》中也有近二十篇关于农事活动的诗歌，足见古人对农业的重视！现在快到农忙了，大司马却一窍不通，真让朕失望！立刻罢去右将军屯兵，归兵于农，让他们回去收割庄稼。”
霍禹大骇，忙跪求道：“陛下，微臣愚钝，没有兵，微臣这个右将军还怎么当？”病已不屑一笑道：“既然无法当，那就罢去右将军职位，专心做你的大司马。拟旨，罢去霍禹右将军一职，撤去右将军屯兵。”
回到府邸，霍禹怒不可遏。霍山也暗暗叹息，“咱们霍家这次算是被彻底架空了，可恨啊！想起当初咱们风光无限，连丞相、御史大夫都得来府外排队拜见，如今四面楚歌，宛如过街老鼠。”霍禹羞愧难当，摆手道：“不要再说了，我愧对爹，愧对霍家。早知今日，当初咱们就不该飞扬跋扈，惹百官痛恨，惹陛下忌惮。”
两人说着说着，抱头痛哭。光禄勋范明友、少府邓广汉、赵平也齐齐失声痛哭，不能抑制。唯独霍云大怒道：“堂堂男子汉，就算死也不能卑躬屈膝！陛下不仁，咱们不义就是！”
“说得好！”太夫人胡显在冯子都搀扶下步入堂内，一屁股坐在主座。众人纷纷席地而坐，忙抹去眼泪。胡显咬牙道：“朝中的事我都知道了，没有扳倒京兆尹，反倒搭上一个大司农，这也值得哭？刘病已这是铁了心要将霍家打到土里，咱们却不能任人宰割！从今日起，你们都不要上朝了。待诸侯王一回信，立刻起兵攻入皇宫，擒杀刘病已！”
霍禹等人称病不朝，病已一眼瞧出蹊跷。询问众人，太仆杜延年上奏道：“陛下，霍家为朝廷做出了巨大贡献，如今鸟尽弓藏，难免让人心寒。大司马不来上朝，必是与此事有关。不如派太中大夫任宣前往，他曾是大将军府长史，与霍家交情深厚，如果派他前往，必能够说服大司马。”
病已欣然点头道：“召太中大夫任宣前往！”又命谒者萧望之将丞相魏相参奏霍家的十宗罪抄给任宣看。任宣望着十宗罪，暗暗吃惊，急问：“这是谁上奏的？”萧望之笑道：“太中大夫不当问，你只管把这些告诉霍家，大司马自然会来上朝。”任宣只得遵命。
霍禹一如既往斜躺榻上，有气无力道：“任大夫，你怎么来了？”任宣叹气道：“听闻大司马病了，下官特地前来探望。不知道大司马所患何病？是否请了侍医？侍医怎么说？”霍禹苦笑道：“多谢任大夫关怀，我只是偶感风寒，没有大事。”
任宣幽幽道：“大司马为国操劳，如今备受打击，只怕是心病。心病还需心药医啊！”霍禹忍不住埋怨道：“我霍家为汉室建立了不世功勋，骠骑将军北逐匈奴，为大汉解决了外患。我父亲辅佐三代，为大汉解决了内忧。不仅如此，我霍家还为陛下立下了汗毛功劳：如果不是我父亲力挽狂澜，废立昌邑王，陛下能登基吗？如果不是我父亲文治武功，陛下能坐享其成吗？如今我父亲坟土未干，陛下就疏远打压霍家，任用重用许、史、张三家子弟，还没收了我的右将军印，这算不算忘恩负义？”
听霍禹一席话，任宣已知他怨恨很深，于是劝慰道：“将军不可过于伤怀，各人都有自己的时代，不能强求，更不能只活在过去。当年大将军在世时，手握生杀予夺大权，顺者昌逆者亡，礼乐征伐自臣子出。廷尉李种、王平、田丞相的女婿少府徐仁、左冯翊贾胜胡等人都因为忤逆了大将军的意思而被处死，夏侯胜、黄霸、严延年等人也险些被处死，以至于朝廷大事都要先奏报大将军，然后禀报陛下，丞相等文武百官形同虚设。下到刺史、太守人选，上到三公九卿，都决于大将军。所以像便乐成这样没有功绩的人能位列九卿，封为列侯，只因为受到大将军宠爱。百官更是争相伺候冯子都等奴婢，而不把丞相放在眼里。”
霍禹惭愧点头，不敢辩解。任宣继续道：“唉，时过境迁，大将军的时代已经一去不复返了。如今陛下恩宠许、史两家，是因为史家兄弟与陛下血浓于水，许家又是太子外家，这都是骨肉姻亲，不可分割，所以得势显贵是理所当然的。如果皇后能为陛下添丁，霍家也必会得到陛下恩宠。大司马没有看透这一点，却心怀怨恨，窃以为不可取！”
霍禹长叹一声，起身一拜，后悔道：“多谢任大夫，听君一席话，令我茅塞顿开。阁下放心，我明日就上朝。”
送走任宣，霍禹召来霍家众人，铿锵有力道：“咱们不能再这样对抗下去了，至少不能明着对抗。从明日起，大家都去上朝。”霍山欣然点头，范明友惊慌道：“可……”霍禹抬手道：“我知道你要说什么，现在霍家是我做主，不是太夫人。何况太夫人亲自去郊区送几位妹妹去凉州，暂时不在家，你们怕什么？出了任何事，我来扛着！”
胡显刚回府宅，听闻霍禹等人去上朝了，怒骂道：“真是蠢材，万一陛下将他们扣住，他们等着牢底坐穿吧！”待霍禹回到府宅，胡显招来霍禹、霍山、霍云三人，语重心长道：“有些事我以前没有告诉你们，现在是时候说出来了。你们现在是盲人走夜路，危险不自知。其实当初皇后许平君是我命人毒死的，这事大将军知道，陛下也心里清楚。”霍禹三人齐齐惊慌，不知所措。