弘化元年（1844年），幕府以水户藩“铁炮齐射”以及之前水户领内的佛信徒骚动为由，强制齐昭隐居、同时被命令“谨慎”，水户德川的家主之位被交给了齐昭的嫡长子庆笃——“铁炮齐射”就是水户藩兵大规模演武，当时这种事需要预先征得幕府的许可。
但因为齐昭之前在水户藩的革新颇有成效，而且他精力充沛而且敢于发表对幕政的批评，同时齐昭又是御三家之一的家主，因此影响力非常之大，被时人称之为“贤侯”，有很多
迷弟，例如松平庆永，作为福井藩的藩主，他在1843年夏季回越前入国亲政之前特意向齐昭请教如何处理藩政。
齐昭倒而不僵，不但在水户藩内继续拥有大批支持者，而且在幕府内部也有不少同情者。
而1845年成了首席的老中阿部正弘终于体会到了前任水野忠邦的痛苦，当时水野内焦外困，外部有南蛮船不断叩港，而且外样大名尤其是西国大名实力不断增长影响日渐扩大，而幕府内部又是一个烂摊子，财政千疮百孔不说，幕臣还各行其是，虽然大家合伙打倒了手段激烈的水野忠邦，但之后就忙于内部的争权夺利，啥正经事都干不了，幕政根本没有什么明显的起色。
看着是一团和气，其实是一片乌烟瘴气，现在还不如水野在位的时候呢，因此包括公方样家庆和很多锐意革新的谱代大名、大身旗本都开始或多或少地对他表示了不满之意。
不是有句话是那么说得么，“内无忧患,外无强敌,国恒亡”，加上隐居的德川齐昭不断给水野写信，深刻探讨了自己的“过失”，表达了对水野老成谋国的敬佩，因此阿部侍从又将齐昭作为一枚重要的棋子放到了幕政的棋盘上。
幕府内部有以御三家、御三卿为代表的亲藩和谱代大名、大身旗本等势力，这些势力之间的关系错综复杂，并不是完全以出身结党，彼此之间相互勾连，你中有我、我中有你。
1845年成了首席老中的阿部正弘愕然发现自己成了老中们隐隐针对的对象，因此他急需给持保守态度的老中和幕臣们竖立新的目标和对手，所以他开始激活德川齐昭和江川太郎左卫门。
江川太郎左卫门是兰学代表，在以儒学为尊的当下自带挑衅光环，加上阿部确实需要耿直的江川出来做实事，所以1846年阿部提拔他为勘定吟味役——在直秀原来的世界，江川要到1853年黑船第一次来访才重新获得重用，但现在因为直秀的出现，江川家和小栗家结盟，而且功绩也比原本耀眼的多，所以提前获得了重用。
同时，阿部正弘也开始解除齐昭的处罚，为齐昭复出做各种准备。
1846年齐昭被幕府解除了“谨慎”的处分。在藩内人望很高的齐昭迅速联络原来的亲信和心腹，在1849年已经重新掌握了藩内的大权。
接替齐昭做家主的庆笃当时十八岁，从小到大受到齐昭的严厉教育，对父亲非常畏惧，没有家主的帮助，所谓的门阀派家臣根本不是多年苦心经营的齐昭一系对手，这些家臣只好向幕府求助，但有首席老中阿部在中枢的压制，这些人根本翻不出什么浪花，于是齐昭又开始活跃起来——但是齐昭依然不能公开参与幕政。
直秀于1849年从海外归来，1850年江川在韭山获得了炼铁的大成功。在江川耀眼成就的刺激下，保留的幕臣们终于改变了态度，乘此良机，首席老中阿部提拔了一大批相对进取的幕臣——兰学的基本盘很小，这些被提拔的幕臣都是儒学背景，但态度相对进取，支持幕府进行进一步的革新。
幕府二百年来内部联姻不断，这些新提拔的幕臣背后有很多亲友，得到这些人的支持，阿部的基本盘扩大了不少，让齐昭复出的条件基本成熟。
其实，首席老中阿部对齐昭没啥好印象——阿部正弘是在1841年御台所德川家齐去世后暂露头角的，成名之战是干净利落地妥善处理了大奥与僧侣的“私下交往”。
1841年御台所家齐去世后，大奥（将军后宫）与僧侣的“私下交往”被发现，当时担任寺社奉行的阿部，在初步调查后快刀斩乱麻，经过草草审判后将僧侣日启、日尚处决，把事态控制在极小范围内，很好地维护了幕府的名誉，他因此获得了十二代将军家庆和大奥及高层幕臣的好感，自此踏上了飞黄腾达之路。
阿部和大奥及佛门交好，而德川齐昭不但公开与佛门交恶而且还曾经对大奥的花费指手画脚，因此阿部个人对齐昭谈不上任何好感，但形式如此，阿部不得不用曾经当过御三家家主的齐昭来牵制保守的亲藩大名势力和团结倾向于进取的幕臣。
御三家和御三卿向来是德川家亲藩的代表。