白居易再一次放弃“登顶”，是有自己原因的。
最重要的原因是，几位同事和朋友的溘然去世，削弱了白居易的政治依靠，也消解了他积极仕进的意志。白居易《和自劝》云：
“稀稀疏疏绕篱竹，窄窄狭狭向阳屋。屋中有一曝背翁，委置形骸如土木。
日暮半炉麸炭火，夜深一盏纱笼烛。不知有益及民无，二十年来食官禄。
就暖移盘檐下食，防寒拥被帷中宿。秋官月俸八九万，岂徒遣尔身温足。
勤操丹笔念黄沙，莫使饥寒囚滞狱。急景凋年急于水，念此揽衣中夜起。
门无宿客共谁言，暖酒挑灯对妻子。身饮数杯妻一盏，余酌分张与儿女。
微酣静坐未能眠，风霰萧萧打窗纸。自问有何才与术，入为丞郎出刺史。
争知寿命短复长，岂得营营心不止。请看韦孔与钱崔，半月之间四人死。”
诗后，白居易自注：“韦中书处厚、孔京兆戢、钱尚书徽、崔华州植，十五日间，相次而逝。”
韦处厚、孔戢、钱徽、崔植四人，都是白居易的同事、挚友，也是白居易在朝局政争中站稳脚跟的靠山，他们在半个月之间一一离世，对白居易继续在长安争一席之地的实力和信心均有重大打击。
唐文宗初期重用牛僧孺、李宗闵，二人拜相后进而启用白居易妻族的杨嗣复、杨虞卿、杨汉公等人，一时炙手可热，使得杨氏家族在长安靖恭里的宅第被人们称为“行中书省”。按照白居易对中庸之道的修养以及对党争的超脱心态，既然有杨家兄弟们去闹腾也就够了，自己没必要跟着一起掺合。
还有一个重要原因，白居易本来身体就不是很好，年轻时就患有眼病和痛风，此时更是年届五十七岁，身体更差了。
他在写给元稹的诗中诉苦：“黄昏一恸后，夜半十起时。病眼两行血，衰鬓万茎丝。咽绝五脏脉，消渗百骸脂。双目失一目，四肢断两肢。”写得似乎有些夸张，但从中也可以看出这一段时间白居易多种疾病缠身，健康状况不容乐观。
于是，从大和三年元月开始，白居易又请起了“百日长假”。
这一次请假和上次在苏州不同，是有意为了辞职而请的。到了三月，假满，白居易的刑部侍郎一职也就自动解除了。
此时的宰相是吏部侍郎李宗闵，李宗闵和白居易的关系也很不错，他非常理解白居易的心情，在白居易解职刑部的同时，下达了白居易以太子宾客分司东都的诏书。
太子宾客是正三品的高官，在东宫官属中仅次于太子三师、三少，虽然没有具体职掌，但地位尊崇，俸禄亦不菲。白居易以如此官禄，回到他那个精心雕饰、情趣盎然的洛阳旧宅，可谓鸟脱樊笼、如鱼得水。
唐文宗大和四年（830年）十二月，白居易任河南尹。但是，白居易是以很不情愿的心情勉强就任的。他在《至九龙潭作》中写道：“喜逢二室游仙子，厌作三川守土臣。他日终为独往客，今朝未是自由身。”洛阳有黄河、洛水、伊水三条河，故称“三川”，“三川守土臣”既是指河南尹一职。白居易对这一职位的心情是厌倦，并对自己尚未得到“自由”而感慨。
第二年七月，元稹去世。832年，为元稹撰写墓志铭，元家给白居易润笔的六七十万钱，白居易将全数布施于洛阳香山寺。
白居易任河南尹的时间从大和四年开始，直至大和七年。在这三年多的时间里，白居易没留下任何积极施政的材料，尽管他心里有一点惭愧：“自惭到府来周岁，惠爱威凌一事无。”相反，这一时期白居易的作品中不是游山玩水就是宴会应酬，其中不乏理直气壮的公款吃喝：“十千一斗犹赊饮，何况官供不用钱。”
牛党的最低目标只是将河南尹一职保持在自己人手里，并不指望其有何重大作为，因此对于白居易的表现，牛僧孺并不以之为迕。
但是这一情形并未维持太久。牛僧孺、李宗闵的结党行为，逐渐引起了唐文宗的不满，加上牛僧孺在处理维州事件时决策失误，失去了唐文宗的信任。大和六年（832年）十二月，牛僧孺以尚书右仆射出任淮南节度使，离开了宰相职位。次年二月，唐文宗启用其斟酌已久的李德裕，将其从西川节度调回朝廷，任兵部尚书、同平章事。
李德裕上台，白居易自知河南尹一职难以久继，于是再次申请百日长假，以求到期自动卸任。
李德裕当然求之不得，四月底，白居易的假期一满，李德裕马上免去白居易的河南尹职务，恢复其之前所任的太子宾客分司，以散骑常侍严休复出任河南尹。严休复与元稹交往密切，又曾经通过查办杨虞卿的手下温亮来打击杨虞卿，应是李党成员。李德裕用其党人来争夺洛阳地方实权的意图是至为明显的。
不过，李德裕执政的时间也没多久。因为唐文宗真正倚为心腹的人，既不是牛僧孺，也不是李德裕，而是李训、郑注。李训、郑注以铲除专权宦官势力为首要政治目标，但在此之前他们先要在外朝清除牛李二党的势力。
李、郑二人均以奇谋见长，他们于大和八年（834年）十月抛出漳王案，指责李德裕在浙西时暗中结交漳王李凑（文宗之弟），企图拥立漳王篡位。
当初唐文宗是在宦官势力的拥戴下继承其哥哥的皇位的，即位的合法性多多少少有点问题，因此他对这个问题特别敏感，加上漳王李凑确实博学多才，颇有人望，万一被人利用也是麻烦一桩，因此他放手让李训、郑注去“调查”。
结果虽不能完全坐实，但嫌疑也不能排除，当时还没有“无罪推定”这一司法理念，最多只是“疑罪从轻”，于是，漳王被废，不久死去，李德裕也被贬为山南西道节度使，不久又再贬袁州长史。
连续贬官，是唐朝皇帝或宰相常用的打击政敌的一种方法，目的是让政敌遭受连续的多次打击，可谓残酷的精神折磨。
李德裕下台后不久，大和九年（835年）六月，李训、郑注又制造“宋若宪案”，将矛头指向指向了李宗闵、杨虞卿。