唐文宗初期重用牛僧孺、李宗閔，二人拜相後進而啟用白居易妻族的楊嗣複、楊虞卿、楊漢公等人，一時炙手可熱，使得楊氏家族在長安靖恭裡的宅第被人們稱為“行中書省”。按照白居易對中庸之道的修養以及對黨爭的超脫心態，既然有楊家兄弟們去鬨騰也就夠了，自己沒必要跟著一起摻合。
還有一個重要原因，白居易本來身體就不是很好，年輕時就患有眼病和痛風，此時更是年屆五十七歲，身體更差了。
他在寫給元稹的詩中訴苦：“黃昏一慟後，夜半十起時。病眼兩行血，衰鬢萬莖絲。咽絕五臟脈，消滲百骸脂。雙目失一目，四肢斷兩肢。”寫得似乎有些誇張，但從中也可以看出這一段時間白居易多種疾病纏身，健康狀況不容樂觀。
於是，從大和三年元月開始，白居易又請起了“百日長假”。
這一次請假和上次在蘇州不同，是有意為了辭職而請的。到了三月，假滿，白居易的刑部侍郎一職也就自動解除了。
此時的宰相是吏部侍郎李宗閔，李宗閔和白居易的關係也很不錯，他非常理解白居易的心情，在白居易解職刑部的同時，下達了白居易以太子賓客分司東都的詔書。
太子賓客是正三品的高官，在東宮官屬中僅次於太子三師、三少，雖然沒有具體職掌，但地位尊崇，俸祿亦不菲。白居易以如此官祿，回到他那個精心雕飾、情趣盎然的洛陽舊宅，可謂鳥脫樊籠、如魚得水。
唐文宗大和四年（830年）十二月，白居易任河南尹。但是，白居易是以很不情願的心情勉強就任的。他在《至九龍潭作》中寫道：“喜逢二室遊仙子，厭作三川守土臣。他日終為獨往客，今朝未是自由身。”洛陽有黃河、洛水、伊水三條河，故稱“三川”，“三川守土臣”既是指河南尹一職。白居易對這一職位的心情是厭倦，並對自己尚未得到“自由”而感慨。
第二年七月，元稹去世。832年，為元稹撰寫墓誌銘，元家給白居易潤筆的六七十萬錢，白居易將全數布施於洛陽香山寺。
白居易任河南尹的時間從大和四年開始，直至大和七年。在這三年多的時間裡，白居易沒留下任何積極施政的材料，儘管他心裡有一點慚愧：“自慚到府來周歲，惠愛威淩一事無。”相反，這一時期白居易的作品中不是遊山玩水就是宴會應酬，其中不乏理直氣壯的**吃喝：“十千一鬥猶賒飲，何況官供不用錢。”
牛黨的最低目標隻是將河南尹一職保持在自己人手裡，並不指望其有何重大作為，因此對於白居易的表現，牛僧孺並不以之為迕。
但是這一情形並未維持太久。牛僧孺、李宗閔的結黨行為，逐漸引起了唐文宗的不滿，加上牛僧孺在處理維