桓溫行廢立事后，開始大肆清除異己，司馬昱受桓溫牽制，不過是個傀儡，又害怕如司馬奕那般被廢黜，整日坐立不安，不久就憂憤成疾。
東晉咸安二年（372年）七月甲寅，病重的司馬昱為召桓溫入朝輔政，一日夜間連發(fā)四道詔令，桓溫都推辭不至。此前擁立時，司馬昱就封桓溫為丞相，留其在京師輔政，被其辭讓后還鎮(zhèn)。回到姑孰后，司馬昱又派了王坦之征召桓溫入朝輔政，仍然被推辭。
真的是人越老膽越小，桓溫十五歲假扮吊客混入喪廬，手刃仇人為父報仇，此時重兵在握，卻不敢輕入建康。說桓溫沒那個賊膽吧，他又時刻惦記著篡位，廢立之后奪位倒不敢了，司馬昱活著的時候請他攝政不敢去，反而指望司馬昱死的時候禪讓。
司馬奕還沒被廢位時，曾賜武陵王司馬晞羽葆鼓吹，許其入朝不趨、贊拜不名、劍履上殿，司馬晞并未接受，卻也說明其受重視程度遠勝旁人。而關鍵在于司馬晞才略一般，唯獨喜歡習武練兵，可這卻犯了桓溫忌諱，他就是靠著手中兵權成事，自然也提防著別人玩這一手。
于是，桓溫以聚納輕剽、包藏亡命為由將司馬晞父子削職，勒令返回封地。尚未成行，桓溫又逼迫新蔡王司馬晃出首，誣稱與司馬晞父子、殷涓（殷浩之子）、庾倩、庾柔等人謀反，收于廷尉后向司馬昱請旨誅殺被拒，最終司馬晞、司馬晃被廢為庶人，殷涓、庾倩、庾柔等人被誅。
桓溫的妻子南康長公主司馬興男，是東晉第二位皇帝司馬紹與皇后庾文君所生嫡長女，而潁川庾氏也由此作為權臣、外戚控制國政。晉成帝司馬衍、晉康帝司馬岳都是司馬興男的同母弟，晉穆帝司馬聃為司馬岳之子、晉哀帝司馬丕與廢帝司馬奕則是司馬衍之子。
被桓溫誅殺的庾倩、庾柔則是庾皇后三兄庾冰之子，庾冰在司馬衍臨死前為鞏固庾氏權位，以策立長君為由一手促成司馬岳繼位。庾冰之女庾道憐又是廢帝司馬奕皇后，只是在司馬奕繼位當年就已病逝，受桓溫逼迫廢帝的褚太后則是司馬聃之母。
多年前庾氏得以上位，是被司馬紹推出來對抗王氏，當時王導執(zhí)政，王敦等王氏中人遍布朝中、方鎮(zhèn)，勢大難治。后因王敦之亂，以及司馬衍繼位，庾冰長兄庾亮取代王導執(zhí)政，推行法治以樹立權威，誅除了圖謀作亂的南頓王司馬宗，其黨羽逃亡至蘇峻處。庾亮命蘇峻送還被拒絕，隨后又征蘇峻入朝，蘇峻擔心被加害，聯(lián)絡了對朝廷心存怨恨的祖約（祖逖胞弟），一同起兵討伐庾亮，最終攻入建康。
蘇峻之亂平定后，庾亮人心盡失，只得離開中樞出鎮(zhèn)豫州，并在陶侃（陶淵明曾祖父）死后代其出任征西將軍，兼領江、荊、豫三州刺史。庾亮死后，其幼弟庾翼接任荊州刺史鎮(zhèn)守武昌，都督江、荊、司、雍、梁、益六州諸軍事。
而庾翼與桓溫關系友好，相約一同安定天下，他曾向司馬衍舉薦桓溫，說桓溫有英雄之才，不應視作常人對待，要像周宣王時的方叔、召虎那般委以重任。可庾翼死前，卻在病中上表請以次子庾愛之接任荊州刺史，此時庾氏已經兩任荊州，朝廷也怕尾大難掉有違抑制王氏的初衷，再加上王氏的阻撓，且庾冰死后掌權中樞的何充也反對庾翼的請求。
為了緩解對立，調和各方意愿，與庾氏有親舊，又是司馬氏女婿的桓溫得以出鎮(zhèn)荊州，為了顯示自己和庾氏不是一條心，桓溫旋即將有庾翼之風的庾愛之及其兄長義成太守庾方之罷免徙往豫章。
何充的母親是王導之妻的妹妹，妻子是明穆皇后庾文君的妹妹，侄女何法倪則是司馬聃的皇后，有這么幾層關系，他自己也想上位，卻被庾氏壓著一頭。直到庾冰死后，何充才趁著庾氏沒人夠資歷的空子獨掌大權，不會讓庾氏繼續(xù)執(zhí)掌荊州重鎮(zhèn)，威脅到他在中樞的權位，于是援引桓溫作為盟友，可他自己沒干兩年就病死了，掌握了荊州的桓溫就此一步步坐大。
庾愛之被罷免后，桓溫以征虜將軍劉惔監(jiān)沔中軍事，代替庾方之擔任義成太守?；笢氐倪@個舉動除了打擊庾氏，同時也拉攏盟友，因為劉惔之妻是廬陵公主司馬南弟，他跟桓溫是連襟，其妹又是謝安之妻。
司馬氏皇族一邊倚靠士族門閥，一邊想著制造所謂的平衡，而在各家士族，則無不想著怎么利用司馬氏這塊招牌，為自家謀取最大好處。從抬高外戚庾氏壓制王氏，繼而以桓溫打壓勢大的庾氏，桓溫難制后又重新重用王、謝，危機暫時消失后馬上挑動王、謝內斗，東晉從建立伊始就陷入從無休止的內耗。
桓溫誅除異己時，逼迫新蔡王司馬晃出首之人，就是被襄陽名士習鑿齒引為知己的桓秘。庾冰的幾個兒子里，庾倩、庾柔被下獄論死，庾友因為兒子娶了桓秘之女求情得免，庾蘊飲毒身亡子孫幸免，庾希、庾邈則逃入海陵陂澤，得到表兄青州刺史武沈暗中供應糧餉。
東晉咸安元年（371年）六月，庾希與武沈之子武遵在沿海地區(qū)招聚漁民、掠奪船只，次年桓溫發(fā)現其行跡后派軍隊前去搜捕。庾希等人卻趁夜間攻入京口，召集囚徒發(fā)放兵器，稱是奉密旨誅除桓溫，先被逃跑到曲阿的晉陵太守卞耽征發(fā)鄉(xiāng)兵二千擊敗，退守城池后東海太守周少孫奉桓溫命令前來征討，攻克京口擒獲庾希等人送至建康斬首。
庾氏受誅后，面對桓溫的威勢，時任侍中的謝安遠遠見到桓溫，也會俯首遙拜，并以曾在其幕下任職舊事，將二人關系稱作君臣。至司馬昱死后，群臣因畏懼桓溫，竟無人敢擁立太子，等待桓溫來決定，尚書仆射王彪之站出來反對，十歲的太子司馬曜才得以繼位。
但這樣的結果，所有人都害怕桓溫不滿，再帶兵入朝來一次政變。于是褚太后提議讓桓溫攝政，又是王彪之阻止，僅以謝安征桓溫入朝輔政，賜羽葆、鼓吹，武賁六十，桓溫沒有接受也不入朝，因為此時的他已經身感不適。