刘牢之本为将门世家，家道中落，先是在地方担任武吏。郁郁不得志。机缘巧合归于谢玄麾下。因其勇猛常命为先锋。战无不捷，威震远方。但因其为寒门出身在世家把持的世界里却常被人看不起。
在谢玄免职后，掌控精兵北府军镇守京口。在桓温攻荆州时被王猛击败，被降职。
王恭起兵讨伐王国宝时，起用刘牢之为司马，兼任南彭城内史，加拜辅国将军。王恭虽然依仗刘牢之为得力助手，但仅把他当作一般武将，对他的礼数很薄，刘牢之心中非常耻恨 。
王恭联合殷仲堪等势力，起兵清君侧，迫使司马道子诛杀王国宝等人 。因为对司马道子任用司马尚之以及割豫州四郡归江州等不满，王恭以全军委与刘牢之，再次起兵逼宫朝廷 。
刘牢之内心充满矛盾：依附王恭可借门阀之势巩固地位，却要受制于太原王氏；支持司马道子能获得朝廷正统名分，又恐北府兵将领不服。此时，司马道子的儿子司马元显派人游说刘牢之：王恭事成之后，必以将军为台鼎；若败，将军何颜见江东父老？不如反戈一击，朝廷当以王恭之位相授。
刘牢之还是选择了背叛，在竹里（今江苏句容）突然倒戈，率军突袭王恭大营。王恭猝不及防，兵败被杀。
后来东晋朝廷因桓玄叛乱下诏讨伐。元兴元年（402年）正月，晋廷下诏讨伐桓玄。刘牢之因为桓玄从小享有英名，如今又凭仗江南之众，担心无法制伏他，又考虑到消灭桓玄之后功盖天下，司马元显一定不会容忍自己，于是犹豫不决，不得已才率北府文武将士进驻洌洲 。
桓玄派何穆劝道：“飞鸟尽，良弓藏，狡兔死，猎狗烹，敌国破，谋臣亡。”
刘牢之自以为手握重兵，才能智谋足以统辖江南大地。当时谯王司马尚之已被桓玄打败，使得士气低落，军心沮丧，于是刘牢之接受何穆的劝说，派遣使者与桓玄联络。
刘裕听说刘牢之欲投靠桓玄连同刘牢之的外甥何无忌等将领劝说。认为桓玄志大才疏，没有处理与世家混战，门阀争权的能力。且这人也是不能容有能力的下属胸怀。投桓玄是自投死路。刘牢之一概不听，下令儿子刘敬宣投降桓玄。
桓玄进建康掌控晋庭扫除反对势力后任命刘牢之为征东大将军，会稽太守，调离京口。又任命桓修担任徐州刺史加抚军将军坐镇北府，而出任桓修的中兵参军的刘裕则韬光养晦，静待时机。
桓玄控制北府军后立即展开清洗，诛杀高素、竺谦之、刘袭等将领，又命归降的孙无终镇压刘敬宣，彻底分裂北府军 。刘牢之的北府旧将如高素、竺谦之、竺朗之、刘袭、刘季武、孙无终等人被杀，刘袭兄冀州刺史刘轨及宁朔将军高雅之，刘牢之子刘敬宣投奔冉魏。
刘牢之暗中联络刘裕等北府军将领准备孤注一掷与桓玄拼命时。
刘裕回答道：将军拥有几万精兵时，对桓玄望风而降。如今桓玄上控朝野、下掌雄兵，其威名正在鼎盛之时，形势人心皆对您不利，恐怕广陵也不是轻易到得了的，何况举兵讨伐呢？此情此景，我刘裕只有脱下军服，回京口老家罢了！当刘牢之试图召集部下商议讨伐桓玄时，参军刘袭直言不讳地说：事之不可者莫大于反。将军往年反王恭，近日反司马元显，今复反桓玄，一人三反，何以自立！ 说完，刘袭起身扬长而去，其他与会人员一见，连话也不说，就跟在刘袭的后面，全部逃散 。最后手伸向半空，感受到了众叛亲离、无力回天的悲凉，天下哪里还有自己的立足之处呢？刘牢之想，一定是刘袭截杀了他，向桓玄邀功请赏去了，于是万念俱灰的他上吊自杀 。
刘裕谨言慎行获得了桓修的信任。两年后桓玄倒行逆施遭到世家和晋皇室的联手制衡。
404年二月刘裕认为时机已经成熟，开始实施推翻桓玄的计划。刘裕以游猎为名，会同刘毅、何无忌等27人在京口举兵起义。这27人包括何无忌、魏咏之、檀凭之、刘毅及其堂弟刘藩、檀凭之的侄子檀韶、檀祗、檀隆、檀道济等，都是侨居京口的北府军旧部 。
起义军迅速行动，何无忌身穿传诏服，诈称朝廷使臣，率众涌进京口城，杀死了徐州刺史桓修 。与此同时，刘毅与孟昶在广陵（今江苏扬州）共收集北府兵1700余人 。
京口起兵后，刘裕被推举为盟主，率部向建康进军。在进军过程中，刘裕军队连战连捷：
1. 江乘之战：三月，刘裕在江乘（今江苏句容北）遭遇桓玄派来的猛将吴甫之，将其斩杀 。
2. 罗落桥之战：刘裕追击至罗落桥（今南京东北），与皇甫敷率领的数千人激战，皇甫敷战死 。
3. 覆舟山之战：三月初二（己未日，3月28日），刘裕进军至覆舟山。他采用疑兵之计，命弱兵登山，持旗分道而行，营造四周皆有士兵的假象。由于桓玄守军大多是北府军出身，面对刘裕都没有斗志，刘裕趁机火攻，大败桓谦军 。
4. 占领建康：三月壬戌日（3月31日），刘裕攻占建康桓玄夹持晋安帝逃亡。
进入建康后，刘裕立即进行了一系列重要的政治军事安排：
1. 官职任命：刘裕被任命为都督诸军事、镇军将军、徐州刺史等职，掌握了军事大权 。随后又被任命为侍中、车骑将军、都督中外诸军事等要职。
2. 推举盟主：刘裕推举武陵王司马遵为大将军，承制总百官，自己则担任总领百官。实际掌握东晋军政大权。刘裕开始实行以追杀桓玄为由头大肆攻伐沿途门阀世家豪门。
任命徐羡之尚书库部郎、常驻建康。任刘穆之为尚书录事与徐羡之一起稳定北府军后方。
刘裕为中军由檀道济为帅，沈田子，王镇恶为大将，朱龄石为先锋沿途追击桓玄。由此拉开了刘裕独有的改革方式，南方门阀的恶梦开始了。
桓玄率禁军裹挟晋安帝出建康，首站直扑京口——侨姓门阀郗氏的“北府兵发源地”。他以“北府兵需随帝护驾”为由，强征郗氏私兵3000人，且要求郗氏交出府库中半数粮草。郗氏宗主郗僧施以“私兵乃宗族屏障”拒命，暗中联络诸葛氏合兵守城。桓玄假意谈判，趁夜派精锐伪装流民偷袭城门，破城后以“谋逆护驾”为名，屠郗氏核心族人200余口，焚烧郗氏坞堡，诸葛氏援军刚至城外便遭桓玄伏兵截杀，首领诸葛长民（历史上刘裕部下，此处提前激化矛盾）仅率数骑突围。刘裕尾随部队次日入城，以“安葬名士、抚恤流民”为名收编郗氏残余部曲，接管京口兵源地。