前两节所叙岳飞的从军立功过程，其实也是岳家军逐步发展的过程，但是，岳家军是在哪段关键时间点成型的呢？也就是说，岳飞从什么时候开始有了一枝属于自己的队伍，又是如何得到朝廷认可而独立成军的呢？
前面两节讲过，岳飞最早投刘韐，接着陆续在刘浩、宗泽、张所、王彦、杜充手下效力，依靠军功积累，升为“统制”，五、六年的时间，从普通士兵逐步做到了中高级将领，但还未独当一面。
公元1129年七月，岳飞随杜充从开封撤出，十一月随杜充守建康，杜充敷衍塞责，不做防御。直到十一月二十日，金军从长江马家渡口过江，杜充才派统制陈淬、岳飞、扈成、戚方等率两万人抗敌，“都统制”王夑率一万三千人接应，不料宋军和渡过长江的部分金军一接战，在后接应的王夑却先跑了，宋军除了陈淬被擒而死，其他各军溃散，岳飞率部下做了短暂抵抗，也于二十二日南撤。二十三日杜充从建康逃往真州（江苏仪征），随后建康陷落，杜充也投降。
“马家渡之战”，主帅杜充投降，“统制”陈淬战死，“都统制”王夑逃跑，出战的其他将领如岳飞、刘经、扈成、戚方哪里去了？原来，他们溃败后，先撤到金坛县和句容县交界的茅山（道教名山），“刘经屯上观、扈成屯中观、岳飞屯下观，皆纵兵掳掠为资”（《三朝北盟会编》卷一百三十五）。《宋史.岳飞传》则说“诸将多行剽掠，惟飞军秋毫无犯”。结合后文岳飞“约束虽严，不可禁止”，说岳飞“纵兵掳掠为资”不可信。
随后岳飞和刘经撤到广德军（安徽广德），而戚方和扈成火并，扈成被戚方所杀，戚方自己也成了叛军，以抢劫为业，骚扰民众。
岳飞和刘经撤到广德军（安徽广德）和金军干了六仗，取得部分胜利，但毕竟军粮匮乏，而岳飞“令军中不得骚扰乡村，约束虽严，然不可禁止，岳飞患之。”（《三朝北盟会编》卷一百三十六），部将李寅向岳飞献策道：“不如移军宜兴，宜兴三面临湖，只有一条极狭窄的旱路，用一小将扼守，进出无路！”进出无路，既可防金军进而侵犯，也可防部下出而扰民。
岳飞大喜，公元1130年正月，岳飞、刘经移军宜兴。岳飞到宜兴后，将从建康溃败，盘踞在宜兴，骚扰民众成为水盗的水军统制郭吉赶跑，并收纳了庞荣。庞荣本是扈成的手下，扈成被戚方杀害后，庞荣率扈成部众到宜兴归附郭吉，岳飞占领宜兴，庞荣便舍弃郭吉，弃暗投明归岳飞。
岳飞去宜兴，《金陀粹编》记载是宜兴县令邀请的，当时宜兴正被郭吉骚扰，宜兴县令派人到广德请岳飞，并道：“宜兴存粮，可供一万军士吃十年！”不管如何，总之，岳飞率军去了宜兴。
公元1130年五月，岳飞领军去建康截击金军，取得“牛头山之战”和“靖安之战”胜利后，下旬，岳飞亲自押解战俘去行宫越州，生平第一次觐见皇帝赵构，赵构赏赐了岳飞锦袍、金带。
六月，岳飞率军回宜兴，赶到溧阳时，刘经的部将王万来报告，说留在宜兴的刘经，想杀了岳飞母亲、妻儿，并吞岳飞留在宜兴的军队，岳飞大惊，立即派部将姚政连夜赶往宜兴。
姚政先见了岳飞母亲，让岳母派人传话刘经，说得到岳飞家书，请刘经来议事，刘经不知有诈，径自来岳母居所，刚进门，被姚政安排埋伏在门后的杨某斩杀，岳飞随后赶回宜兴，收了刘经的部众，刘经偷鸡不成，反蚀把米！岳飞军力进一步加强。
同年七月，岳飞被朝廷任命为通（江苏南通）、泰州镇抚使，九月四日，岳飞率本部人马移防泰州，岳飞此时治军更加严整，将士开始畏惧他的严厉，岳飞严令军卒不得骚扰百姓，泰州百姓安居乐业，民情怡然！
十月，岳飞将前军统制傅庆斩了！傅庆英勇善战，立功颇多，但是他居功自傲，纪律散漫，用钱无度，不把岳飞视为领导，经常吹嘘道：“岳老哥能建立这支军队，都是我出战有功的结果。”傅庆不时向岳飞索要钱财，岳飞总是有求必应，慷慨解囊。
岳飞进驻泰州，治军更加严厉，傅庆旧习不改，岳飞对他要求严格，傅庆便不高兴了，岳飞一再容忍，但是傅庆最后想脱离岳飞领导，转投刘光世的举动，将岳飞彻底激怒。岳飞设计将傅庆杀了。杀傅庆这件事，可以说是岳飞一生的错误，傅庆再有过错，但罪不至死。岳飞杀他，很有杀鸡儆猴、树威立信的味道。
十一月，岳飞因为金军进攻，主动撤出了泰州，被朝廷处罚。
公元1131年初，岳飞受张俊节制，进驻洪州（江西南昌），共同攻讨李成。朝廷还下令给原驻洪州的任士安，令其把兵马拨交岳飞节制。
此时傅选驻扎江州（江西九江），李山驻扎蕲州，赵秉渊在洪州，岳飞都向江西安抚使李回请求，让他们担任自己的统制，至此岳飞势力大增，岳家军成型。
佐料：戚方和扈成火并，《三朝北盟会编》卷一百三十五有详细记载。
“马家渡之战”，宋军退到茅山，岳飞和刘经决定去广德，而扈成打算率军入镇江。
扈成等留家属老小在金坛，率军赶镇江，镇江守臣李滑闭城不接受，扈成无法，回军路上，得报戚方抢劫了金坛，俘获了军中家小，扈成大怒，想赶回去灭了戚方，不料手下有位谷俊的人，可能和戚方交好，先期赶到金坛，报告了戚方，戚方于是留在金坛，专等扈成。
扈成急急忙忙回金坛，谁料竟迷路了，恼羞成怒之余，将两位向导斩了，好不容易找到路途，回到金坛，正见戚方，两军隔河相望，戚方下马拜扈成，扈成也下马回拜！
两人各怀心思见礼后，扈成责闻道：“我老小在金坛，戚将军何故侵犯？”
戚方赔笑回道：“死罪、死罪，戚方哪有这个胆子，都是手下小人擅自作主！”
扈成脸色稍缓，道：“那请戚将军交还我军中家小！”戚方立即答应，双方约定了交还的时间、地点。
戚方先在约定交还桥下挖了一大坑，坑内埋伏几十员精兵，在约定日，戚方押着扈成军中家小，扈成仍然领军来接人，两人还是隔水相望，戚方这边仅有几位兵卒押着扈成军中家小，戚方大叫道：“扈将军来接人，怎么带着大队人马，是想杀我戚方么？”
扈成忙说不是，命军往后退，自己和戚方两人各自都向桥边走拢，戚方故意慢腾腾，扈成先到桥边，戚方桥下伏兵杀出，扈成被杀。扈成军主将一死，部众离散，戚方又将扈成军中家小全部杀害，并吞了尚未离去的扈成部卒。
戚方之所以由官军变成了强盗，从他一贯的强盗手段中可以一窥端倪！需要说明的是，戚方后来成了南宋大将，直到公元1161年，完颜亮南侵，戚方还在率军抗金。