湖南地区的农民起义军荡平之后，南宋朝廷就可以全心全意对抗北方的金国与偽齐，不必再害怕有人扯后腿。而且因为过程平和，所以没有对民生经济造成破坏，从此整个长江水域完全畅通，有助工商农业的发展，朝廷也逐渐稳定下来，政令通达，赋税充足。
岳家军除了加入荆湖南路安抚司统制任士安、郝晸、王俊、统领焦元等部约一万多人之外，再加上江南西路安抚司统制祁超、统领高道等部约八千五百多人，后续又增拨统领丘贇所部的一千五百人；还有将原来担任张浚都督府左军统制的杜湛改任为岳飞统辖的黄州武将知州，所带来的几千蔡州兵。杨幺军的壮丁五万人也大都编入岳家军，因此岳飞麾下人马总计大概达到了十万人。
北伐之前，岳家军的编制，大致是十位将领，每人带领三千馀人，总数不过三万多人；歷经北伐与剿灭杨么两次大战，人马一路迅速扩充，至今大约膨胀了三倍，也就是扩增至三十位将领，每人旗下人马还是维持三千馀人，总人数约十万人。在此之后总人数只有微调，不再出现大幅变动。
整个岳家军分为前军、中军、后军、左军、右军、背蒐军、踏白军、游奕军、选锋军、胜捷军、选锋军、水军等十二军，每军各设置统制一至三名。
其中的背蒐军是岳家军最精锐的部队，也是韩世忠与岳飞军中特有的编制。韩世忠与岳飞在军中发掘特别勇建者，让他们担任亲随，称为背蒐军。一进入背蒐军，其他各军除了统制之外，人人见到他们都要对他行礼，而且犒赏特别多，所以战斗力特别强；若碰到强敌，只要派出背蒐军就必胜无疑。
岳飞的背蒐军由他的长子岳云带领。岳云从小力气就很大，特别喜欢重兵器，所以便送他到霹靂火秦明那里学艺，学成之后还带了三位师兄弟一起回来。
四个人的武器正好都是锤，分别是岳云的擂鼓瓮金锤、何元庆的梅花亮银锤、傅天亮的倭瓜青铜锤与狄雷的鑌铁压油锤，背蒐军的兄弟们将他们四个合称为「金银铜铁四大锤」。
南宋成立未满十年，武将出身的将领，除了吴玠吴璘兄弟独守川陕，与大家没有利益衝突之外，大致以刘光世、韩世忠、张俊等三人掌握了最高的军权；他们互不相服，一直勾心斗角，猜忌记仇，有时甚至需要高宗或宰相介入安抚协调，否则说不定早就酿成武装衝突了。
而且他们三人的想法都一样，一方面想避开湖南杨么这个烫手山芋，一方面想跟皇帝亲近一点，所以都把驻地尽量往长江下游移动。大家挤在一个小空间里，衝突当然更容易发生。不过三人心里都有数，万一有两个人闹翻一定是两败俱伤，岂不是便宜了第三人？因此大都会互相收敛，维持着恐怖的平衡。
想不到岳飞连续打了几个重大的胜仗，不但解决了大家的烫手山芋杨么，居然连金人南侵都不敢捋其虎鬚。因此他职位虽然还没与三大将平起平坐，但是在声名方面却一再升腾，比起三位前辈甚至有过之而无不及。
韩世忠知道岳飞与高宗的关係，也大致意会到高宗是刻意栽培岳飞，而且他本身也受过水滸的恩惠，所以一向把岳飞当成子侄辈看待，对于岳飞的成功基本上是乐见其成。
刘光世从头到尾都集中精神在经营淮西军，跟岳飞几乎没有任何的利益纠葛与关连。
只有张俊，他回想六年前苗刘兵变时岳飞人都不知道在哪里，又想到两三年前岳飞只不过是他手下一个统制，还整天被他指挥着到处去东征西讨，实在很难接受他如今居然也是拥有十万人马的大将这个事实。
岳飞当然也感受到「人怕出名猪怕肥」的压力，所以在平定湖南起义军之后，从眾多战利品中拣选了两条车船，附带着船上原有的作战人员和攻守用具，分别赠送给韩世忠和张俊。韩世忠收到之后，感到十分高兴；张俊却认为岳飞是故意跟他炫耀战功，心中反而更增添仇怨之情。
绍兴五年十二月，南宋朝廷再度进行全国范围的军队整编，分为「三衙军」和五大部「行营护军」。
「三衙军」跟以前的「禁卫军」差不多，就是负责护卫皇宫的部队；由殿前司、马军司、步军司所辖部队组成。三衙军是新组建的单位，除了杨沂中统率的殿前司是由原来的神武中军改编而成，兵力较强之外，由解潜统率的马军司部队只有两千骑兵，与顏渐统率的步军司部队，战斗力都不太好。
五大部「行营护军」，张俊所部为「行营中护军」，韩世忠所部为「行营前护军」，岳飞所部为「行营后护军」，刘光世所部为「行营左护军」，吴玠所部为「行营右护军」。五大部之外又将王彦的「八字军」编为「行营前护副军」。
行营护军是南宋的基本军事力量，与上次整编为神武军最大的不同，就是岳飞与吴玠的加入；而他们两人在军队中歷练虽然较少，但都拥有赫赫战功，人数较少，却以战斗力见长。
各军的防区划分如下：张俊驻屯建康，韩世忠驻屯承、楚二州，刘光世驻屯太平州，共同担任着长江中、下游和淮水流域的防务；王彦驻屯荆南，岳飞驻屯鄂州，共同担任着长江中、上游的防务；吴玠则扼守着四川以至陜、甘的部分地区。
参知政事李邴对高宗说：「陛下即位之初，以韩世忠、刘光世、张俊等三位大将最具威名，如今终于又有吴玠、岳飞等两位年轻将领崭露头角了。」
一语道尽此时南宋军事力量的分布状况。
在五大部「行营护军」之中，岳飞的「行营后护军」的名声最响亮，也最受到人民的爱戴。所以中原以及两河的豪侠忠义之士，凡是想要効忠于南宋朝廷的人，都把驻屯在鄂州的岳家军营作为他们投奔的目的地。
自从金人铁骑攻破太原，占据河东的大部分地区之后，当地有一些忠义人士，如梁兴、赵云、李进等人便在太原、絳州一带组织了民兵，称为「忠义社」；先后收復过怀州、泽州、隆德、平阳等城。后来转战到河北境内，八九年内，和金人打过几百次仗，先后杀死敌方大小头目三百多人。两河地区的民眾对这些豪侠人物都很支持，也愿意尽量帮助他们。
赵云屡次狙击金兵获胜，金国感到十分头疼，曾经以平阳府路副总管的军职向他诱降，被他断然拒绝。金人进一步杀掉他的父亲，又把他母亲关进监牢来胁迫他，他仍然没有降服。绍兴四年的十一月，赵云也投奔到岳飞军营中来。
梁兴抗金的力量与名声更胜赵云，一般民眾都亲热地称他为梁小哥。绍兴五年冬，由于挺不住金人铁骑的扫荡，梁兴和另外几名忠义社首领率领了上百名驍勇骑士，直奔鄂州的岳家军营而来。岳飞喜出望外，亲自出营迎接，还马上差遣马成去报告高宗。
高宗获知之后也很高兴，跟身边的参知政事沉与求说道：
「梁兴这些人专程来投靠朝廷，一定要从优赐与官职与奖赏，才能鼓励更多的人前来。我们派往敌方的间谍获得的情报大都真假参半，很难判断；只有这些忠义之士来归，从他们口中才能够完全了解敌方的真实情况。」
沉与求也附和地说道：「而且来归者愈多，愈可证明敌人势力的确已经日渐衰弱，自然也更能了解他们的真实情况了。」
这时的南宋政局稳定，人民安居乐业，而且游寇尽除，没有后顾之忧，可以专心面对北方的偽齐，以及他背后的真正敌人金国。再加上岳飞与吴玠的连续大胜，更鼓舞了全国军民，原来金人并不是打不垮，只要选择对的将领与部队，使用正确的战略，照样可以把金人打得落花流水。因为只有主动出击，才能收復失土，迎回二圣──徽宗与钦宗。
民间期待朝廷出兵北伐的呼声高涨，朝廷中的主战派眼看民气可用，每天上朝都不断陈述民间希望朝廷改守为攻，主动出击。到最后高宗只好任命主战派的张浚为宰相，兼任都督诸路军马司。并派遣他到长江沿岸巡视各军，佈署防务。
张浚在所有将领中，最欣赏韩世忠的忠勇，以及岳飞的沉驇，认为这两个人都可以倚仗办理大事。
张浚在绍兴六年春初完成军事部署，张俊在健康练兵，伺机进屯泗州；由杨沂中的殿前司军作为其旧上司张俊的后援。刘光世屯兵庐州，以扼偽军；韩世忠由承、楚州进兵京东东路的淮阳；岳飞则改任湖北、襄阳两路宣抚副使，进驻襄阳，以便直捣中原。
整个作战策略，基本上就是韩世忠和岳飞主攻，张俊和刘光世主守。
绍兴六年二月，岳飞特地到平江与张浚商讨进军计划。然后从平江转往镇江，接着又转往杭州晋见高宗。
岳飞发现高宗十分兴奋，因为所有的事情都朝着他的希望前进──除了没有子嗣之外，但这事已经过许多御医确定无可挽救了。
「岳兄弟，现在你终于当上朕的大将军，从此以后，你跟韩大叔两员大将就是朕的双臂，指东打西，无往不利。」
「岳飞早就立过誓，绝对效忠皇上，任凭差遣。」
「好了，只有咱哥儿们不必太严肃，放轻松聊点家常吧。」
高宗拍了拍手，太监便带来一个十岁左右的小孩，长的脣红齿白，十分乖巧伶俐。
「岳兄弟，咱们的关係就像亲兄弟，我身体的残疾你也知道。几年前，我一直梦到我朝太祖皇帝，说太宗皇帝夺了他的江山这么多代，应该还给他了。我跟隆祐太后商量，她也认为应该这么做，所以我遍寻太祖皇帝的七世孙，从中选了两个收为义子，这是其中较年长的，名叫赵瑋，到时候我就可以把天下还给太祖皇帝了。」
「皇上真是英明。」
高宗叫那孩子过来见过岳飞。「瑋儿，这是帮我们打天下的大将岳飞，你以后一定要对他们好一点，知道吗？」
岳飞看那赵瑋，身体还算健壮，开口问道：「有让他学习武艺吗？」
「男孩子当然要学一点，至少也可强身，可是比起当初我们俩，那可是天壤之别啊。」高宗说：「要不这样好了，反正只有咱哥儿父子们，瑋儿就私底下认你为师父，你有空就指点他一点武艺吧。」
赵瑋拜完师，岳飞先教了他一套岳家拳之后，由太监带着离开。
岳飞突然想起他所辖湖北、襄阳两路经常有一些急须兴革或紧急处理的事件，匯报给都督行府，再转来杭州，结果都是缓不济急。
不久，南宋朝廷发布了一道詔令：湖北、襄阳两路州县如有官缺，自知州、通判以下，都授权岳飞选择精明强干的人去充任，官吏升擢和调任，或官吏中如有为官不仁和贪赃不法的，也都任凭岳飞加以决行、制裁，或者罢免。
岳飞大为感动，于是积极准备进屯襄阳的事情，不料他的七十岁老母姚氏却在三月二十六日病死在鄂州军营当中。在此以前，岳飞已经在江州庐山买了一些田地，还建造了几间房舍，准备告老之后作为永久的居所。母亲病逝之后，岳飞立即奏报南宋朝廷，而且，并不等待朝廷的回报，他就先自行解除了军职，与岳云携带家眷，扶护着灵柩往庐山去安葬。
丧葬完毕，岳飞就留在东林寺中为母守孝。依照古代礼法，岳飞必须丁忧三年，除非有特殊情况才能「起复」，也就是居官守丧。岳飞的父亲岳和在他十九岁去世时，岳飞就曾经守满三年，岳飞从小就与母亲比较亲近，所以他这次也坚持要为她守满三年。
但是北伐已经箭在弦上，不得不发；更重要的是，全国上下都公认岳家军是战斗力最高的部队，绝对属于北伐不可或缺的主力，所以大家都一致反对岳飞守制之举。
高宗命宦官邓琮到东林寺请岳飞起复，岳飞坚持不允。最后，高宗不得已请出早已退休的前宰相李纲写信给岳飞，恳切希望他不要「以私恩而废公义」，应该「幡然而起，总戎就道，建不世之勛，助成中兴之业」。
高宗还对岳飞及其部下下达了严厉的警告，说岳飞至今尚未接受起复的恩命，显然表示他的属下并没有尽全力去劝告，所以如果岳飞还是坚持不肯復出视事，将归罪他所有的下属连坐受罚。如此双管齐下，岳飞终于决定「移孝作忠」，放弃礼法，接受朝廷「起复」的恩典，重返鄂州军营去措置调发诸事。同时将姚氏刻木为像，每天必行温凊定省之礼，一如在生之时。