为了既能抗击金人，又能控制武将，宋皇帝赵构可谓费尽心机。建炎三年（1129年）闰八月，他任命主张议和的尚书右仆射杜充兼江、淮宣抚使，领行营大军十馀万士兵防守建康，并把中书省的大印交付给他，让他随时调动大臣。他让御前左国都统制韩世忠为浙西制置使，守镇江府；太尉、御营副使刘光世为江东宣抚使，守太平及池州，并要求刘光世仍受杜充节制管辖。
这时刘光世、韩世忠各持重兵，都讨厌受到杜充节制管辖，因此众说纷纭。刘光世又上书说，他受杜充节制有六大弊病，皇帝非常愤怒，责令刘光世迅速过江，且诏令不让刘光世进入殿门。刘光世虽然非常生气，心怀不满，但还是惶恐受命了。宋皇帝赵构看到刘光世服从管理了，就按照“胡萝卜加大棒”的办法，立即赐以银合汤药进行安慰。
建炎三年（1129年）九月，宋皇帝赵构来到登云门外检阅水军。这时有谍报说金人攻破登州、莱州、密州，并且于梁山泊大造舟船，有可能由海道出发攻打江西、浙江等地方。由于当初皇上任命杜充在建康节制诸将，路途非常遥远，指挥根本来不及。于是有大臣上奏说：“建康至杭州将近一千多里路，距离明州、越州又达到几百里远，如果大小事情都要往返一千里路请示报告，恐怕早就失去时机了。请以左军都统制韩世忠充任两浙、江、淮守御使，从镇江至苏州、常州地界，以及圌山、福山等要害部位，全部交给韩世忠全权管理。”
由于宋廷一向看不起武将，更看不起不识字的武将，韩世忠又没有读过书，不认识字，虽然韩世忠忠心耿耿，但皇上也只是把他当做工具使用而已。
因此宋皇帝赵构说：“那可不行。像韩世忠他们这些武夫将领，没有读过书，很少能深识义理，如果权势稍盛，将来必定与社充争衡夺权，就只让他全权负责圌山就已经足够了。”
与宋廷形成鲜明对比的是，金朝大兴学习之风，大胆提拔重用各种人才，大胆任命汉人韩企先为同中书门下平章事。这年秋季，金元帅府在蔚州开考复试辽国及两河学子，辽人考试内容以词赋为主，河北人考试以经义为主。金朝采用契丹三年考一次的科举制度。即初次为乡荐，再次为府解，第三次是省考，考中以后就叫做科举及第。当时有学士不愿意参加科举考试的，州县必定派人跟在后面督促他们。云中路察判张孝纯当时主持科举考试，就选拔了赵洞、孙九鼎等人。孙九鼎是忻州人也，大宋宣和年间曾经在太学学习，在来到金朝后第五年就中举了。
青州观察使李邈，留在金朝三年了，金人想让他当官，让他做沧州知府，他笑着却没有答应。后来金人下达了髡发命令，李邈非常气愤，就坚决抵制它，金人就以木棍挝击他的脸庞。他口鼻流血，就把鲜血吸吮了进去。第二天，他自己就把头发全部剃光，像个和尚那样，金人大怒，就要把他杀了。李邈将被处死时，颜色不变，告诉行刑者说：“请答应我面向南方辞别一下我们的皇帝。”拜完之后，向南方端坐着被杀戮，燕山之人都为他流涕哭泣。
建炎三年（1129年）冬十月，宋皇帝赵构逃至越州，就居住在州廨里面。
这时，知枢密院事、宣抚处置使张浚已经到了兴元（今陕西汉中南郑县），他再次上奏说：“汉中实在是天下形势之重地，如果想号令中原，必需以此为根基，历史已经反复证明了这一点。我带领大军在兴元积粟理财就等待着圣上巡幸，愿陛下早为西行之谋。如果来到这里后，就能前控六路之师，后据西川之粟，左通荆、襄之财，右出秦、陇之马，天下大计，就可以定下了。”
可是宋皇帝一心想着维持现状，过着皇帝的优渥生活，根本没有心思去北征进取，因此对张浚提出的定都汉中、关中的建议根本不加理睬。
这时，金人以宗弼为统帅，大起燕、云、河朔民兵继续向南进攻，又命令万户尼楚赫、布尔喝苏、托卜嘉、王伯隆等人带领女直、渤海、汉军到达黄州准备渡江。
金人到达岸边以后，最初得到江岸下面的小舟，但是数量不多，运输兵力非常缓慢。他们就毁坏居民房屋作为船筏，用大舟在前面拉着它们渡江而去。集英殿修撰、荆湖沿江措置副使王羲叔，仅仅听说金人进攻逼近黄州了，就赶紧坐着舟船逃遁而去。这样，金人不慌不忙、悠哉悠哉地用了三天时间，好像旅游度假一般地乘坐小船全部渡过了江。
江东宣抚使刘光世看到朝廷根本不愿意抵抗金人，又对武将到处进行打压牵制，因此把行军打仗的事情根本不放在心上。他在江州，每天与朝奉大夫韩梠置酒高会，宴饮取乐，并不关心敌兵是否到来。后来有人报告说，金人已经渡江了，刘光世还以为他们是蕲州、黄州之间的小盗贼，就派遣前军统制王德带领人马去兴国军附近剿灭他们。王德带领人马到了这里时，才知道真正是金人攻打过来了。由于没有任何思想准备，宋军大为惊恐，立刻丢盔弃甲逃走了。于是金人又从大冶县一路观光游玩去攻打洪州。
大臣李邺听说刘光世丢盔弃甲逃跑的事情，非常痛心。他负责制造铠甲，知道每副铠甲工料的费用达到将近八千缗之多。宋皇帝赵构也说：“唉！这些铠甲每一分毫，都是百姓生民的膏血，如果丢弃一片甲叶，就是丢弃了百姓生民的一方皮肤。你们这些将领士兵使用它们，应当爱惜啊。”
十一月，隆佑皇太后逃跑到了虔州。江东宣抚使刘光世派遣人驰骑告诉皇太后，说金人攻打过来了。滕康、刘珏赶紧带着太后以及皇上的妃嫔从陆路出发逃跑，其他人坐船从水路出发逃跑，其他随从官员各自按照情况自行逃跑。
集英殿修撰、江西安抚制置使、知洪州的王子献，看到皇上、朝廷权贵都逃跑了，自己也弃城遁走，去了抚州。中书舍人李公彦、徽猷阁待制、权兵部侍郎李擢一看大事不妙，也赶紧逃遁了。司勋员外郎冯楫一看已经逃不出去了，就藏匿在庐山的佛舍里面，而郎官以下的官吏更是乔装打扮，溃散奔逃不知去向。
冯楫逃到寺庙里，定了定神，赶紧去劝导刘光世出兵掩敌，说道：“金人现在孤军深入，最是兵家大忌。他们又想前进，却被大山阻挡；又想撤退，后边却是大江，他们这种列阵情况真是没有一点好处。但他们之所以敢如此放肆横行的原因，就是因为前边没有人抵抗他们，后面没有人袭逐他们。他们好像进入无人之境，之所以敢于无所忌惮，并非是敌人的能力强大，而是我们不抵抗啊。你看看这些村里的民众，他们这些强壮的青年尚且敢于和敌人交锋，也只不过是胜负各半，打了个平手。怎么咱们这些国家养活、训练有素的将兵，反而不如他们平民呢？官军遇到金人就望风而逃，畏之如虎，其实根本不需要那样害怕。如果太尉能选取精兵一万人，厚立赏格，亲自带领他们来洪州等处援救，故意放开一路让他们归去，然后再埋伏兵于他们回去的道路上，袭击他们，一定会使他们一匹马都回不去。”
刘光世心里明白，宋人军队毫无战斗力，怎么能与金人抗衡呢？首先，宋人军队都是乌合之众，平时提笼架鸟、吃喝玩乐，军职重要岗位、薪水高的岗位都被纨绔子弟占据，军功也被他们窃取，谁愿意拼死杀敌呢？其次，朝廷腐败堕落，即便是外敌压境、内匪迭起的兵荒马乱岁月，朝廷命官依然横征暴敛、风花雪月、携妓游乐、醉生梦死，只要有一天快乐，就享受一天快乐，根本不关心军事态势。再次，朝臣只关心个人职务、职位升迁，只关心贪权揽财，却担心武将不听指挥，通过减少军需、军饷、武器装备等多种形式进行限制掣肘。军人逃跑没有罪，但军人不听指挥就是叛逆罪。最后，这些士兵拖家带口，遇到战事首先想到的就是家眷、财物，军队官员和守城官僚更是如此，谁有心事打仗呢？因此，宋军之间经常发生抢夺、火并、自相残杀的事情。谁能指望这些拿着竹竿长枪、穿着纸质铠甲的士兵去打胜仗呢？相反，金兵军营有肉吃、有奶喝、有马骑、有金银财宝、有掠夺驱赶来的投降士兵作为个人的奴役贴身伺候，这是何等的快意呢！
因此，刘光世把冯楫这些话就当做耳旁风，根本就没有理会。
紧接着，金人攻破了真州，守臣向子忞（min）弃城逃跑了，他所携带的金帛财物、子女辎重，全部被韩世忠的军队所夺取。
完颜宗弼很快就攻破了和州，随后与叛将李成一同攻打乌江县，这时尚书右仆射、江淮宣抚使杜充在建康统一指挥防守。
杜充听说金人马上攻打过来了，派遣将官张超带领六万士兵防卫在江河南岸，而自己躲在里面闭门不出，甚至都不敢出来看金军一眼。
统制官岳飞哭泣着进行劝谏，请杜充出来巡视军队，给军队鼓舞士气，哪怕一会儿也行。结果杜充破口大骂，门关得更紧了。这时，将官张超看到其他将领没有来，也就仓皇逃跑了，金人不费吹灰之力，就攻过了长江。
杜充又急忙派遣都统制陈淬率领岳飞及刘纲等十七名大将带领士兵三万人参与战斗，又命御营前军统制王侄以所带领的部队一万三千人前往支援。
一天之后，陈淬与金人大元帅宗弼在马家渡发生了遭遇战，双方大战十馀回合，胜负基本相当。正在战斗焦灼之际，宋军的御营前军统制王侄却带领一万三千西兵起先逃遁了，只剩下陈淬一队孤军奋战，结果寡不敌众，只能退还屯驻在蒋山附近。水军统制邵青用一叶小舟载着十八名士兵在江中射击抵抗金人，舟师张青身中十七箭，于是就退守于竹筱港。带领着赤心队的朝请郎刘晏的一部分士兵败走常州。
这时，浙西制置使韩世忠在镇江，他一看长江天险失守，赶紧把所有物资全部装到大海舶上，放火焚烧了镇江城郭，也做好了带领大部队逃跑的准备。紧接着，他又带领少数亲信乘坐小舟来到江阴，投靠江阴军知府胡纺。由于他来时携带有大量金银财宝，胡纺非常高兴，热情款待了他们。
十一月四日，金人攻打到了吉州，知州事直龙图阁杨渊弃城逃跑而去。隆佑皇太后见状，也赶紧离开吉州。皇后的卫兵看到所有人都仓皇逃窜了，他们也就开始凭借手中的武器，开始公开去米市争抢财物。金人派遣士兵追击龙船御舟，好在这些北方人不习惯水战，因此宋人就趁着夜晚乘船逃跑了，直到第二天早上才到达太和县。
即便是金兵没有追击上他们，宋人士兵也丢盔弃甲了。宋人轮船上的掌舵手耿信以及龙神卫四厢都指挥使杨惟忠所统领的士兵一万多人瞬间崩溃。许多将士看到有隙可乘，就浑水摸鱼去占山为王做强盗；一些将士趁乱把皇后用的乘舆服御物品带上逃跑了；把一些用处不大的物品丢弃了，甚至也把宋室祖先钦先孝思殿神御都丢掉了。
从皇家内藏库里面带来的金帛财物，早已经被乱军盗贼劫掠一空，损失达到数百万，许多宫女也趁机逃跑了，大约丢失了一百六十个人。杨惟忠与权知三省枢密院滕康、刘珏全部逃跑藏匿在山谷中，皇太后身边的卫兵不满一百人。
金人追至太和县，太后就从万安弃舟登陆，逃跑到虔州。皇太后及潘贤妃跑不动了，就让当地农夫用轿子抬着逃跑，宫人死伤者不计其数。
金人攻打到了六安军，知军事边琪自知宋人士兵毫无斗志，官员都想望风而降，于是他就干脆打开城门，放纵金人进入城里。金人派遣三百名金军进入屯驻城中，也就不杀不掠，城中民众这才放心下来。
话分两头，事归一面。
却说这时宋皇帝赵构从越州出发，来到钱清堰，到了半夜时分，忽然得到了杜充失败的消息。皇帝赵构准备进入浙西迎敌，侍御史赵鼎全力劝谏，以为众寡不敌，不若想办法退避一下。皇帝赵构就给吕颐浩说：“现在情况已经万分紧急了，该怎么办？”
吕颐浩说：“金人擅长以骑兵取胜，而今圣上銮舆一旦出行，皇族、百司官吏、兵卫、家小队伍非常庞大，而且全部行走陆路，这么多人走在山间小路之中，如果粮食运送供给不上，时间长了势必会引起兵变。现在金人既然已经渡过了浙江，肯定会分路派遣轻骑兵追袭我们。如果车驾乘海船以躲避敌人，登上海舟之后，金人敌骑必然就不能袭击我们了；加之浙江地区天气炎热，敌人也不能久留。等到他们退去之后，咱们再返回二浙，彼入我出，彼出我入，这就是兵家的奇正用兵之道啊。”
宋皇帝赵构沈吟了很长一段时，无可奈何地说：“我觉得此事可行，你们大臣一起认真商量一下。明天早上，再召侍从、台谏全部到都堂，大家共同决定是否可行。”
十一月七日，宋皇帝赵构来到越州，决定航海去四明地区。吕颐浩建议说，让从官以下各自谋生去吧。宋皇帝赵构说：“这些士大夫平时领取朝廷俸禄，应当熟知义理，怎么可能不扈从我呢！如果真像你说的那样，那么我到了一个地方，就跟盗寇一样了，那怎么能行呢！”即便皇上不乐意大臣离开，许多人都偷偷离开逃生去了，只有个别人留下继续当侍卫了。
欲知后事如何，且听下回分解。