再说刘豫之所以成为伪齐皇帝，在金国的第一恩主本来是挞懒，但是粘没喝听谋士高庆裔建议后，率先向金太宗提议立刘豫为皇帝，让刘豫认为，第一恩主是粘没喝，因此，刘豫成为伪齐皇帝后，侍奉粘没喝及高庆裔格外殷勤，让刘豫的老主子挞懒十分不爽。而兀术，一直为伪齐刘豫擦屁股，对刘豫当然十分不待见。
刘豫第二次大举南侵，却不到两个月失败撤军，败得如此干脆，让金国上下对刘豫颇为失望，刘豫自己也有觉察，便向主子国请示，立刘麟为太子，实际就是探探金国的真实想法。金人回答得很高超，委婉地道：“等派人问问河南的老百姓答不答应再说吧！”
公元1137年初，刘豫的坚实靠山粘没喝病故了，刘豫心里更加不踏实，便一而再，再而三地向金国上书，请求金国派军援助他再南侵，意图在金国主子面前扳回一点印象分。金国一直未置可否！
八月，刘豫吉星高照，宋朝淮西军统制郦琼反叛（此事后面再细讲），率几万淮西军投降了刘豫。刘豫闻郦琼投降，大喜，亲自到文德殿接见郦琼，封郦琼为靖难军节度使，知拱州（河南睢县）。
刘豫收了宋军几万淮西精锐，以为捡到了香饽饽，孰知事务总是有正反两方面的作用，刘豫势力大增，却让金国骨鲠在喉，担心刘豫势扩大后难以控制，刘豫势力大增之时，也离土崩瓦解不远了。
郦琼到了伪齐后，为了刷存在感，多次向刘豫进言，劝刘豫兴兵南侵，这和刘豫踩在了同一鼓点上。刘豫转身又一再向金人请求增援，并说郦琼有勇力、有想法、可以为国建功。金人却坚称郦琼是假投降，要刘豫将郦琼的兵拆散分到各军。
刘豫虽然沮丧万分，但是并不甘心，隔三差五请求主子国，我刘豫会好好表现的，请大金国给次机会吧？这样来来往往的扯皮中，岳飞的一出反间计，让刘豫的处境雪上加霜。
再说岳飞在襄阳，抓获了一位兀术的间谍，岳飞假装责备他道：“你不是张斌么？我让你到齐国，约好诱骗四太子，你怎么走了就不回来啦？我再派人问，齐国许诺我，今年冬天以进犯长江为名义，引四太子来，我问你，你为什么要背叛我？”
这间谍被抓，以为必死无疑，不料峰回路转，自己变成了“张斌”，马上顺着岳飞的口吻唯唯诺诺的服罪。岳飞便做蜡书，写明和刘豫同谋兀术的经过，并对间谍道：“我再放你一次，你可别辜负我！”间谍回到金国，告诉兀术前因后果，兀术大惊。更加坚定了废除刘豫的决心。这个故事是《宋史.岳飞传》里的记载，笔者总觉得过于戏曲化！
当然，也有可能，兀术早发现其中猫腻，但将计就计，以此为凭据，借题发挥向完颜亶告发，增加废除刘豫的砝码罢了！
十月，金人佯装答应刘豫南侵，在太原建立元帅府，命刘豫的伪齐军全部接受元帅府节制，命万户长速拔为左都监，屯兵太原，万户长挞不野为右都监，屯兵河间。另在陈州、蔡州、汝州、亳州、颍州、许昌分别屯兵防守。
十一月，挞懒、兀术引兵快到开封，遣人入开封，骗刘麟说要商讨南侵作战方案，让他出城到武城。刘麟不知有诈，率两百骑兵到武城，兀术轻松将刘麟擒获。
兀术擒了刘麟后，疾驰入开封城下，由梁门外进城，派一百多骑兵守宣德门、东华门。兀术和都统阿鲁、五郎君三骑，突入东华门，问左右皇城使：“齐王何在？”
伪皇城使错愕，语无伦次，兀术马鞭一击，皇城使急忙避开，兀术三骑径自进垂拱殿，入后宫门，又问：“刘齐王何在？”
宫人掀开门帘答道：“在讲武殿射箭！”兀术三骑直驰讲武殿。
刘豫远远望见，想退入后宫更衣，兀术已经纵马近前，下马抓住刘豫手道：“不要走，有紧急公事要商议！”几人出讲武殿，到宣德门旁，兀术命伪齐侍从开门，出门后，兀术命小卒扶刘豫坐上一匹小黄马，并道：“齐王到军营中去议事！”
刘豫一直晕晕乎乎，此时才如梦方醒，这哪里是议事，这是“绑架”啊！刘豫明白了原委，倒也干脆，大笑上马，但背后还跟随这几十员卫士。兀术等怕出意外，拿刀架在刘豫脖子上，押出至开封城外，囚禁在金明池。
第二日，金军入城，召集百官，宣读金国皇帝完颜亶的诏书，谴责刘豫失德，废除他的皇帝名号。为了安定人心，弹压动乱，金军几千铁骑围在宫门外，同时派军卒在开封城内街头巷尾四处宣言：“东京的父老乡亲们注意啦！从今以后，大金国再也不向你们征兵啦，不用你们缴纳免行税啦，替你们击杀强人盗贼，让你们的旧主少帝回来坐镇，叫你们快活！”
于是人心才稍微安定。金人在汴设行台尚书省，以张孝纯权行台左丞相。伪丞相张昂为孟州知州，李邺知代州，李成、孔彦舟、郦琼、关师古也各为一州长官。又以女真人胡沙虎为汴京留守，李俦为副留守。
刘豫不死心，哀求地对挞懒道：“我们父子没有什么对不起大金的地方啊。”
挞懒轻蔑道：“从前赵氏少帝离开京城，百姓有自焚赴死的，号泣之声远近都能听到。现今你被废，没有一人可怜你，你怎不自责呢？”刘豫无以回答。
刘豫被废后，先居于相州，后来他和刘麟一起被迁到临潢府（内蒙古巴林左旗），封刘豫为曹王。刘豫前后做了八年伪皇帝，被废时为六十五岁。公元1143年，刘豫卒。
佐料：《三朝北盟会编》卷一百八十一记载，刘豫被废后，金国获得大丰收。为什么这样说？刘豫被废，金国得刘豫良马四万匹，开封府库有钱九千八百七十万缗，绢帛二百七十万匹，金一百二十万两，银六千万两，粮食九十万石。
而《宋史.刘豫传》记载，除银一千六百余万两，两者有出入外，其他一致。有学者说大清朝的财政收入一年大概为一千五百万两，也有说四千万两的。伪齐才多大的地方，富裕到了何等程度？
另外，《三朝北盟会编》还记载，刘豫被废时，后宫有嫔妃二百七十人，怀孕者九人。刘麟有妻妾共计一百二十人。刘氏父子外示简朴，内为淫泆，这是证据，但还有更可笑的例证。伪齐官员为了谋取升官，向刘氏父子献妻、献女、献姨、献妹者举不胜举。
比如廉公谨以女和媳妇送刘麟，刘麟向刘豫推荐廉公谨，刘豫任命他为皇子府库管理。长葛县令侯湜因贪污近万缗，被人告发，侯湜无计可施，将侄女送给刘豫，希望免于处罚。审判官听到风声，观望一阵后，将侯湜从轻处罚，仅罢官除名。刘豫却道：“用有功人不如用有过错之人！”反而将侯湜提拔任用！