新法受到保守派前赴后继的反对，赵顼作为最高拍板者，说一直无动于衷肯定不是事实，赵顼其实也是有些左右摇摆不定的。比如前次甚至下诏暂停“青苗法”。
公元1074年四月，赵顼再次下诏，暂时罢除新法。
赵顼为何突然做这个决定？主要有三个原因：一是后宫太皇太后曹氏的反对。
一次，赵顼进宫问安，曹氏道：“祖宗法度，不能轻改，我听说民间以‘青苗法’、‘助役钱’为苦，皇上应该罢除新法才是！”
赵顼分辩道：“朝廷实施新法，是利国利民的好事，不是坏事！”
曹氏见赵顼偏袒新法，又道：“王安石诚然有才学，然而天下怨恨他的人太多了，陛下若想保全他，不如将他调任地方任职！”
赵顼维护王安石道：“群臣之中，只有王安石勇于任事啊！”
当时赵顼的弟弟赵颢也在旁边，忍不住插话道：“陛下，太后的话，不能不多考虑考虑！”
赵顼本来就心烦意乱，可以说一触即跳，闻言大怒，睁大眼睛瞪着赵颢道：“难道是朕败坏天下吗？莫如你来做这个皇帝吧？”
赵颢一句话招来弥天大祸，吓得浑身发抖，眼泪直流，结结巴巴地道：“皇兄何必这样？”
赵顼虽然口里争辩维护，心里毕竟有点动摇。这是第一个原因。
第二个原因：自1073年七月开始，老天一直不下雨，朝中又议论纷纷，说不下雨是由于推行了新法，引起了天怒。赵顼忧形于色，便想打退堂鼓，暂停一些新法。
王安石安慰道：“水旱灾害在任何时候都会出现，但修人事罢了！”
赵顼道：“朕所恐惧的，正是人事方面没有做好啊！”
第三个原因：光州参军郑侠，给赵顼进呈了一幅《流民图》，说百姓被新法逼迫得流离失所，哀鸿遍野。
这郑侠本是王安石提拔的，现在反戈一击，王安石尚蒙在鼓里。
这幅《流民图》，赵顼反复看了多遍，长吁短叹，难以入睡。第二天便传旨暂缓新法。
两府大臣入对时，赵顼将《流民图》给王安石看，并问：“爱卿认识郑侠吗？”
王安石道：“他曾经跟从我学习一段时间。”
吕惠卿等人才知道暂停新法，祸起郑侠。吕惠卿、曾布、邓绾跪在赵顼面前进谏：“陛下几年呕心沥血、废寝忘食，才取得今天的成绩，一旦听信一位疯子的谗言，将所有成果废弃，不是可惜吗？”
大家越说越激动，都在赵顼面前痛哭不已，赵顼也难过得流了眼泪。他毕竟不想全盘否定自己的政绩，思前想后，又下诏恢复新法。
但是王安石从赵顼摇摆的态度中感觉到了不安，第三次提出了辞职，赵顼再三挽留，王安石王八吃秤砣—铁了心，坚决要走。
赵顼无法，于四月罢免王安石的宰相职务，让他以观文殿大学士身份知江宁府。
吕惠卿等人听闻老大要溜号，都非常着急，派多名党徒变换姓名，投书朝廷挽留王安石，王安石被感动了，于是向赵顼推荐韩绛代替自己的宰相职位，吕惠卿升任参知政事。赵顼也一一答应，可见赵顼对王安石的感情，真不是一般的深厚所能形容！
吕惠卿害怕王安石走后，新法不稳固，写信给朝廷各部门、各地方州县变法派，陈说利害关系，宣誓团结一致维护新法。
王安石罢相后，韩绛和吕惠卿果然竭力维护王安石的新法，一成不变，世人称韩绛为“传法沙门”，吕惠卿为“护法善神”。
佐料：北宋有位唐垧，是位异类，王安石变法初期，唐垧上书道：“‘青苗法’不能推行，是有人作梗，应该把当朝大臣如韩琦等斩首示众。”他这一举动赢得王安石的器重，先被推荐崇文院校书，不久又提拔为御史。
但王安石很快发现唐垧为人轻佻，又开始疏远他，不让他到职。于是，唐垧就倒戈。连续上了二十道奏疏，陈说新法有害，赵顼都没有批复下来。唐垧便要求当庭答辩，赵顼开始不同意，唐垧长跪在殿外不起，赵顼遂召他进殿。
唐垧到御座前，抗声道：“臣所说的，都是朝廷大臣的不法之事，请让臣对陛下一一陈述！”
唐垧插好笏板，展开奏疏，打算宣读，一眼见王安石在赵顼不远处，唐垧望着王安石道：“王安石怎么站在御座旁边，听大臣的奏疏？”
王安石还在犹豫，唐垧又大声斥责：“你在陛下面前都敢如此，在外头可想而知！”王安石只得退开。
唐垧便大声宣读自己的奏疏，其中有“王安石作威作福、曾布配合擅权，天下只忌惮王安石的权威，不知道还有陛下，文彦博、冯京明知不敢言。王珪曲意侍奉王安石 ，无异奴仆…”，读到这里，他还特意用眼睛看了一下王珪，王珪羞惭的低下了头。唐垧接着读。
“元绛、薛向、陈绎，王安石颐指气使，和家奴无异；张琥、李定是王安石的爪牙，张商英是王安石的鹰犬…”
奏疏还把王安石比做李林甫、卢杞。赵顼几次打断他的话制止，唐垧面不改色，慷慨自若，读完，跪退下殿。大臣及卫士，相顾失色。一位轻佻的人，却有如此胆量，出人意料！
王安石也大感意外，尽管唐垧几乎是指着王安石的鼻子在骂！但王安石仍极力为唐垧辩解维护，唐垧仅被贬为潮州通判。
变法派的主要骨干都被《宋史》列入奸臣传，唯独领导者王安石是朝廷忠臣，不是没有原因的！