岳飞听了，十分生气，当即写了一份奏章，派人送到高宗那里。岳飞在奏章中向高宗申诉：经侦察，金国的大军都集中在东京，因为屡次失败，已完全丧失了锐气。金国朝廷内外都非常害怕，兀术已打算扔掉辎重物资，渡过黄河逃跑。河南河北的百姓也都纷纷起义，响应我军。现在正是一举打败金国、收复失地的大好时机。机不可失，希望陛下慎重考虑再作决定！

但是，在临安城中的宋高宗和秦桧却不是这样想的。宋高宗早就对岳飞手握重兵心怀猜忌，唯恐岳飞起来造反，他的皇帝就当不成了。如果让岳飞立下消灭金国的奇功，他就更没法控制岳飞了。而中原地区的平民百姓组织义军，又是高宗所害怕的，他怕百姓的力量大了，会起来推翻他。对宋高宗来说，只要能在江南半壁江山当个皇帝，他已心满意足了。所以他宁愿保持同金国南北对峙的局面，也不愿去收复失地。

秦桧根据宋高宗的旨意，想出一条毒计。他先命令其它将帅都从前线后撤，然后以“岳飞孤军深入，不可久留”为借口，一天连下十二道金牌，要岳飞火速撤兵。同时，宋高宗也更认为岳飞不听他的指挥，认为他有谋反意图，已经暗暗下定了杀害岳飞的决心。

岳飞见友邻部队都已后撤，自己如不撤退，就有被金兵包围的危险；再看看这严厉而急迫的一道道金牌，又伤心，又愤怒，他不由长叹一声，说：“我十年的努力，毁于一旦啊！”

果然，岳家军前脚刚退走，金兀术紧跟着就杀过来了。岳飞刚刚收复的大片土地又失陷了。

绍兴十一年（1141 年）春三月，岳飞和张俊、韩世忠先后回到临安。宋高宗立即委任张俊、韩世忠为枢密使，这已是武将的最高官职了；而岳飞也被委任为枢密副使。这又是宋高宗的阴谋。因为这么一来，这三位大将便失去了直接指挥军队的权力。徒有虚名的官职再大，对皇帝也不会产生威胁。

紧接着，秦桧便指使他的党羽开始诬陷岳飞，说他在淮西战役中逗留不进，并公开主张放弃楚州（今淮安）。岳飞听了，忍无可忍，请求辞职。宋高宗便乘机解除了岳飞的官职。在这个皇帝心目中，岳飞的辞职，是对他的一种要挟，这就更加使他不能容忍岳飞，一定要将他置于死地了。

这时，岳飞对宋高宗的真面目仍然认识不清。他性格倔强，为人耿直，过去曾多次在高宗面前坚持自己的主张，弄得高宗皇帝下不了台。在岳飞的主张被否定后，他也曾好几次提出辞职，宋高宗迫于大局，每次都不许岳飞辞职，并且不得不在表面上作出一点让步，请岳飞率兵出征，但心里却对岳飞越来越猜忌。这一次，宋高宗认为时机已经成熟，可以放心大胆地除掉岳飞了，所以立刻批准岳飞辞职，并且加快了谋害岳飞的步骤。

谋害岳飞，看来似乎是针对一人而已，其实，在这阴谋背后，隐伏着南宋小王朝的生死危机。因为若是岳飞一死，金兀术便没了敌手，他就可以无所顾忌，挥师南下了。

更大的迫害阴谋开始实施了。为了罗织岳飞的罪名，秦桧授意枢密使张俊对岳家军都统制王贵威逼利诱，迫使王贵同意陷害岳飞。接着，秦桧又派党羽林大声到鄂州（今武汉）岳家军大本营担任总领，监视岳家军；又收买了岳家军大将张宪部下的副统制王雕儿，正式向王贵投呈诬告状，说张宪得知岳飞被罢官，愤恨不平，打算率领大军南下，威逼朝廷把兵权还给岳飞。