宗泽病逝后，
宋高宗以杜充代为汴梁镇守，
岳飞等为其部将。两年后，高宗改革人事，命吕颐浩、杜充为左右相。使者来到汴梁传令，杜充大惊道：“皇帝身边人事纠结，极难处之，何况一任文职，兵权便失，这却如何是好？”其心腹献上一计道：“相公何不诈做
中风，派人告病，朝廷必然收回成命。”杜充喜道：“这是个好办法！”便召众人议事，忽然从椅子上跌倒在地，口吐白沫，嘴眼歪斜，众人不知其诈，慌作一团。岳飞、戚方等只得派人赴朝告之。高宗听报大惊，遣使探视，抚慰颇多。但使者极其聪明，回到建康，冷笑道：“此人恐有所失，不满文职也。”高宗惊问其故，使者道：“此人虽然不能说话，口眼歪斜，但眼神精利，转动机灵，臣便疑之，故意与其左右略说朝廷机密，此人便有留神之状。如此摸样，定是使诈了。”高宗甚怒，欲要罢去杜充，无奈人才缺少，只得与诸臣商议，加其兼任江淮宣抚使、建康府尹，使渐西制置使、镇江元帅韩世忠、江东宣抚使、太平、池州元帅刘光世并受此人节制。杜充一见这个诏书，霍然病愈。岳飞惊疑不已，从此以后不屑此人。
杜充受命，欣然带岳飞及副统制戚方、大将龙随等，离开河南转往建康。岳飞说道：“‘将在外君命有所不受’。河南乃中原之地，黄金不换，一旦离开，即非我所有，将来要想恢复，非数十万众不可。”杜充叹道：“圣旨岂能违背？皇上年青，身边所重之人多书生，不知兵凶战危，只知升降黜陟，徒玩人事而已！这几年来，将士苦战在外，祖上富实之官皆被剥的精穷，护驾之人却还为分惠不均辄起内讧。眼明之人都给自己寻找后路，唯独我等这些忠臣义士提头卖命！我说句大逆不道的话：当年老皇上几十个皇子里，
康王并不曾被看好，就连他当使者赴
金国，金人也嫌他
无名之辈，不与礼貌。今日事在非常，大家无奈，只得认其权主天下。然而自古以来社稷江山不是此等模样，人主若是只会如
蚰蜒钻缝、蛐蟮缘泥，恐怕到底也非命世之主！”岳飞大惊道：“宣抚大人言过了！你所谓‘眼明之人’，不过都是些见利忘义的小人而已，何足挂齿！我等忠臣义士只该精忠报国，不可私论君上之过！”杜充道：“某不过说些气话而已，岂可当真！”岳飞说道：“我等报国之道，只有奋死杀敌。杀敌越多，皇上才能越安稳，否则都不过是空谈罢了。”戚方忽然说道：“杜宣抚所言极是。末将虽然寡学，却也粗知道理。古往今来治国之道虽是以德为先，但兵卫辅之，切不可少。我朝自太宗皇帝以后，偃武修文，兵不复振。真宗、仁宗、英宗、神宗、
哲宗、徽宗、钦宗七帝以来，历经百年，屡被辽、金、西夏欺辱，仅岁币之供，已数千万了！当年仁宗朝人称盛世，而
狄青殁于人祸，是为武将者之大悲也。今上起于艰难，若无武人舍死辅弼，仅凭儒士，恐怕江山社稷早已荡然无存了。却又不重武人，凡有升迁，多是儒士，如此行事，叫谁能服！”岳飞怒道：“汝有嫌怨之心么？此等言语，还是少说为好！”戚方还要理论，被杜充止住。