“岂非天乎！”
岳飞夜宿荒村野寺，与部将们相对而坐，久久沉默不语，他突然发问：
“天下事竟如何？”
众人都不愿再说什么，唯独张宪回答：
“在相公处置耳！”
然而他的劝勉未能使岳飞产生回师的勇气。岳飞的退师，使京西的百姓大失所望，很多人闻讯拦阻在岳飞的马前，边哭边诉，说：
“我等顶香盆，运粮草，以迎官军，虏人悉知之。今日相公去此，某等不遗噍类矣！”
岳飞含泪取诏书出示众人，说：
“朝廷有诏，吾不得擅留！”
大军撤至蔡州时，又有成百上千的人拥到衙门内外，其中有百姓，有僧道，也有书生。一名进士率众人向岳飞叩头，说：
“某等沦陷腥膻，将逾一纪（十二年）。伏闻宣相整军北来，志在恢复，某等歧望车马之音，以日为岁。今先声所至，故疆渐复，丑虏兽奔，民方室家胥庆，以谓幸脱左衽。忽闻宣相班师，诚所未谕，宣相纵不以中原赤子为心，其亦忍弃垂成之功耶？”
岳飞又以班师诏出示众人，大家都失声痛哭。最后，岳飞决定留军五日，以掩护当地百姓迁移襄汉。
大军从蔡州南下，回到鄂州。岳飞本人在七月二十七日，率骑兵二千，取道顺昌府，渡过淮河，前往“行在”临安府。他上奏说，自己“恭依累降御笔处分，前赴行在奏事”。
第二节金兵重占河南
完颜兀术（宗弼）原以为此次战争败局已定，他夜弃开封府后，正准备渡过黄河，有个北宋时的无耻太学生却要求进见，对完颜兀术（宗弼）说：
“自古未有权臣在内，而大将能立功于外者。以愚观之，岳少保祸且不免，况欲成功乎！”
完颜兀术（宗弼）经此人提醒后，决定暂不过河。他想起被杀的族叔完颜挞懒（昌）为金朝留下了奸细秦桧，决定加以利用。完颜兀术（宗弼）在迭遭挫败之余，开始了从主战派到主和派的转变。
岳飞撤兵的消息被证实后，完颜兀术（宗弼）喜出望外，立即整军卷土重来。在前一阶段的战争中，完颜兀术（宗弼）很不信任原伪齐降附的兵痞，除李成外，如孔彦舟之流“只是单马随军，并无兵权”。此时才利用了孔彦舟、徐文等人。完颜兀术（宗弼）以孔彦舟为前锋，重新回军开封府。
岳飞在前沿尚留下少量部队，是为掩护河南百姓南迁，并且接应大河以北梁兴等军撤退者。他们在兵力单薄，士气受挫的情势下，难以抵挡金方大军的进攻。孔彦舟袭郑州时，曾夜劫中牟县敌营的准备将刘政不幸被俘。留驻西京河南府登封县（今河南省登封市）的孟邦傑，守汝州的郭清、郭远等军，也接着败退。
八月上旬，金朝翟将军率部包围淮宁府。新任知州赵秉渊一扫昔日的怯战心理，勇敢地进行抵抗。岳飞派遣李山和史贵的部队，刘锜派遣韩直的部队，内外夹攻，打败金军。他们结束了岳家军第四次北伐的最后一战，然后撤兵。岳家军作战仍十分勇猛。小军官杨兴率领几十人，在淮宁府沿河同数百散骑接战。杨兴左臂中六箭入骨，“犹坚力向前”，从上午苦战到下午，金军死伤累累，最后被迫遁走。
岳家军的班师，使整个战局发生逆转。八月，韩世忠因久攻淮阳军不克，也在宋廷的命令下撤军了。
宋高宗得到岳飞郾城之战的捷报，特别是接到他七月十八日反对班师的上奏后，又略为回心转意。七月二十五日，即岳飞班师后几天，杨沂中的殿前司军奉命自“行在”临安府开赴淮南西路。宋高宗接着又发手诏，改令岳飞“且留京西，伺贼意向，为牵制之势”。此类手诏当落笔之际，其实已成废文。八月中旬，杨沂中军到达宿州，以五千骑兵夜袭临涣县（今安徽临涣）柳子镇，却不见金兵踪影。他得知金方以重兵埋伏于归路，“遂横奔而溃”。金军乘胜占领宿州，因当地百姓欢迎过宋军，遂恣意报复，大肆屠戮。
绍兴十年的宋金大战，从顺昌之战开始，至宿州失陷告终。宋高宗和秦桧的战略指挥，帮助了金军重占河南之地，使宋军屡次大捷的辉煌战果毁于一旦。
岳飞前往“行在”临安府的路途已走了大半，又不断接到宋高宗前后自相矛盾的手诏，还有秦桧以三省、枢密院名义递发的省札。尽管来回更改，最后仍是令他“疾驰入觐”，“赴行在奏事”。他对此类诏札，只能报以苦笑。当岳飞不断听到中原传来的意料中的凶耗，不由悲愤地说：
“所得诸郡，一旦都休！社稷江山，难以中兴！乾坤世界，无由再复！”
岳飞以本军单独完成北伐的希望至此彻底幻灭。他八月到行朝，不愿再说废话，只是一心一意力请解除军务。岳飞还恳辞新加的少保官衔。他痛切地说，“比者羯胡败盟，再犯河南之地，肆为残忍，人神共愤”。“今则虏骑寇边，未见殄灭，区区之志，未效一二。臣复以身为谋，惟贪爵禄”，“万诛何赎”！
在颍昌大战中，岳雲“功先诸将”，但岳飞按照惯例，不予上报。宋廷查明后，承认“显赏未行，殊非国典”，将岳雲升迁左武大夫、忠州防御使。其升官制词说，“成功行封，犹有遗者”，“大帅