最后卢俊义还是打消了这个念头。
因为卢俊义隐隐感觉到，李衍可能有不臣之心。
如今大宋内忧外患，河北田虎、淮西王庆鱼肉百姓，西边的西夏、北方的金国和辽国虎视眈眈。
而朝廷又重视文治不重武功。
加之朝廷腐败，贪官遍地，国家积贫积弱。
以至于猛士奇缺。
在此背景下，卢俊义虽身不入官籍，仅是一个在野的员外，却位卑未敢忘忧国，以天下为己任，练就一身武艺，为的就是殚赤心报国建立功勋。
这也是为什么卢俊义中了吴用的计谋后被赚上二龙山而誓死不愿落草，还说：“生为大宋人，死为大宋鬼！”，可见卢俊义的正统思想之重虽然“大宋”并没有把他看到眼里，但他却对“大宋”一往情深。
可惜！
卢俊义是不幸的，尽管他名震京师，当局者却偏偏不用他。
抚今追昔，不知有多少英雄豪杰、仁人志士，因小人当道，或埋没乡梓赍志以终，或走投无路浪迹天涯，或万般无奈奔投敌营，或遭到诬陷蒙冤受屈，或身陷囹圄惨遭杀戮，悲乎哀哉！
然而，虽说“大宋”虐卢俊义千百遍，可卢俊义仍待“大宋”如初恋。
这样的卢俊义自然不能投效有二心的李衍。
李衍也并没有勉强，当然真实原因是李衍知道卢俊义跑不了。
总之，听闻卢俊义要下山，李衍没说什么就派朱贵代替自己送卢俊义下山，至于卢俊义依依不舍的将那匹玉麒麟（卢俊义骑的那匹白马）还给李衍，李衍也没说什么就收了回来，然后交给皇甫端好生看管。