刘祖明及众人听后，沉默许久，只得无奈艰难选择这条路，离开自己的根据地去关东。
接下来，刘祖明在军帐中召开会议：商议汉中联军去关东的军事部署。
当天晚上，刘祖明军营中几名军士骑马，往秦岭栈道关隘口、陈仓关飞奔去。
秦岭栈道关隘口外，筑城防堵关中援兵的常威虎，陈仓关中的姜汤、霍光得知汉中失守，刘祖明命令撤退去关东的命令后，首先姜汤、霍光于翌日深夜放弃陈仓城，带领五千余军士，悄无声息出城奔至常威虎处来。
三日后黄昏，姜汤、霍光率领的五千军队来至常威虎这里来，常威虎当夜放弃防守筑城，与姜汤、霍光带着自己的军队，悄悄的往刘祖明军营汇合。
刘祖明见常威虎、姜汤、霍光带着一万余军队前来，立即率领自己军营中三万余军队，一起沿沔水（汉江）往东，去关东南阳郡郡守刘庭国那里去。
秦岭栈道关隘中及陈仓关外的关中援兵，发现常威虎、姜汤、霍光军队放弃关隘、关卡离去，知道打不过对方，也不敢追。
李由在汉中新城城楼，见刘祖明大军离开军营，因上次自己与黄靖联手战刘祖明，两人差点都死在刘祖明大刀下，早已心中有阴影，也不敢派兵来追。
赵佗部将王庆之出征北上时，任嚣特别叮嘱王庆之，此次出兵主要目的是搜刮汉中、巴蜀财富，军事作战为辅。
自王庆之自占领汉中后，也不出兵来进攻刘祖明联军，而让自己三万后勤马车队，带着俘虏的汉中三万多俘虏及四万多刘祖明联军在汉中年轻男性、女性家属和在汉中蜀地收刮来的财富，整整装满了一万多车，浩浩荡荡往南海郡番禺城（广州市）去。
此时，李由带着大军回至汉中郡府南郑城，赵佗部将王庆之与李由进行交接汉中郡府南郑城，第二日王庆之告别李由众人，带着手下三万余南方军回南海郡去了。
王庆之的南方军队在南归途中，顺便攻破联军占领的巴郡郡府，将其金银财富洗劫一空，将城子一千多名年轻女子掳走，并在沿途巴蜀地区的大贵族、大地主家，以筹集军费名义，强抢对方财富带回南海番禺城去。
王庆之的南方军离开汉中后，李由带领随从到汉中郡各县看了看，见汉中各县被王庆之的南方军，以抓刘祖明联军残余为由，到处烧杀抢夺财物，奸淫掳掠女人，简直是罄竹难书，汉中各县被这群南方军整得如人间炼狱。
李由见此惨景，破口大骂：“狗日的任嚣、赵佗、王庆之、这群猪狗不如的南方军，你们简直是土匪、强盗、畜生，难怪你任嚣没子女，伤天害理的事做多了”！
与李由一起来的蜀郡太守陈芸，气愤对李由道：“我蜀郡，也被这群狗杂碎害惨了，郡中大小贵族、商户、地主都被他们以军费名义抢劫一空了”！
李由听后，无奈摇了摇头，长叹一口气道：“罢了、罢了、大秦不幸呀”！