于是吉义审时度势，决定趁早遁去。不举旗建立义军，更不称王，任凭“妖人吉义”这顶帽子继续戴下去。
饭要慢慢吃，吃太快容易噎着；势力要慢慢壮大，壮大太快容易崩溃，只因根基不牢。历史上的义军为何总是昙花一现？吉义曾与山士贤、山士惠探讨过其中原因。“其兴也勃，其亡也忽。”典型的原因就是，在还没有能力统领更多人马的时候，贸然就把人马扩充得太多了，结果导致一系列的问题。人马太多，粮草接济不上；粮草接济不上，需要打更大的战役去缴获更多的粮草，或者控制更大的地盘以生产更多的粮草；可是管不好更多的人马就无法去打更大的战役、控制更大的地盘……
带几百人与带几千人，不是一回事。带几千人与带几万人，更不是一回事。
许多义军首领铤而走险起义，即使趁着时运一时成功，攻州夺县，称王称霸；然而他们欠缺自知之明，把上天给予他们的运气，误以为是他们自己的能力。顺境之中，妄自尊大，到了逆境，无能为力。那时候才知道自己的能力是多么渺小，可是已经迟了，自己身死名灭，搭上手下多少人命。
他们没有长远的眼光，不会深谋远虑，只知道对付眼前的问题，打得过就打，打不过就跑，如此简单，思考问题的方式与草寇无异。其实战略问题并非那么简单。不少义军首领起初带领几千人时风生水起，屡战屡胜，后来有了几万人、几十万人，反而越打越难打了，结局不是屡战屡败终至瓦解，就是一场大败立时覆灭。
许多义军首领也知自己文化不足，想要请高人谋划战略。不少义军都有军师和谋士。可是那些所谓军师和谋士，往往只是不得志的儒生而已，有文才而无实学，对于如何用兵、治军、后勤、内政，其实是一无所知的。
正所谓“物以类聚，人以群分”，浮躁而急于求成的首领，很难有真正靠得住的贤才去投奔，哪怕有，他们也不会赏识啊！
史上仅有的几个最终成就大业的义军首领，尽管出身低微，其实也有文化。他们自己至少有些文化，懂得赏识真正的贤才，采纳正确的战略。他们生性都有稳当的一面，不急于求成，刚开始让别人去称王称霸，自己韬光养晦，后来才渐渐发力。
山氏兄妹为吉义廓清了以往成败兴亡的史例，吉义便更加清楚了自己应该如何作为。就当前而言，不铤而走险，不图扩充人马硬拼，反而要减少人马，战略转移。
手下几千人马，只挑选五六百人，都是比较精悍的，而且务必是忠诚的，自愿继续追随才行。
为什么只要这么些人？因为没法全都上船啊，只能精选一部分人去战略转移。
先前张晋、刘兴隆来投奔时，吉义让他们不要凿沉船只，便有要留后路的打算。有备无患，这下便可派上用场，以他们的船队载送五六百人转移，再多就装不下了。
吉义的打算，首先坐船出海，然后到达长江口，接着一路上溯，到了汉水汇入长江之处，接着上溯汉水，可以一直上溯到襄阳一带，然后走陆路到荆山，最终回到深山家园五龙庄。
深山家园是根本之所在，是安置家人的归宿，是巨窦同门的世外桃源，这个秘密极为重大，自然不能对外公布。因此吉义只对手下说自己要出海，不说后续安排。