此前他已经在兰州建立了兰州制造局，为西征军队制造枪炮，为了应对阿古柏，他从广州，浙江等地调来了专家和熟练工人。
同时，他还在哈密进行屯田，并建立四条运粮线，从各路运送粮食备战。
但此时，他的军饷严重不足，清廷只拨款给他200万两白银，并让各省出资了300万两白银。
为了得到足够的军费，商人胡雪岩以自已作保，向外国银行借款五次，为左宗棠筹集了1195万两军费。
只可惜，这位自1861年开始就不断帮助左宗棠，参与建设福建船政局，收复新疆的红顶商人，最终在左宗棠去世后，被李鸿章联合盛宣怀给弄到家破人亡！
1876年4月，左宗棠在肃州誓师，正式出兵新疆，并在8月18日，拿下乌城。并在随后拿下昌吉，攻克玛纳斯城。
1877年4月，左宗棠派出分兵数路，迅速拿下了达坂城、托克逊城、七克腾木。阿古柏逃！不久，吐鲁番被攻克！阿古柏见大势已去，服毒自尽（也有说是被毒杀。）
整个过程，英国使者威妥玛不断恐吓清廷，要求停止新疆用兵，强调阿古柏是英国附属，信号左宗棠不断上书，据理力争，这才让收复新疆继续进行下去。
此时，沙俄与土耳其发生第十次俄土战争，金顺建议趁此机会收复伊犁，但左宗棠认为此时师出无名，反而会遭到沙俄诽谤，于是继续收复南疆。
8月，左宗棠大军接连收复东四城，西四城。
1878年1月，和田平定，至此整个新疆，除伊犁之外，全部收复。
至于为何留下伊犁不打，乃是因为当年沙俄侵占伊犁之时，本是宣布伊犁永久归属沙俄。
但后因克里米亚战争，沙俄虚弱，因此便不要脸说是因为新疆混乱，他们是帮助清廷稳固边境，只要新疆稳定下来，他们便归还伊犁。
只不过他们没想到，左宗棠那么快就把新疆平定。
左宗棠认为沙俄既然承诺在先，那就先通过外交手段和平解决，但沙俄并不认账。
最终，在沙俄的逼迫之下，清使崇厚签订条件极为苛刻的《里瓦几亚条约》。
左宗棠闻讯，立马上书陈述厉害，并说：“打了败仗，割地求和者不少，但现在一箭未发，就要放弃要地。就像是狗要咬人，拿骨头扔给它，等它吃完了，又要继续咬人。”
最终，清廷被说动，派出曾纪泽再次出使沙俄重新商谈条约。
此时左宗棠派兵分三路向伊犁挺进，为了表示血战到底的决心，这位已经六十多岁的老将命人打造了一口棺材，然后携带棺材，从肃州出发前往哈密以做后援。
沙俄闻讯，立马派兵坚守伊犁，并派出舰队，进逼华夏海域，压迫清廷。
清廷再次召回了左宗棠，但沙俄听闻左宗棠要回京城，反而担心同清廷彻底决裂，便在谈判桌上进行了让步。
最终，双方《中俄伊犁条约》和《陆路通商章程》，虽然比《里瓦几亚条约》的赔款有所增加，并仍割去了伊犁霍尔果斯河以西之领土，但终归是收回了伊犁的一部分。
对于这个条约，左宗棠很无奈，在腐朽清廷的统治下，能收回一部分，已经是罕见的情况了，但同时他也深感痛心。