就在这时，高遵裕、刘昌祚围困灵州城十八天却仍旧不能破城，早已粮饷不继，又值天降大雪，兵卒饥寒交迫，斗志渐渐衰颓，可谓进退维艰。粱太后见时机已到，便下令决开黄河七级灌渠，淹灭高遵裕围城大军。可怜宋兵十余万众，冻溺而死者不计其效，夺路逃生者仅有一万三干多人。这次大规模的伐夏行动（史称“灵州战役”），除李宪所部之外，其他各路大军均困于灵州，因粮草断绝，先后惨遭溃败，北宋王朝共计损失近四十万人。
战报传至朝廷，神宗大为恼怒。元丰五年（1082年）正月，降旨高遵裕责授郢州（今湖北钟祥）团练副使、本州安置；种谔、王中正、刘昌祚分别受到降职处分。
李宪未能率部及时赶到灵州相援，董毡所部也严重失期，两人均出师无功。同知枢密院孙固认为李宪未能如期会师，按律当处斩刑。然而在对李宪的处理上，神宗与朝臣发生了严重分歧。神宗认为李宪经营西北数年，功大于过，并且此役确实客观上保存了熙河路大军，于是只是诘问董毡失期的原因，对李宪以粮不济为借口而赦其无罪。
元丰五年（1082年）七月，宋神宗委派给事中徐禧、内侍李舜举巡边来到鄜延与种谔商议，准备在夏、银、石三州交界地段修建永乐城（又名银川砦，今陕西米脂县西）。又命李宪与徐禧掎角而守，互为应援。种谔认为此地依山而无水，有犯兵家所忌，不应当建城。神宗不听，反而下令徐禧率领蕃、汉兵民兴工修筑，并限十四天把城修好。徐禧筑起永乐城后，留下副总管曲珍领兵一万驻守。因为永乐城的修筑对西夏的确构成了极大威胁，加之夏人新胜，斗志正盛，于是从全国调发三十万大军前来攻打永乐城。徐禧同诸将登城西望，但见夏兵弥原遍野，难以看到边际。西夏骑兵“铁鹞子”也渡河来攻，势不可挡。
徐禧不懂军事，且贪功生事，以兵万人列阵城下，结果遭遇溃败，只得以残兵退入城中后。永乐城便被夏人团团围住，并切断了水源，城内士兵乃至于绞马粪汁以饮，渴死者大半。夏军又派出两支强悍部队截住了李宪、沈括两路援兵，种谔怀恨未予援救。随后，夏军乘雨夜急攻，永乐城终致陷落，宋军数万士卒阵亡，损失将吏二百三十多人，得免者十无一二。一心想在兰州建立帅府的李宪并非想要坐观永乐城陷落，但客观上既害死了徐禧，也损害了自己。夏人在攻破永乐城后，即遣重兵入侵兰州。
元丰六年（1083年）二月，西夏进犯兰州，首破西门关。兵马钤辖王文郁募集敢死队七百余人，在黑夜缒城而下，手持短刀突袭夏军营地，西门关得以收复。李宪因守城不力被降为宣庆使。李宪认为兰州地理位置极为重要，是西夏必争之地，尽管西夏曾经多次聚兵却假装平静无事，意在集结重兵以寻求时机大举进攻。因此，命令增修城守堑壁，积存城守器械，积极做好了守城准备。
次年冬，西夏果然大举进攻兰州，步骑兵号称八十余万。由于李宪做了充分发准备，西夏围城十余日而未能攻克，终因粮草不济被迫撤兵。神宗诏令李宪联系阿里骨夹击，他又遴选精骑追击，果然取得了胜利。但李宪在事后夸大战功，激怒了朝中大臣。御史中丞刘挚上疏神宗，终使其被罢去内省的职事。
元丰八年（1085年）三月，神宗驾崩，年仅十岁的宋哲宗继立，由其祖母、太皇太后高氏（高滔滔）临朝称制。
高太后为了平息众怒，于是先降他为永兴军路副都总管、提举崇福宫。次年，刘挚再上疏称李宪“贪功图名，屡于西北边疆滋生事端，罔上害民，贻患国家。五路会师兴州，李宪失期；夏兵围攻永乐，李宪羁而不援；后又屯兵兰州，遗患至今”，将其与王中正、宋用臣、石得一等三位宦官称为“四凶”，请求将他们罢黜。高太后见刘挚所疏，遂降李宪为宣州观察使、提举明道宫。
李宪一生征战西北，开疆拓土，其军事才能就是那些对其厌恶之人也不得不承认，《宋史》对他的评价是“宪以中人（宦官）为将，虽能拓地降敌，而罔上害民，终贻患中国云。
李宪之所以落得如此评价，都是党争惹得祸。
李宪是变法的积极附和者，也是重要的军事行动的参与者，并在其中发挥了至关重要的作用，也展现了其突出的军事才华，但这也是他的一大罪状。
在《续资治通鉴》当中，李宪的军功，统统变成“邀功生事，皆是积恶已久，罪不容诛”，甚至在《续资治通鉴长编》当中有更加恶毒的评价：宪劳民伤财以取不毛之地，灵武之期，永乐之援，以逗遛败事，不诛幸矣……。
开疆拓土在这些因为党争而变质的士大夫眼中成为了劳民伤财以取不毛之地！开边大捷成为了“贪功图名，屡于西北边疆滋生事端”！
悲哀啊！悲哀！赵宋的武人何其悲哀！
来看看这些士大夫的嘴脸吧！
刘挚：宦者李宪，贪功生事，渔敛生民膏血，兴灵、夏之役，首违师期，乃顿兵兰州，遗患今日。
苏辙：况自去岁以来，朝廷废吴居厚、吕嘉问、蹇周辅、宋用臣、李宪、王中正等，或以牟利，或以黩兵，一事害民，皆不得逃谴。
吕陶：至如章惇悖慢无礼，吕惠卿奸回害物，蔡确毁谤不敬，李定不持母丧，张诚一盗父墓中物，宋用臣掊敛过当，李宪、王中正邀功生事，皆是积恶已久，罪不容诛。
赵鼎：宪劳民伤财以取不毛之地，灵武之期，永乐之援，以逗遛败事，不诛幸矣……。
这些人有一个共同点-旧党！
再来看看两位中立人士的评价吧。
曾巩：比自临洮，率众躬将。摧殪丑虏，恢复故疆。鼓行羌中，屡以捷告。
王珪：朝廷以边事属押班（李舜举）及李留后（李宪），无西顾之忧矣。
以这两位的身份是犯不上拍李宪的马屁的。
这就是党争的悲哀！