两人懈于政务，把事情全部交给底下官吏去办。谁要做官，如果不去结交他们的亲戚子弟以及主书卓英倩，根本连想都不要想。
代宗容忍了他们多年，也曾多次劝诫、提醒，但他们却毫无悔过之心，依然我行我素。
代宗处处受到他们掣肘，逐渐起了杀心，想要除掉他们。但也知道这两人在朝中经营多年、党羽众多，担心身边人泄露出去打草惊蛇，便只与自己的舅舅、左金吾大将军吴凑暗中密谋。
恰好有人举报元载、王缙在夜间私设祭坛祈祷，有图谋不轨之心。三月二十八日，代宗亲临延英殿，安排吴凑指挥金吾卫在政事堂收捕了元载、王缙，又将元仲武、卓英倩等亲戚朋党一网打尽关入狱中。
代宗让吏部尚书刘晏、御史大夫李涵前往审讯，由于证据确凿，元载、王缙认罪伏法，并供出了宦官董秀。
董秀是鱼朝恩死后代宗新近提拔起来的宦官头目，接替鱼朝恩主管内侍省，并加封左卫将军。他收受了元载大量贿赂，负责向元载提供代宗行踪。代宗知道后，当天就让人在宫中用刑杖打死了董秀。
元载被赐自尽，临死前哀求行刑官员让他少受点罪。行刑官员微笑着说：“相公您恐怕得稍微受些侮辱，您可千万别怪我。”随即把自己的脏袜子脱下塞入元载口中，逗弄嘲笑了一番，才用绳子将他勒死。
王缙也被判处自尽，刘宴、李涵在代宗面前替他讲情。代宗鉴于首恶元载已死，且念其平定河东有功，赦免了他的罪行，将他贬为栝州（今浙江丽水）刺史。后又调入京城，担任太子宾客等闲职，四年后病故，活了八十二岁。王缙的哥哥就是我国历史上着名的诗人、画家，王维！
元载妻子王韫秀出自太原王氏，父亲是玄宗时期一人身兼四节度的名将王忠嗣，但她却一点大家闺秀的样子都没有，素以凶狠暴戾闻名于世，在她的纵容下，几个儿子横行不法。元载事发，她与儿子元伯和、元仲武、元季能均被处死。
主管部门在抄没元载家产时，仅胡椒就搜出了八百石（约为42吨），其它奇珍异宝可想而知！
四月初二，元载的朋党吏部侍郎杨炎、谏议大夫韩洄、包佶，起居舍人韩会等人都遭到贬官处理。代宗原想将他们一并处死，经吴凑反复劝谏才从宽发落。
杨炎才能卓越，元载将他一手提拔起来，本想用他接替自己。坐罪贬官后，他在德宗期间得到重用官至宰相，因行事风格过于偏激，最终惹出了泾原之变。
代宗余怒未消，派使者前往元载家乡，刨开了元载的祖坟，毁掉了他的家庙，公开处决了卓英倩等人。
卓英倩的弟弟卓英璘倚仗哥哥势力，横行于乡里，听到卓英倩入狱，他聚众作乱，被金州（今陕西安康境）刺史孙道平击败擒斩。
元载与他之前的大唐历任宰相不同，他出身寒微没有任何背景，纯靠自己努力一步步跻身相位。他在权力的大染缸中迷失了自己，为了当官不惜依附权阉李辅国、程元振、鱼朝恩、董秀，贪婪无度不知进退，最终落个身败名裂、举家被杀的可悲下场！