但是，不杀皇子是一回事，储君之位是另一码事。
刘义隆也认为应该剥夺刘劭储君身份，另立太子。
他首先想找来商量这件大事的人，不是首宰徐湛之，也不是次宰江湛，而是前女婿、吏部侍郎王僧绰。
但王僧绰只是吏部侍郎，级别差了点。刘义隆于是下旨，升王僧绰为侍中。
侍中是皇帝身边谋臣，级别、地位都在各部首脑之上，相当于过去的副丞相。
琅琊王家发展到如今，也经历过挫折，家训中加了一条是“内敛外和”。
王僧绰堂兄王微得知王僧绰晋位，对他说：“僧绰，身为驸马都尉，公主新逝，你这权势过了。”
王僧绰于是觐见皇上，上表谢恩时，请辞朝廷职务，恳求皇上将自己外放广州刺史或吴郡太守。
但皇帝拒绝了他。
刘义隆让太监、侍卫、宫女全部退下，问王僧绰：“太子失德犯禁，如果说他不配君临天下，爱卿看哪位皇子才德堪为储君？”
王僧绰躬身行礼道：“回皇上，立储这等事，应由陛下一言以决，不须与臣子商量；如果皇上有了废太子之心，则应速废速立，不要犹豫；如果皇上拿不定主意，则应一切如常，太子尊严不容冒犯。皇上，北主拓跋焘、太子拓跋晃、新君拓跋余的教训犹在眼前啊！”
刘义隆叹道：“你的话很对。太子找巫师入宫诅咒朕早死，实在大逆不道，按说当斩。但太子做了30年储君，以前也没大错。庶人刚死不久，如果朕重惩太子，不好对天下人交代呀。”
刘义隆嘴里的庶人，就是前彭城王刘义康。
王僧绰听出皇帝不愿对儿子们下手的意思，于是道：“皇上既如此说，那依微臣之见，此事暂时也没张扬出去，那就先不理会吧。”
刘义隆立即道：“朕也觉得先观察观察，看看再说。”