等侍卫将李世民捆了起来，李渊又上前赶走侍卫。
一边给李世民松绑，一边哭着道：“我爱你，又怎么忍心将你送去江都给杨广杀呢！起兵的事情，为父答应你就是。”
《新唐书》卷1《高祖纪》：高祖留守太原，领晋阳宫监，而所善客裴寂为副监，世民阴与寂谋，寂因选晋阳宫人私侍高祖。高祖过寂饮酒，酒酣从容，寂具以大事告之，高祖大惊。寂曰：“正为宫人奉公，事发当诛，为此尔。”世民因亦入白其事，高祖初阳不许，欲执世民送官，已而许之，曰：“吾爱汝，岂忍告汝邪？”
既然已经下定决心起兵，李渊在李世民的建议下开始准备。
先是以讨伐刘武周、防备突厥南下为名，派李世民、刘文静、长孙顺德及刘弘基等人到各地募兵，一个月内便召集部众近万人，又暗中派人往河东蒲州召儿子李建成、李元吉至晋阳，准备起事。
再派人前往长安，让韩光、李秀宁择机在关中举兵响应。
然而李渊虽准备妥当，突厥仍旧是横亘在李渊称霸大业上的天堑，还有太原副留守王威和高君雅这两个障碍。
王威和高君雅看到李渊招兵买马，怀疑李渊要造反，便密谋骗李渊父子到晋祠祈雨，想要除掉他们，向隋炀帝邀功请赏。
不料，这一密谋被晋阳乡长刘世龙获悉，告知了李渊。
大业十三年五月十五日，李渊、李世民先发制人，指使鹰扬府司马刘政会告发王威、高君雅二人暗中勾结突厥，引突厥入寇中原，借此将二人囚禁。
五月十七日，数万突厥大军进攻晋阳，李渊立刻下令将二人斩首，对突厥大摆空城计，派部将王康达、杨毛等抄袭突厥，夺取马匹以充起兵之用。
随后，李渊派刘文静出使突厥，亲写书札，对突厥始毕可汗卑辞厚礼，始毕可汗回信，承诺支持李渊起兵。
《旧唐书·刘文静传》：高祖开大将军府，以文静为军司马。文静劝改旗帜以彰义举，又请连突厥以益兵威，高祖并从之。因遣文静使于始毕可汗，始毕曰：“唐公起事，今欲何为？”文静曰：“皇帝废冢嫡，传位后主，致斯祸乱。唐公国之懿戚，不忍坐观成败，故起义军，欲黜不当立者。愿与可汗兵马同入京师，人众土地入唐公，财帛金宝入突厥。”始毕大喜，即遣将康鞘利领骑二千，随文静而至，又献马千匹。高祖大悦，谓文静曰：“非公善辞，何以致此？
五月三十日，李建成、李元吉自河东到达晋阳，李渊再无后顾之忧。
与李世民、李建成和一众心腹制定出“废皇帝而立代王，兴义兵以檄郡县，改旗帜以示突厥”的战略。
六月，西河郡不肯跟随李氏起兵。
西河乃是兵家必争之地，太原南下的必经之途。从战略上讲，一旦太原有失，则西河便要担当起拒敌南下之大任。
李世民主动请缨，率三千玄甲军九日内破西河郡城，斩郡丞高德儒。
李渊大喜，李阀军心大振！！
自此李渊自称大将军，署置府僚，以李建成为陇西公，左领军大都督，领左三统军等；
李世民为敦煌公，右领军大都督，领右三统军等，各置官属。
李元吉为姑臧郡公，镇北大将军。
又“开仓库以赈穷乏，远近响应”，队伍大为扩张，“二旬之间，众得数万”。于是定下入关之计。
大业十三年（617年）七月五日，李渊自率甲士三万誓师，正式起兵。