李世民坚持说：“我的话也不能全推翻，你们再商量一下！”

尉迟敬德说：“大王今天一直犹犹豫豫，没有了过去的智谋；面对危难，不能迅速决断，也失去了往日的勇气。我已经把大王平时训练的八百名勇士，全部调进来了，他们全身披甲，手拿武器，正在待命。事态已到了这一步，大王怎么能够中止呢！”

李世民又询问秦王府其它谋士们的意见。大家一致认为：李元吉凶狠暴戾，决不甘心臣服李建成，迟早也会杀害他。那样国家必定大乱，只有秦王出来，才能收拾局面。现在不如抢先一步，除掉李元吉。而李世民还是不能下决心，又命令用卜卦来决定。正巧谋士张公谨从外面进来，抓起卜卦用的龟壳扔到地上，说：“事情无法决断时，才需要请示神明，现在已经只剩下一条路可走了，还卜什么卦？卜卦的结果如果不吉利，难道就束手待毙吗？”

经张公谨这一说，李世民才下定了决心。他叫长孙无忌去请房玄龄、杜如晦一块来商量如何行动。房玄龄对长孙无忌说：“皇上有规定，我不能再听秦王的命令，否则要被处死，所以我不能去见他。”长孙无忌回来一说，李世民大怒，对尉迟敬德说：“房玄龄、杜如晦，难道也要背叛我？你拿我的佩刀去，他们如果真不肯来，就砍下他们的头来见我！”尉迟敬德同长孙无忌找到房玄龄，对他说：“大王已经下决心动手了，你最好快点回去，共同策划。”为了不引起怀疑，房玄龄和杜如晦改换了道士服装，几个人分头进入了秦王府。

唐高祖武德九年（626年）六月三日，李世民开始行动，他先去见李渊，控告李建成、李元吉种种罪行，并且说：“我对兄弟，没有一点对不起的地方。可是他们却在谋划杀害我！这简直是为我们的敌人报仇。如果我被冤枉害死，鬼魂到了地下，简直没有脸去见被我杀掉的那些盗匪啊！”

李渊听了大吃一惊，但他还没意识到即将发生流血政变，安慰李世民说：“明天我会把事情弄清楚的，你最好早点上朝来。”

六月四日，一大早，李世民就率领长孙无忌等人入朝，在皇宫的北门玄武门埋下伏兵。这时皇宫内已经有人把李世民控告李建成、李元吉的消息，透露给了李建成。李建成忙找李元吉商量。李元吉说：“赶快下令我们所控制的军队集合待命，你就借口生病，不要入朝，先看看形势的变化再做决定。”

李建成说：“我已经命令护卫军出动，现在沿途戒备森严，我们还是一块上朝去看看事情会弄到什么程度吧，”于是两人一块入朝。

这时，李渊已召集了几个大臣。在研究怎么处理李世民对李建成的控告。

李建成、李元吉向玄武门进发，走到临湖殿时，就发现情况不妙，两人立即拉转马头，向太子宫奔逃。李世民在后边拍马追上，高呼：“大哥！”

李元吉转身搭箭拉弓朝李世民射去，他因过度紧张，三次都没把弓拉满，结果箭只射到半途就落地了。李世民却瞄准了李建成，一箭就把他射死了。尉迟敬德也领着70名骑兵赶来，从左右射击李元吉。李元吉从马上栽了下来，却把李世民的马吓得狂奔，结果被树枝挂住，李世民摔倒在地，一时爬不起来。这时李元吉却冲了上来，夺过李世民手中的弓，打算勒死李世民。幸亏尉迟敬德飞马赶到，李元吉掉头逃命，但还是被尉迟敬德射死。

这时，太子李建成府中的部将，已经率领二千精锐部队，攻到了玄武门，同守卫玄武门的禁卫军发生战斗，双方死伤惨重。太子军见一时攻不下玄武门，便扬言要去攻占秦王府。正巧，尉迟敬德提着李建成、李元吉的人头赶到了。太子军见李建成已死，便一哄而散，逃到终南山当土匪去了。