李渊不听从李世民的劝阻，坚持要撤军返回太原。
撤军命令已下，李建成属下左军将士，多由太原府兵组成，一个个归心似箭，即刻开拔起程。
李世民决心劝说李渊回心转意，他严令属下右军原地不动，等候他最后的命令。
此时雨势正急，看到左军开拔，李世民心急如焚，他急忙到中军大帐再去劝说父亲李渊。
然而天色已晚，李渊已经就寝，守卫军士不让李世民进入帐中。
李世民无奈，跪于帐前失声痛哭。
风雨交加，哭声呜咽。
雨水和着泪水顺着李世民的脸颊流淌。
想到撤军之后，灭隋大业恐将无法实现，李世民悲从中来，号哭之声越发凄惨悲切。
李渊在帐中听到李世民号哭之声心中有些恼怒，他将李世民召入帐内，责问李世民，“男儿有泪不轻弹，你在军中却作此妇人之态，成何体统？”
李世民理了理被雨水淋湿的头发，昂然回道，“我只所以如此悲痛，是觉得我们父子死期近矣。”
李渊以掌怒击几案，斥道，“胡闹。”
此时，帐内只有李渊、李世民父子两人，李世民也不再顾忌，如再退让，必将酿成大错。他毫无怯意，向李渊发问，“这数万大军回师之后，阿爷将如何安置？如无战事，每月要消耗多少军粮？”
李渊尚未想过此事，见李世民发问沉吟不语。
李世民向李渊分析，“如若刘武周不进犯太原，数万大军仍需日日耗费军粮，日久则无以为继，阿爷将不得不将他们遣散。但遣散之后，再想召集收拢将非易事。到时候南有朝廷派兵征剿，北有突厥、刘武周强敌来攻，则是我们父子的死期到了。”
李渊听后瞿然而醒，慌忙道，“如今大军已经开拔，该怎么办？”
李世民回道，“右军尚未起营，左军刚走，估计不会太远，我去将他们追回来。”
李渊此时才脸上露出笑容，对李世民道，“我等的成败如今系于你一身，只有按你说的去做了。”
得到李渊的首肯，李世民连忙出帐，安排长孙顺德、刘弘基、窦琮严加节制右军，自己则和段志玄连夜去追回出发的左军。
七月二十八日，沈叔安等人从太原郡返回，运来了军粮。
八月初一，秋雨停止，天气转晴。
八月初二，李渊命凉晒铠甲、军械、行装。李世民和段志玄再次乘夜亲自到霍邑探查，宋老生蜷缩城中不出，大路、山路都未设防。李世民庆幸宋老生不会用兵，为李渊的军队攻打霍邑留下了可乘之机。
八月初三凌晨，李渊率全军一早开拔。
走到路上，李渊仍在担忧，深恐宋老生据城坚守，不肯出城作战。
李世民笑着让李渊放心，“宋老生有勇无谋，我们只要按拟定的计策行事，他定会出城迎战。”
午时未到，大军行至河弯谷口之处，李渊命部属舍却大路，改走山路，在密林遮蔽之下，向东南而行，赶往霍邑县城东门。
下午未时，李渊率数百轻骑先至霍邑城东，离城五六里处停下，等待后续部队。
在等待后军之时，李世民、李建成各率数十骑，从城东巡视到城西南，并在城南各处指指点点，似是商议如何在城南扎营。
霍邑城内，宋老生已得知李渊率军到来的消息，他没料到李渊来得这么神速，而且是未到北门，直接来到东门，看样子还要在城南扎营，有从北、东、南三面合围霍邑之势。
霍邑城西面临汾水，秋雨连续下了半个月，如今水势正急，假如李渊的军队在城南扎营，将截断霍邑通往河东的唯一道路，霍邑就成了一座死城。
宋老生是从四品的武牙郎将，出身寒微，这几年以讨捕小股盗贼累积军功，得以升迁，以前从未经历过大的战阵，对兵法谋略一窍不通，是一介有勇无谋的武夫。
如今宋老生在城上看到，李渊的军队正源源不断地赶到东门，先头部队在城南查看地形，准备扎营断他后路，他心中焦急万分，急令城中军队集结，从东、南两门领兵出城，城中守军几乎倾巢而出，在城东摆下军阵，和李渊的军队形成对峙。
李渊命步兵居中，李世民领右军骑兵在南，李建成领左军骑兵在北。
李世民准备截断，霍邑守军撤向南门的退路；李建成准备截断，霍邑守军撤向东门的退路。
李渊、李世民和李建成提前已有考虑，如果宋老生背靠县城而战，离城太近，他们的计策就不好施行。所以要诱使宋老生率军远离城池。
宋老生率军出城之时，李渊命军队慢慢后退，做出胆怯之状。
宋老生见“义军”后撤，以为对方害怕自己，命军队前压，离城一里多地之后才摆下军阵。
霍邑守军立足未稳，李世民率骑兵从南面杀出，攻击守军南面侧翼和西边侧背。同时截断守军撤往南门的退路。
李建成率骑兵从北面杀出，向西直取霍邑城东门，同时攻击守军北面侧翼。
李渊率步兵，从东面向北冲杀。
战鼓未响，兵刃已接，冲杀之声响彻云霄，“义军”瞬间对霍邑守军形成四面包围之势。
战不多时，李渊命人大喊已斩杀宋老生，霍邑守军闻听以为是真，军心大乱，争先恐后逃向城门。
然而，通向南门的路已被李世民所率骑兵截断，通向东门的路已被李建成截断。
困兽犹斗，被围的霍邑守军，仍铺天盖地涌向东门，李世民、李建成率骑兵在西面截杀。
李世民与段志玄并马而战，斩杀逃向东门的守军。他骑腾霜宝马左冲右突，手刃敌军士卒数十人，双袖皆被鲜血染红，脸上满是血污。
面对仍然不断涌上来的霍邑溃军，李世民勒马扬槊，高声断喝“进前者死”，犹如一尊煞神。溃兵惊惧，再不敢向前。
宋老生见军心已乱，也无心再战，纵马驰向东门，然而此时城门已闭。宋老生来到城墙之下，向城上呼喊，城头守军垂下绳索，宋老生下马，准备跳进护城河攀着绳索上城。
就在些时，刘弘基驾夜魅宝马急驰而至，挥槊击其头上，宋老生脑浆迸溅，轰然倒地。刘弘基下马，取刀斩下宋老生首级，挑于槊上，驱马绕场高呼“宋老生已被斩首！”
霍邑残兵败将见统帅已经授首，皆已心惊胆寒，纷纷抛下兵器向“义军”纳降。
“义军”未时到达霍邑，申时两军刀兵相接，从开战到城外战事结束，不到半个时辰。
城外战罢，全军将士士气正盛，李渊命继续攻城，没有攻城器械，官兵皆徒手攀城而上。守城的只剩少数老弱残兵，纷纷不战而逃。
“义军”申时开始攻城，酉时便占领整个霍邑。
日暮时分，李世民信步登城。
正是红日西沉，远山如黛，残阳如血。
城头之上，遍插绛白两色旌旗，秋风徐起，李世民身上征袍汗渍血污渐干，微觉丝丝凉意。
举目东望，数里之内，尸横遍野，残肢满地。
刚刚还是杀声震天的四野，如今已归于沉寂。
天际倦鸟归林，军角呜咽，如泣如诉。
李世民看满地僵尸相枕，感慨万千生命于旦夕之间魂归他处。
乱兵之下，善恶不分，刀剑无情，忠奸不辨，但凝思细想，一场恶战结束，不知又有多少父母失去了儿子，多少家庭失去了家中的梁柱。
跃马冲杀之时，豪气干云，如今静思，黯然神伤。
李世民在心中祈愿，但求此战立威之后，少些殊死搏杀，大军所到之处，各处守军都能望风而降。
八月初四，李渊慰抚霍邑城内官员百姓，对于宋老生部下属众，一律予以免罪，按照相应的级别授予官职。挑选身强力壮的男丁劝其从军，对于家在关中，想要归乡者，全部授予五品以上的散官，让他们返家。
对战败身死的宋老生，也不丝毫轻侮，采用四品官员的礼节予以安葬。
战俘降将一个个喜获新生，无不欢悦鼓舞，愿意跟从效命。
慰抚完霍邑官员百姓，军旗南指，大军继续向南。
八月初八，临汾不战而降。
八月十二日，到达绛州，郡守陈叔达不降，率兵拒守。
八月十三日，李渊命义军卯时攻城，不到两个时辰，占领全城。
郡守陈叔达及其部下，自缚见李渊请罪，李渊如同什么事都没有发生一般，没有责罚任何人，各级官员仍各按原来的职务任命官职。
八月十五日，到达龙门。
按照李世民的计划，不攻打河东屈突通守军，而是从龙门向西，经汾阴渡黄河，过黄河之后，再经韩城、郃阳，直接占领永丰仓。然后兵临长安城下。
对于下一步的进军路线，“义军”将领有不同意见。
裴寂认为应当选攻下河东，再挥兵西进。