下午鬼子又发动了炮击，这一次炮弹并没有爆炸，而是冒出了大股白烟，这是鬼子的毒气弹，17军、27军将士们纷纷用肥皂水或尿打湿的毛巾、口罩掩住口鼻，向后方撤退。来不及反应的将士倒在了战壕里，死状恐怖。很多将士把自己的喉咙都抓破了，睁大双眼。日军穿戴着防毒面具在毒气稍散时冲上一线阵地，有些还未咽气的士兵挣扎着拉响了手榴弹。
天空忽然下起了雨，毒气迅速消散。趁着这个机会，17军14军立即发起了反击。冲上一线阵地和日军肉搏，先期冲上阵地的日军穿戴着防护面具，视野受限行动有些不便。国军人数又占优，日军纷纷被刺倒。后续日军也冲了上来，两军在阵地上发生了大规模的肉搏，鲜血夹杂着雨水在战壕里汇集。经过半个小时的混战，国军将士终于把日军从阵地上赶了下去。就这半个小时的时间。国军阵亡3000余人。鬼子也不好过，损失超过了1200多人。
将士们迅速打扫战场，没死透的鬼子一一补刀，或者把他们扔到还有毒气弥漫的低洼处，让他们也好好感受一下他们自己的毒气。将士们又赶紧收集鬼子的防毒面具，武器弹药。
对于在中国使用毒气弹，日本后来解释说，他们在对待技术上落后的敌人时，没有把不遵守禁令视为问题。这种说法让人恨得牙根痒痒。
中路日军在这种天气下暂时无法使用毒气，又恢复了常规进攻方式，双方部队在这个狭窄的区域都都杀红了眼。
西线第3军、第14日军也遭到了第36、第37师团、独立混成16旅团的攻击。在防御战中，唐淮源的第3军和陈铁的14军虽然也遭到了日军的毒气袭击，但还是在顽强的抵抗下守住了阵地，消灭了大量的日军，自身的伤亡也很大。
在晋南阳城一带，日军第33师团为牵制国民党刘茂恩第14集团军，派部分兵力于5月7日向守卫在阳城西董封东西一线的第15军武庭麟部、第98军武士敏部发起攻击。由于这两个军作战勇猛顽强，日军不能攻克。
中条山守军有惊无险的度过了会战的第二天。外围的战斗也在进行，八路军虽然在前期扫荡中有不小的损失损，但还是应军委会、卫立煌之请，展开了根据地周边公路、铁路的破袭。庞炳勋二十四集团军一部南下填补27军调离留下的空档，向西威胁阳城，还向东派出小股部队东出破袭了平汉路。这些动作迫使日军抽出了一部力量。反而是阎锡山部一动不动，这其中有阎卫个人矛盾，也有地方与中央的派系矛盾。
攻击中条山的日军日子也不好过，两天下来，日军没有取得大的突破，日军伤亡已过7000人。日军中路突破，两翼包抄的战略构想没有实现，前期的渗透以及伞兵的突袭没有起到作用。国军防线看起来摇摇欲坠，但始终没有崩溃。老天又下起了雨，毒气弹的作用大为降低，运城、新乡的机场被炸，靠武汉或太原的飞机也不现实，航程太长，在中条山制空时间太短，况且还下起了雨。
日军现在有些尴尬，不打吧，华北派遣军制定的中原会战就会成为笑话，而且这个计划是在推迟了海军南进计划的基础上得来的。陆军不能承受失败的代价：海军鬼畜将耻笑陆军，在帝国的决策上也将更占优势。所以这个仗无论如何都要打下去。
第三天日军的攻势更猛了，两军多次爆发肉搏战，国军各战线都非常吃力，所幸将士们用命，捱到了夜晚暂时停战。卫立煌审时度势，命令东西两线晚间撤离到二线阵地休整。一线阵地埋上炸药，留下少部分部队。中线部队继续加强力量。
当夜一线大部陆续后撤到二线阵地后休整，逐步向垣曲靠拢，重伤的将士南渡去了洛阳。
第二天一早鬼子的大炮在夜色刚蒙蒙亮时准时响起，整整炮击了国军阵地半个小时，有些阵地上预埋的炸药都被引爆，鬼子们蜂拥冲上国军阵地。没有遭到太大的抵抗就冲了上来，国军战壕里到处都是尸体，日军没有起凝，在阵地上欢呼起来，躲在隐蔽处的国军赶死队起爆了阵地上的炸药，日军乐极生悲。炸起的泥土掩盖了国军的尸体。尸体太多，国军没有办法处理。
日军指挥官们在阵地前傻眼了，这是国军与他们死磕的节奏。日军死伤太严重了，东西战线都出现了这样的情况。光这一次爆破日军就损了小1000人。日军恼羞成怒，派出部队向前追击。在第二道防线遇到阻击，仓促进攻之下在二道防线又遭遇大量伤亡。日军停止了进攻，忙着处理到处都是的死尸和伤员，忙着后勤补给。
垣曲27军司令部，卫立煌正在这里常申凯电报联系。这4天的战斗激烈异常，中条山各条战线国军伤亡超过2.5万，日军也有1万多死伤，日军的攻击暂时得到了扼制，这已经非常不容易了。卫立煌有了退出中条山的打算，他心里清楚，如果日军铁了心进攻的话，要不他也不会把伤员全部转移到黄河南岸。国军在兵力2：1的情况下真心守不住。这还是在日军没有空军参战的情况下。如果日军空军参战，部队很有可能会崩溃。中条山相对于17万国军来讲，地域太狭小，又是背水而战，一个不小心，就有可能全军覆没。现在日军正在抢修机场，调集飞机。虽然中国空军冒死又轰炸了运城、新乡机场一次。但这始终是个重大隐患。
卫立煌向常中凯报告了自己的想法，正在等待常申凯的回复。
重庆黄山别墅里，常申凯在书房里来回踱步，他的本意是想保住黄河北岸唯一的桥头堡。但又不敢拿17万将士的生命当赌注。正当犹豫不决时，他想起了淞沪会战，为了等待国联开会制止日军侵略，让将士们坚守上海，失去了逐步撤退到锡澄国防线的机会，最后落了个溃败的下场。最后他下定了决心，吃一堑、长一智，同意了卫立煌撤退的主张。叮嘱卫立煌一定要制定好撤退计划，身为一个被政务耽误了的将军，也深知军队在撤退过程中的危险。