1938年三月下旬，日军从南北两线夹击徐州，北线以矶谷师团和板垣师团为主力，也分两路进攻，矶谷师团沿津浦路南下，进攻临沂，然后到台儿庄与板垣师团会师。板垣师团则从青岛登陆后，直接向台儿庄进攻。两军会师后，向徐州进攻。

这时候国军第五战区指定防御台儿庄的是孙连仲的第二集团军，名义上是集团军，但是实际上只下辖三个师又一个独立旅，总兵力约二万五千人。孙连仲将池峰城的三十一师放在城内守城，其余部队则在城外两翼保护外围。日军以莒县为据点，派出一个旅团为主力的支队，配属各种炮兵和飞机，约上万人，进攻台儿庄。

因为台儿庄都是石头房子，外围又有石头城墙，名义上是村子，实际上像一个坚固的小城堡。日军不仅必须先攻破外围的城垣，进入城垣后还必须和国军守军逐屋争夺，进行巷战。外围的进攻比较顺利，日军以其猛烈的炮火优势，很快就迫使孙连仲的部队退守内城，依托城内房屋进行防御。

池峰城的三十一师约有六七千兵力，战斗持续了四五天之后，到三月二十六日，台儿庄内的房屋已经被日军攻占了三分之二到四分之三，国军只能退守东南一隅，顽强固守。到二十六日，虽然孙连仲不断从三十师抽调部队补充三十一师，仍然伤亡惨重，台儿庄岌岌可危。

池峰城眼看着台儿庄快要守不住了，请求孙连仲放弃台儿庄，退出城外。要是其他军阀部队，这时候就二话不说直接撤了，但是孙连仲并没有直接撤退，而是先请示了战区司令长官李宗仁。李宗仁表示，援军已经在赶来的路上，明天就可以到，你们不仅不能退，而且晚上还要组织反击，再坚持一天，等到汤恩伯的部队赶到，内外夹击，全歼日军。

孙连仲表示很为难，自己的部队坚持不住了，守都没有力气了，哪里还有能力反击。李宗仁说，重赏之下，必有勇夫，我给你十万大洋，你去招募敢死之士，组成突击队，晚上逆袭日军。孙连仲也是久经战阵的老将，知道这时候已经是最后五分钟了，谁能坚持住，谁就能赢。于是下令池峰城，必须死守，部队都打光了你就填进去，你死了我就去填。

池峰城一看这是死命令，也不做后退的打算了，一边下令部队继续顽强固守，一边按照李宗仁的命令，以重金招募突击队，很快组织起了一个八百多人的突击队。到晚上，日军以为国军已经是强弩之末，没有注意，国军摸进日军阵地，以手榴弹个大刀片为主要武器，与日军进行夜战和近战。日军猝不及防，被突击队的反击打得接连后退，最后只剩下了台儿庄四分之一的区域，进行防守。

第二天，汤恩伯军团赶到，先头是关麟征的五十二军，是国军中央军精锐部队，投入战斗之后，猛攻日军侧背，并且切断了日军从莒县向台儿庄增援的道路。台儿庄前线的日军陷入国军内外夹击，仍然顽强固守待援。日军增援部队始终无法突破汤恩伯军团的阻击阵地，在莒县的部队也几乎都已经投入了，后续增援部队尚未赶来，终于也没有力气了，只好下令台儿庄前线的部队突围，向莒县撤退。

台儿庄之战的有利之处在于，原定到台儿庄会师的矶谷师团在临沂遭到庞炳勋和张自忠的内外夹击，伤亡一万多人，仍未攻下临沂，最后突围去了峄县，所以未能按计划会师，而日军又很轻敌，以为国军此次都是地方部队，装备差，战斗力弱，所以不等后续部队到达就投入战斗。到前线后，又是以添油战术逐次投入兵力，最后困于坚城之下，被国军打出了抗战以来第一个大胜仗，消灭日军二万多人，两个精锐师团基本上被打垮，残部只能退守峄县和莒县死守待援。