上海市区的战斗在10月27日的时候终于停止，日本人意识到中国军队真的放弃了他们坚守了两个多月的城市，都激动得有些颠狂。
很快，涌进上海市区的鬼子就发现在四行仓库里面还有一支没有来得及撤走的中国军队，在这些骄狂的日军看来，中国军队早就应该被他们打得丢了魂，四行仓库大楼里面的“残军”简直就是一份从天而降的战功。
于是各路日军由东向西蜂拥而至，都想在租界的西方人面前展示一下大日本皇军的军威。
没想到是，他们的第一次攻击就遭到了“八百壮士”的当头棒喝，冲上来的日军被谢晋元的部下用集束手榴弹炸的鬼哭狼嚎，鬼子为了挽回颜面，于是在大楼西北角纵火，结果烧着了附近民房，顿时浓烟滚滚。
日军借烟雾掩护再次起了攻击。可是他们的偷袭还是被打退了，日军的阴谋不但未能得逞，反而白白背了个纵火犯的罪名。
次日上午8时，日军在空军配合下发起进攻。敌机一队一队盘旋在四行仓库上空，企图投弹，由于四行仓库大楼顶部设有高射机枪阵地，敌机不敢俯冲轰炸。
高空投弹，又怕误炸了英租界，结果是投鼠忌器，在天上转来转去还是不敢扔炸弹，鬼子陆军又不敢使用重炮轰击，只好继续派步兵攻击。
日军虽然有“武士道“精神，但离开了飞机大炮就变得力不从心，四行仓库的守军居高临下一顿猛扫，杀得日军丢盔弃甲。
上海童子军战地服务团女童子军杨惠敏白天的时候看到仓库大楼的三面是太阳旗，一面是英国米字旗，心里十分不快，便于夜晚将一面新制的国旗紧紧裹在自己的身上，外面再罩上制服，利用夜幕的掩护，跑一阵，爬一阵，终于摸进了大楼。
当满身灰尘的杨惠敏脱下外衣，把浸透汗水的国旗献给官兵时，谢晋元和他的部下都激动得流下了热泪。
谢晋元立即吩咐准备升旗。因为屋顶没有旗杆，便临时用两根竹竿连接扎成一根旗杆。
当曙色微露时，楼顶平台上站立着十几个官兵，面对升起的国旗，举手敬礼。没有音乐，没有排场，更增添了神圣肃穆的气氛。升旗仪式结束，谢晋元亲自送杨惠敏返回。当杨惠敏冒着枪弹冲过马路，跃入苏州河时，苏州河畔租界区站满了人，纷纷向着四行仓库屋顶迎风招展的国旗欢呼。向孤军守卫仓库的勇士们表达敬意。
10月29日，日军公开宣称已全部占领苏州河北岸地区，与此同时，鬼子以坦克和战车为先导，派出大批步兵再次扑向四行仓库。
当日，谢晋元给他的师长孙元良写信，新力面报告这几天的战况及他的决心：
“元良师长钓鉴：
窃职以牺牲的决心，谨遵钧座意旨，奋斗到底。
在未完全达成任务前，绝不轻率怠忽，成功成仁，计之熟矣。工事经三日夜加强，业已达到预定程度。任敌来攻，定不得逞。二十七日敌军再次来攻，结果，据瞻望哨兵报告，毙敌在八十人以上。二十八日晨六时许，职亲手狙敌。毙敌一名。河南岸同胞望见，咸拍掌欢呼。现职决心待任务完成，作壮烈牺牲！一切祈释钧念。
职谢晋元上
二十九日午前十时于四行仓库”
30日凌晨，日军又一次起进攻，战斗一直持续到晚上，日军始终未能靠近四行仓库大楼。
在连续四天的血战中，谢晋元率领“八百壮士”顽强抗击日军进攻，牺牲10余人，30余人受伤。毙敌百余名。四行仓库的战斗吸引了无数的目光，国内和国外的报纸都登出了“八百壮士”血战四行仓库的消息。
有人据此编了一首《八百壮士之歌》，广为传唱：
“中国不会亡，中国不会亡，
你看那民族英雄谢团长；
中国一定强，中国一定强，
你看那八百壮士孤军奋守战场；
四面前是炮火，四面前是豹狼，
宁愿死，不退让，宁愿死，不投降，
我们的国旗在炮火中飘扬！飘扬！
八百壮士一条心，十万强敌不敢挡，
我们行动有力，我们志气豪壮。
同胞们起来！同胞们起来！
快快赶上那战场，
拿八百壮士做榜样，
中国不会亡！中国不会亡！”
每天，苏州河南岸给八百壮士呐喊助威的观战者就有好几万人。国民党元老廖仲恺的夫人何香凝女士得知消息，专程来到苏州河畔，向四行仓库的勇士们遥致敬来。
租界工部局的英军司令史摩莱特也翘起大拇指：“我参加过欧州战争，也没有见过这样英勇的军队。“
一些国际人士赞佩之余，连呼“奇迹“！上海各界群众以各种方式援助守军。
南岸租界的岸边，面包、果、水果、罐头等食品堆积如小山。市民们冒着流弹，隔河向仓库投掷食品。
日军拿谢晋元和中国勇士们没有了办法。于是开始使用一些卑鄙的手腕，在日本人的外交活动下，英国佬动摇了，他们借口租界内新垃圾桥南耸立着巨大的煤气筒，距四行仓库不过数十米，为租界数万居民安全计，请谢晋元部撤离，并表示愿意帮助他们进入租界。
10月31日午夜接到了南京的命令，谢晋元率部在英军配合下，冲过北西藏路，由新垃圾桥进入英租界。
“八百壮士”依依不舍带着遗憾离开了奋战四天四夜的四行仓库。他们讲入了租界的军营，他材佩收缴了武器。
日本人又一次用他们的小手段达到了他们的目的。蒋委员长打算让谢晋元坚持到九国公然会议召开的计划也泡了汤。
华毕成也想过利用青帮老爷子对租界里面的谢晋元和八百壮士实施援救，可是上海目前的局势乱得厉害，日本人二十万大军压境，以前老爷子很容易办到的事情现在也变得有了难度。
之前特战队长陈东一直嚷嚷着，要师座派自己率特战队去协助防守四行仓库。被华毕成断然否决，特战队不能浪费在这种没有任何实际意义的战斗中。四行仓库的战斗虽然鼓舞人心，可如果全国同胞知道这蒋委员长只是打算让这些勇士们坚持到九国会议召开，引来国际调停，恐怕心情就大不一样了。
更别说现在谢晋元的知名度如此之高，日本人和外国人都牢牢的盯着谢团长，一刻也不放松。
接下来的几天，日军第3、第9师团的主力，同中国守军在梵王渡至南翔附近的苏州河上，展开了战斗。