守卫四行仓库的部队确实只守了4天就撤退了，不过他们撤退并非怕死，实际上在接到撤退命令时，他们还在加紧修筑工事，准备死战到底。八百壮士的撤退，主要还是政治因素造成的，淞沪会战进行到10月下旬的时候，因为日军在火力上占据绝对优势，我军在闸北区已经难以支撑。为了下一步抗战的需要，我军也有了撤出闸北重组防线的打算。不过考虑到国际联盟11月初将在日内瓦开会，期间将讨论日本侵华事宜，为了显示抗战决心，争取国际同情，蒋介石有意留下部分部队在闸北坚持抵抗，尽量争取时间。
守备市区坚固建筑物及郊区大小村落，寸土必争，要敌人付出血的代价；并相机游击，尽量争取时间，唤起友邦同情。
蒋介石原本打算让其嫡系88师留在闸北。不过88师师长孙元良认为此战留在闸北的部队势必要被牺牲，而且88师在此前的战斗中损失已经极大，经过多次补充，战斗力有限。既然只是政治需要，那么没必要牺牲如此多的部队，留下少量部队即可，这样可以保存力量长久抗战。
在孙元良的争取下，最后蒋介石改命令88师抽调一个团留守闸北。孙元良在执行时，认为牺牲一个团还是太多，改成了一个营，并选定了524团第一营执行这个任务。
谢晋元团附和四位连长上官志标、唐棣、雷雄、邓英的合影
尽管这个任务非常危险，可以说是十死无生，但是在接到留守守四行仓库的命令的时候，第一营还是坚决执行了任务。当时第一营部分部队因为驻守地方较远，没有接到命令，原本已经随着其他部队撤退。第二天得知一营的任务是留守闸北以后，他们依然选择了归队，可见抗日军队士气之高和必死的军心。
而且在进驻四行仓库以后，虽然日军并没有立即发动太大的攻势，但是守军认为自己将在此战斗到底，所以还是抓紧时间抢修工事。包括谢晋元团长、杨瑞符营长在内的423名官兵夜以继日地抢修工事。不少人是干着干着太累了就直接睡了过去，摔在地上醒了又继续干。为了保证长期作战，守军还特意囤积了水，以防止日军切断自来水管。
所以第一营当时是报了必死的决心来为接下来的战斗做准备的。
撤到租界的第一营
然而此时公共租界却提出了抗疫，他们认为第一营驻守的四行仓库和公共租界紧邻，战斗会影响到租界，于是英法等国通过外交途径向国民政府提出了抗议。
蒋介石原本是希望以此争取国际同情，却没想到弄巧成拙。他原本就对列强比较迷信也比较畏惧，英法提出抗议自然不敢怠慢，于是下令第一营立即撤退。
在接到撤退命令时，第一营并不是感到庆幸，而是非常失望。毕竟之前第一营拼命抢修工事，就是憋足了劲想和鬼子大干一场，现在却告诉他们都白干了，大家都有失落感。不过命令就是命令，第一营还是按照命令撤出了四行仓库。
被租界缴械羁押的八百壮士