鉴于长沙会战中的表现，第四师团成了日军的“丧门星”，哪个军都不要它，大本营只好将其改为直辖部队。这下第四师团的兵有的吹了：“老子当兵就在甲种师团，开战时属于关东军――精锐，仗打起来在十一军――还是精锐，最后十一军装不下我们了，只好改大本营直辖……”

“保命最重要”
第四师团虽说窝囊，但毕竟是甲种师团，老兵多。由于日军作战损失很大，急需补充老兵，便不时抽调第四师团官兵补充到其他师团。当时，日军各部的临别致词都有自己的特色，比如第二师团，战况较好时就说“武运长久”；情况不妙时就说“九段坂见”（靖国神社在东京九段坂）。然而第四师团的官兵告别时，却常说“御身大切”，翻译过来，即“保重贵体”、“身体第一”，或者干脆就是“保命最重要”。

日军在进攻衡阳和芷江时遇到中国军队的顽强抵抗。战斗一开始，来自第四师团的老兵又故伎重演，从军官、士官到老兵纷纷入院，消极但合理地拒绝作战。当负伤的日军士兵到医院的时候，那些“养病”的第四师团“前辈”们还要问：“你为什么要这样玩命啊？”当被问到自己为何不愿意参战时，这些“病号”却豪气冲天地说：“听说这次出击我们是担任佯攻的，这很没有意思，如果是主攻么，自然是要好好打一仗喽。”

1942年4月，第四师团被调往菲律宾，参加对科雷吉多尔要塞的最后攻击。这一仗第四师团一反常态地进展顺利，圆满完成任务，最终在巴丹半岛的美菲军全部投降。事后才知道这并不是第四师团的功劳，而是菲律宾的美菲军已被切断补给多日，靠“盐和青菜”活着已经好几个月了，一触即溃一点儿也不新鲜。此后，第四师团在日军战线后方不断调转，始终没有再参加大的战斗。

1945年8月日本投降时，第四师团正在泰国的曼谷附近休整。与其他不肯接受战败命运的日军部队不同，第四师团的投降与回国进行得异常顺利。当全体面色红润、身体健康的第四师团官兵出现在日本港口时，本土那些营养不良、形容枯槁的日本人都十分吃惊。统计下来，第四师团是日军南方军中战死最少、装备物资保留最完整的部队。美军对这个师团的评价是“爱好和平”。而第四师团回国后，也马上体现出这一特点来，回国后第二天，就有官兵跑到美军兵营前，整齐地摆开摊位，兜售起战争纪念品来。