大家好，我是猫铃铛。
很长时间没见了，特别不希望大家看到猫铃铛就觉得丧气，虽然事实总是如此。
这么长时间的维护事故，补偿固然重要，但给大家一个说法远比补偿本身更加重要。
这样的事故不应该发生，事故的出现不仅仅暴露了我们版本保障的薄弱的部分，同时也暴露了运营预案准备的不充分。
在我看来，维护、运营公告的准确性，及时性应该是运营的生命线。 但今天我们屡次未能保障它，除了懊悔，更多的还是反思。
更新严重延迟事件始末
今天早晨6:00，我们按照惯例拉起维护。 进行服务器和客户端的代码更新，按照操作规程，在此之前几天，我们已经备好各个渠道、商店、App Store安装包的提审，过审工作。
与此同时，我们也开启了游戏内的提示，本意是让大家可以借等待维护的时间到各大应用商店提前更新好自己的客户端，减少开服后更新的等待时间。
6:40左右，在大家陆续下载更新客户端的当口，我们观察到陆续有管理员反馈超量更新的问题。主要表现为客户端下载进度突破100%，超量下载了文件。
随着时间的推移，反馈的管理员越来越多。随着承诺维护时间的临近，我们和大家一样，也越来越焦急。 在这个过程中，由于我们难以得到稳定的环境去复现这个问题，导致我们也很难定位到各位管理员遇到的情况。
10:00，我们观察到越来越多的管理员使用流量下载客户端，并出现了占用比较多流量的情况。为了防止问题不断扩大，我们将更新引导切断，替换为故障公告，试着减少大家反复尝试导致的损失。
后来在测试吨的努力下，我们得以将问题的范围缩小到“覆盖更新客户端会出现，下载超过100%后若是结束游戏重新进入下载的内容大小不一”。
我们快速地响应了这个问题，修复完成并于14:00全力跑完了整个制作和提审的过程，但新的问题接踵而至。部分尝试删除客户端重新下载的管理员反馈新下载客户端也可能发生超额下载的现象。
16:30前后，在各位小伙伴的努力下，我们确定问题来源于我们在弱网情况下的故障容错处理不够到位导致。具体表现为当下载的过程打断、或处于弱网环境下，可能会存在部分文件下载失败。
新出现的问题迫使我们放弃前面的所有工作，重新制作整个客户端。
17:30，我们重新制作了完整客户端。此时距离我们先前和大家约定的18:00开服已经非常临近，在排查问题完成、重新制作客户端后，我们未能预留充足的时间给帮助我们审核上架的各渠道伙伴。
事实上直至现在他们也加班加点在帮助我们进行审核和准备。
18:00，综合考虑到各地审核存在的时差、新版本客户端上架后的复测，部署和维护的情况，我们决定将开服时间预留充分。尽可能避免再次出现问题，就此公告请大家明日再来访问。
截至发稿的现在。我们仍然全员都在，这对我们来说必定是一个不眠之夜。我们已经完成大部分渠道商店的审核或提审工作，也和支持我们的渠道商店小伙伴们一起高度配合，十分感谢他们也加班加点地给我们全力支援。
一些反思和抉择
事实上，16:30我们曾经有过一种考虑。如果我们引导大家卸载当前的iOS和安卓客户端，并在确保网络环境稳定的情况下再重新安装。这么操作，也许看到公告的管理员们就可以更早的进入游戏，同时我们也可以尽早开服。
但这想法很快就被我们自己否决了，这并不负责任。网络环境千变万化，许多时候极其严苛，常人很难判断。我们很难告诉大家这么做就绝对不会出现问题，更多的情况是我们作出了这个引导后，大家可能因为不同的网络环境导致仍然遇到超额更新的现象。我们作出这个引导可能会进一步引起大家的困惑。
而这一切的根源，则来自于一个本意是改善体验的举动。
2023年9月14日之前，我们每次大更新会导致大家的体验比较差。最直观的感受就是每次更新都要重新下载客户端。随着持续的运营的深入，我们尝试在不影响体验的情况下减少更新的频次，这改变了我们的更新逻辑。在过去的112天当中我们确实做到了减少更新频次， 但这也意外的成为了本次问题的导火索。
明天，也就是1月5日，我们将在各个商店提交我们制作的全新版本的客户端，并重新开启更新提示，引导大家将手中的客户端统一更新到最新版本，避免后续再次出现类似故障。
流量方面的问题，这一天下来我们想了许多办法。但现阶段客观因素让我们实在是很难照顾周全，十分歉疚，难以言表，但也唯有请大家海涵。
有点逆天
海
