​阿里云回应史上最大规模宕机故障：存在四大问题！

2022-12-26 13:09

通信世界网消息（CWW）12月18日，阿里云香港Region可用区C发生大规模服务中断事件，对很多客户业务产生重大影响，影响面扩大到香港可用区C的EBS、OSS、RDS等更多云服务。

一般来说，云服务器宕机只需要一个小时左右便能恢复，而阿里云这次宕机从18日早上8点56分首次检测到故障警告，到次日凌晨0点30分所有服务恢复正常，历时超过15个半小时。

这无疑是阿里云运营十多年来持续时间最长的一次大规模故障。

12月18日，阿里云第一时间对客户进行事件原因分析和维护的进展更新，同时态度诚恳并明确表态，对于受本次故障影响的产品，阿里云将根据相关产品的SLA协议进行赔付。

12月25日，阿里云发布关于阿里云香港Region可用区C服务中断事件的说明，

对故障情况进行了详细说明，并公布了整个处理过程，对问题进行了详细分析，还提出了改进措施。声明中阿里云表示，要向所有受到故障影响的客户公开致歉，并尽快处理赔偿事宜。此次香港Region可用区C服务中断事件，对很多客户的业务产生重大影响，也是阿里云运营十多年来持续时间最长的一次大规模故障。稳定性是云服务的生命线，对我们的客户至关重要。我们将尽一切努力从此次事件中吸取经验教训，持续提升云服务的稳定性，不辜负客户所托！

阿里云的公告显示，冷机系统故障恢复时间过长、现场处置不及时导致触发消防喷淋、客户在香港地域新购ECS等管控操作失败、故障信息发布不够及时透明是导致此次宕机时间长、规模大的四大重要原因。

值得注意的是，此次出故障的机房并非阿里云自建数据中心，而是租用的香港电讯盈科公司机房。目前，阿里云所租用的香港电讯盈科公司机房已修复制冷设备故障，阿里云香港地域所有可用区云产品功能已经全部恢复正常。对于受本次故障影响的产品，阿里云将根据相关产品的SLA协议进行赔付。

【声明全文如下】

北京时间2022年12月18日，阿里云香港Region可用区C发生大规模服务中断事件。经过复盘，我们在这里向大家进一步说明故障情况、问题分析和改进措施。

处理过程

12月18日08:56，阿里云监控到香港Region可用区C机房包间通道温控告警，阿里云工程师介入应急处理，通知机房服务商进行现场排查。09:01，阿里云监控到该机房多个包间温升告警，此时工程师排查到冷机异常。09:09，机房服务商按应急预案对异常冷机进行4+4主备切换以及重启，但操作失败，冷水机组无法恢复正常。09:17，依照故障处理流程，启动制冷异常应急预案，进行辅助散热和应急通风。尝试对冷机控制系统逐个进行隔离和手工恢复操作，但发现无法稳定运行，联系冷机设备供应商到现场排查。此时，由于高温原因，部分服务器开始受到影响。

自10:30开始，为避免可能出现的高温消防问题，阿里云工程师陆续对整个机房计算、存储、网络、数据库、大数据集群进行降载处理。期间，继续多次对冷机设备进行操作，但均不能保持稳定运行。

12:30，冷机设备供应商到场，在多方工程师诊断下，对冷塔、冷却水管路及冷机冷凝器进行手工补水排气操作，但系统仍然无法保持稳定运行。阿里云工程师对部分高温包间启动服务器关机操作。14:47，冷机设备供应商对设备问题排查遇到困难，其中一个包间因高温触发了强制消防喷淋。15:20，经冷机设备商工程师现场手工调整配置，冷机群控解锁完成并独立运行，第1台冷机恢复正常，温度开始下降。工程师随后继续通过相同方法对其他冷机进行操作。18:55，4台冷机恢复到正常制冷量。19:02，分批启动服务器，并持续观察温升情况。19:47，机房温度趋于稳定。同时，阿里云工程师开始进行服务启动恢复，并进行必要的数据完整性检查。

21:36，大部分机房包间服务器陆续启动并完成检查，机房温度稳定。其中一个包间因消防喷淋启动，未进行服务器上电。因为保持数据的完整性至关重要，工程师对这个包间的服务器进行了仔细的数据安全检查，这里花费了一些必要的时间。22:50，数据检查以及风险评估完成，最后一个包间依据安全性逐步进行供电恢复和服务器启动。

服务影响