Веб инженер Google Cloud уронил часть облака, случайно отключив оборудование

Сетевой инженер Google Cloud устроил ошибка, случайно отключив от сети оборудование, которое обслуживал. Сервисы компании работали с перебоями некоторое количество часов.

По данным Google, проблемы начались в 07:41 по тихоокеанскому времени. В разгар инцидента объём трафика в пострадавшей области упал на 100%, виртуальные машины были недоступны. Ошибка повлиял на работу Compute Engine, Kubernetes Engine, Cloud Run / Google App Engine, AlloyDB для PostgreSQL, Google Cloud Bigtable, BigQuery, Google SecOps SOAR и множества других сервисов. 

Их работу удалось восстановить в 11:52. Как объяснили в компании, причиной стало отключение оптоволоконных кабелей: веб инженер последовательно отключил все кабели в течение 13 минут, по всей видимости, невнимательно прочитав инструкцию. 

Как объяснили в Google, при проектировании облачных дата‑центров в компании предусматривают защиту от двойных и даже тройных сбоев, и большинство их них не влияет на трафик клиентов. 

«Чтобы обеспечить такой уровень защиты, оптоволоконные линии физически разделены в каждом ЦОД и имеют разные источники питания», — поясняется в отчёте об инциденте. Однако и такую защиту можно обойти, просто вытащив все кабели.

В компании отмечают, что, обнаружив ошибка, трафик перенаправили с отключённых маршрутизаторов на работоспособные мощности в других частях региона. Затем кабели вернули назад, скорость нормализовалась, и трафик был перенаправлен обратно для восстановления работоспособности сети.