Googleのクラウドサービス、機械的判断で突然システムを停止
2018年7月8日 16:41
hylom 曰く、 風力・太陽光発電プラントの監視システムをGoogle Cloud Platform(GCP)上で構築・運営していた企業が突然アカウントを一時停止され、システムを運用できなくなるというトラブルが発生したそうだ(Mediumの記事、The Registerの記事)。 このシステムは、8か国にわたって設置された数百の設備を1か所で24時間/365日監視するという大規模なもので、状況に応じて発電量を調整するといったクリティカルな作業も行っていたという。 しかし、6月28日に全サイトがダウンしているとUptime Robotからの警告があり、Googleからは「potential suspicious activity (潜在的に疑わしい活動)」を検出したので全システムを停止したと知らせる電子メールが届く。その時点で既にクラウド上のアプリケーションやデータベースに接続できない状態になっており、カスタマーサービスチャットや電話連絡もできなかったそうだ。 Googleが検出した疑わしい活動はサービス料金の支払いに関するもので、クレジットカードと政府が発行したクレジットカード名義人の写真入り身分証明書の写真を3営業日以内にアップロードするよう求めていた。そこでシステムの運営担当者がカードの名義人に連絡を取って情報を送信したところ、20分後にはシステムが復帰したそうだ。このときはカード名義人のCFOにすぐに連絡が付いたため数時間のダウンタイムで済んだようだが、情報送付が遅れたらすべてのアプリケーションやデータを削除するとも記載されていたとのこと。 なお、これを報告しているユーザーによれば、AWSではサービスをブロックする前に警告し、ユーザーが事情を説明したり問題を解決したりする猶予を与える、より「人間的な」方法で決済に関する問題を解決するという。こういった問題が解決されない限り、今後新しいプロジェクトをGCPで構築することはないとも述べている。