障害情報

8/2 の障害について

 
Picture of Iseki Fumikazu
8/2 の障害について
by Iseki Fumikazu - Tuesday, 2 August 2016, 8:36 PM
 

8/2 の AM5:11 ごろ,JOGのメインサーバの数台が一旦落ちて,その後再起動した模様です.

離れた棟にあるサーバ(同じ種類)も同時に再起動しています(再起動していないものもあった).

恐らくは,瞬電かまたは電圧が不安定になったためだと思われます.

大部分のサーバ自体は自動で再起動しましたが,その影響でデータベース内のデータが壊れたらしく,リージョンサーバが再起動の最中に致命的エラーのメッセージを出して起動できなくなりました.

InnoDB形式のデータベースですので,時間と手間を考えて,8/1 AM5:00 のバックアップからデータベースを復旧することとしました.

本日は本業の仕事が忙しく,またデータベースのデータが90Gほどありましたので,読み込みに時間が掛かってしまいました.

8/1 以降の作業が取り消されたユーザの皆さんには,心よりお詫びいたします.m(__)m

今後は,データベースの二重化とテーブル単位でのバックアップ処理を検討します.