8/2 の AM5:11 ごろ,JOGのメインサーバの数台が一旦落ちて,その後再起動した模様です.
離れた棟にあるサーバ(同じ種類)も同時に再起動しています(再起動していないものもあった).
恐らくは,瞬電かまたは電圧が不安定になったためだと思われます.
大部分のサーバ自体は自動で再起動しましたが,その影響でデータベース内のデータが壊れたらしく,リージョンサーバが再起動の最中に致命的エラーのメッセージを出して起動できなくなりました.
InnoDB形式のデータベースですので,時間と手間を考えて,8/1 AM5:00 のバックアップからデータベースを復旧することとしました.
本日は本業の仕事が忙しく,またデータベースのデータが90Gほどありましたので,読み込みに時間が掛かってしまいました.
8/1 以降の作業が取り消されたユーザの皆さんには,心よりお詫びいたします.m(__)m
今後は,データベースの二重化とテーブル単位でのバックアップ処理を検討します.