【重要】サーバのディスク障害についてのお詫びとご報告 2011.02.05

　
　
【障害の状況と経緯について】
　
・2/5(土) am 1:00 頃から急に サーバが異常状態 となり、
　サービスが継続不能となりました。サーバ再起動を行ったところ、
　ディスクの整合性に異常があり、整合性チェックを何度行っても
　回復しないどころか悪化の様子が見られるという事態に陥りました。
　
・2/5(土) am 2:00 頃からHTTPリクエストの転送先を急遽サブサーバに
　変更し、全てのリクエストに 503とお詫び文 を返すように設定しました。
　
・2/5(土) am 1:00～am6:00 頃まで、繰り返しディスクの整合性チェック
　を行う一方、復旧不能の可能性を考え、デイリーバックアップのデータ
　を用いたリカバリの準備も並行して進めていました。
　
・2/5(土) am 6:00 頃、このままでは復旧は見込めないとの判断に至り、
　デイリーバックアップ のデータを用いたリカバリを行うことを決定。
　受け口となるサーバについては1月に購入した新サーバに完全に切り替え、
　2/4(金) am 5:00 時点のDBバックアップを元にリストアを行いました。
　
・2/5(土) am 11:00 頃、デジ埋ブログ、あまとも、コミックダッシュ、
　メガとんトラックのHTMLページやCGIの動作確認がほぼ完了しました。
　
・2/5(土) am 11:30 頃から新サーバを使って サービスを再開 しました。
　ただし、ページの表示やユーザ操作の部分だけが完了している状態で、
　価格チェック、新刊チェックなどの自動各種バッチプログラムについては
　これから 段階的に復旧予定 となります。
　
　
【お詫びとご注意】
　
・前述のデイリーバックアップからの修復を余儀なくされたため、DBの状態が
　2/4(金) am 5:00 の状態に巻き戻って の再開となってしまいました。
　2/4(金) am 5:00 ～ 2/5(土) am 1:00 の約1日の間に行われた
　ユーザ様によるデータ更新操作が結果的に取り消された形となります。
　
　このような事態を招いてしまい誠に申し訳ございません。
　この間にご登録を頂きましたユーザの皆さま、またコミックの追加や
　ウォッチリストの更新などをして頂いたユーザの皆さまには、
　各サイト上で再度同じ操作をお願いすることとなり、大変申し訳ございません。
　
・前述のとおり、現状は暫定復帰の状態となり、最低限の表示と
　更新作業だけを行えるようにした状態となっています。
　
　・あまともの価格チェック
　・コミックダッシュ！の新刊情報更新
　・メガとんトラックのニュース更新
　
　など、サーバ側で定期的に実行している バッチプログラム については
　これから時間を掛けて復旧作業を行う予定となっております。
　ここ数日の間、データの更新が不安定になる可能性がございますが、
　何卒ご容赦を頂ければ幸いと存じます。
　
このたびは大変申し訳ございませんでした。
引き続き復旧作業に尽力し、経過をご報告いたします。