コミックダッシュ!他、サービス一時不具合のお詫び(7/16 am 4:14~11:44)


本日 7/16(月) am 4:14~11:44 の7時間半の間、
「コミックダッシュ!」「あまとも」「メガとんトラック」のサービスが
「Internal Server Error」となって閲覧できない現象が発生しておりました。
ご利用を頂いておりました皆さまにはご迷惑をお掛けいたしました。
 
私が起きている時間には大抵、PCの前で動作確認をしていますので
この手のトラブルにはすぐに気がつくのですが、このときはちょうど
私が起きていない時間で発見までに時間が掛かってしまいました。。。
 
原因を調べてみると、エラーログには mod_perl のモジュールリロードで
大量のエラー が出ていることが判明しました。が、どこを直すでもなく
apacheを再起動するとケロっと直ってしまうところが何やら不自然です。
 

 
実はその直前、am 3:48~4:55 に妙な現象がありました。私はサーバの
状態を調べるために sar のログ を1分おきに保存しているのですが、
その保存用バッチが「ログファイルに書き込めない」といって1分ごとに
エラーを吐き始めたのです。そのときはアラームがメールで届いたので
異常事態に気づきました。その書き込み先ファイルのパーミッションは
どこもおかしなところはありませんでしたし、rootで実行しているもの
だったため早々こんなエラーが起こりえるものでもありません。
 
結局、sarの件はログファイルをmvして一新したら、こちらも何事も
なかったように復活をしました。そこで私はsarだけがおかしいのだろうと
思って放っておいてしまったのですが、実はほぼ同じ頃にmod_perlから
再読み込みが掛かった.pmファイルもおかしな状態で読み込まれていて、
その コンパイルエラー によって上記サービス達が一斉にエラーを
吐き始めていることに気づくことができませんでした。
 
そんなワケで、これは単なる自分のサービスプログラム上の問題だけでは
なさそうだという雰囲気がしてきます。muninで取っている負荷グラフを見ると、
 

 
たまたま確保されていてずっと放置されていたswapメモリが、
この日の 3:48頃にクリア されています。
 
えっ、と思ってシステムログを確認すると、3:48に再起動が掛かっていました。
原因を調べて納得。これも自動で仕込んでおいた yum update でした。
このときにkernelアップデートが掛かったらしいのです。
 

 
そこから先はどういう原理で上述のような状態になったのかまだ分かって
おりませんが、kernelアップデートの再起動時に何かがおかしくなったのは
間違いなさそうです。念のためhttpd以外も全てのサービスを再起動して
おいたのですが、何やらイヤな感じがします。こんなことが毎回起こったら
たまりませんので、何かしら対策を考えておきたいところです。。。


2012/07/11 [updated : 2012/07/17 02:38]


この記事を書いたのは・・・。
CK@デジモノに埋もれる日々 @ckom
ブログ「デジモノに埋もれる日々」「アニメレーダー」「コミックダッシュ!」管理人。デジモノ、アニメ、ゲーム等の雑多な情報をツイートします。




« 続・ズレのない時計、ズレている時刻 - ケータイの時刻も設定次第

トップに戻る

あまとも通信 - Thunderbolt接続「My Book Thunderbolt Duo 4TB」が値下がり »


▼ はてなブックマークのコメント ▼

Donca 2012/07/17
✔ コミックダッシュ!他、サービス一時不具合のお詫び(7/16 am 4:14~11:44)
はてなブックマークで
コメントしましょう


「Kindle本対応」に「スマホ完全対応」! コミックダッシュ!数年ぶりの大規模アップデートです。


「アニメスタイル005」は明日4/30発売、コミックダッシュ!の広告も載ってますw


「アニメスタイル005」に「コミックダッシュ!」のモノクロ広告を出させて頂く予定です


メガとんトラックのスマホページにページ処理を追加、コミックダッシュ!の新刊カレンダーも


コミックダッシュ!が重複商品だらけ、原因は「Kindle版」の出現


コミックダッシュ!に画像検索リンク追加 - 気になるシリーズの雰囲気をチェック


「ヒャッコ」「にゃんこい!」Flex Comixの出版元は全てソフトバンクからほるぷ出版へ


「あのマンガは○年世代?!」 過去10年(2002~2011)の新刊シリーズランキングを作ってみた


マンガ読みならおさえておきたい! 2011年初刊のコミックシリーズ・ランキング


Amazonからブックマークレットでコミックダッシュ!に飛ぶ(スマホ編)


Amazonからブックマークレットで直接コミックダッシュ!のページに飛ぶ方法


コミックダッシュ!「10,000人突破ありがとうキャンペーン」当選者発表!

ピックアップタグ




ブログ内検索



▼ コメント ▼

ご自由にコメントください(=゜ω゜)ノ
※管理人は多忙のためお返事はほとんどできません(スミマセン)。
スパムおよび本文と無関係なコメントは削除対象になる可能性があります。


保存しますか?




★コミックダッシュ! 10,000人突破ありがとうキャンペーン!(9/18~10/23)
 
デジモノに埋もれる日々 : (C) CKWorks