Amazon商品の価格変動チェック「あまとも」
コミックダッシュ!は初音ミクGTプロジェクトを応援しています
個人ニュースサイトを巡回する「メガとんトラック」
全ての記事 携プレMP3 デジカメ レコーダ ゲーム メモリ デジモノ コラム 雑談 ブログ あまとも コミックダッシュ!
前の記事次の記事
2012/07/17 02:38 - 2012/07/11

コミックダッシュ!他、サービス一時不具合のお詫び(7/16 am 4:14~11:44)

カテゴリ : コミックダッシュ! タグ :

    本日 7/16(月) am 4:14~11:44 の7時間半の間、
    「コミックダッシュ!」「あまとも」「メガとんトラック」のサービスが
    「Internal Server Error」となって閲覧できない現象が発生しておりました。
    ご利用を頂いておりました皆さまにはご迷惑をお掛けいたしました。
     
    私が起きている時間には大抵、PCの前で動作確認をしていますので
    この手のトラブルにはすぐに気がつくのですが、このときはちょうど
    私が起きていない時間で発見までに時間が掛かってしまいました。。。
     
    原因を調べてみると、エラーログには mod_perl のモジュールリロードで
    大量のエラー が出ていることが判明しました。が、どこを直すでもなく
    apacheを再起動するとケロっと直ってしまうところが何やら不自然です。
     

     
    実はその直前、am 3:48~4:55 に妙な現象がありました。私はサーバの
    状態を調べるために sar のログ を1分おきに保存しているのですが、
    その保存用バッチが「ログファイルに書き込めない」といって1分ごとに
    エラーを吐き始めたのです。そのときはアラームがメールで届いたので
    異常事態に気づきました。その書き込み先ファイルのパーミッションは
    どこもおかしなところはありませんでしたし、rootで実行しているもの
    だったため早々こんなエラーが起こりえるものでもありません。
     
    結局、sarの件はログファイルをmvして一新したら、こちらも何事も
    なかったように復活をしました。そこで私はsarだけがおかしいのだろうと
    思って放っておいてしまったのですが、実はほぼ同じ頃にmod_perlから
    再読み込みが掛かった.pmファイルもおかしな状態で読み込まれていて、
    その コンパイルエラー によって上記サービス達が一斉にエラーを
    吐き始めていることに気づくことができませんでした。
     
    そんなワケで、これは単なる自分のサービスプログラム上の問題だけでは
    なさそうだという雰囲気がしてきます。muninで取っている負荷グラフを見ると、
     

     
    たまたま確保されていてずっと放置されていたswapメモリが、
    この日の 3:48頃にクリア されています。
     
    えっ、と思ってシステムログを確認すると、3:48に再起動が掛かっていました。
    原因を調べて納得。これも自動で仕込んでおいた yum update でした。
    このときにkernelアップデートが掛かったらしいのです。
     

     
    そこから先はどういう原理で上述のような状態になったのかまだ分かって
    おりませんが、kernelアップデートの再起動時に何かがおかしくなったのは
    間違いなさそうです。念のためhttpd以外も全てのサービスを再起動して
    おいたのですが、何やらイヤな感じがします。こんなことが毎回起こったら
    たまりませんので、何かしら対策を考えておきたいところです。。。

    CK@デジモノに埋もれる日々 @ckom
    ブログ「デジモノに埋もれる日々」「アニメレーダー」「コミックダッシュ!」管理人。デジモノ、アニメ、ゲーム等の雑多な情報をツイートします。



    投稿者 CK : 記事URL | コミックダッシュ! | | 2012/07/17 02:38


    « 続・ズレのない時計、ズレている時刻 - ケータイの時刻も設定次第

    トップに戻る

    あまとも通信 - Thunderbolt接続「My Book Thunderbolt Duo 4TB」が値下がり »



    ▼ コメント ▼

    ご自由にコメントください(=゜ω゜)ノ  ▼ コメント入力欄を開く ▼
    ※管理人は多忙のためお返事はほとんどできません(スミマセン)。
    スパムおよび本文と無関係なコメントは削除対象になる可能性があります。


    ▼ はてなブックマークのコメント ▼


    ▼ トラックバック ▼

    このエントリーのトラックバックURL:

    ★コミックダッシュ! 10,000人突破ありがとうキャンペーン!(9/18~10/23)
     
    デジモノに埋もれる日々 : (C) CKWorks