Amazon商品の価格変動チェック「あまとも」
コミックダッシュ!は初音ミクGTプロジェクトを応援しています
個人ニュースサイトを巡回する「メガとんトラック」
全ての記事 携プレMP3 デジカメ レコーダ ゲーム メモリ デジモノ コラム 雑談 ブログ あまとも コミックダッシュ!
前の記事次の記事
2009/11/13 23:59 - 2009/11/13

Webサーバがiowait増加による長時間トラブル - nfs mountが勝手に「刺さる」?!

カテゴリ : デジモノ タグ :

    この週末に一度、長時間に渡って サーバのレスポンスが低下 する
    状態が発生しました。途中で何度かサーバ再起動などを行いましたため、
    一時的にこのブログや、「あまとも」「コミックダッシュ!」が閲覧
    できない状態になりました(最大数十分程度)。この間にアクセスして
    頂いた方には深くお詫び申し上げます。m(_ _)m
     
    先日はメール送信のしすぎによる通信断絶か?というトラブルの
    お話をしたのですが、今回のはまた別の要因でした。
     
    ■2009/11/04 [自宅サーバの通信切断トラブル調査 - もしかして「スパム」認定?!]
     
    今回のトラブルは NASのレスポンス低下 に拠るものです。
    ご覧の通り異常にiowaitが増えている時間が数時間も続いて
    いることがわかります。(グラフは1週間ぶんのグラフ)
     

     
    この症状は過去にも何度か発生したことがありました。調べてみると
    NAS(というかnfsサーバが起動されている単なるlinux PCなのですが)
    に対して書き込みをしているプロセスがどれもこれも反応なしになって
     
     いわゆる「刺さった」状態になっています。
     
    killしてもkillできないという酷い状態です。そのNASにデータを
    コピーしてみても、通常なら数MB/sは出る速度が、わずか数百バイト/s
    (KBではない!)という異常な遅さになっていて使いモノになりません。
     
    NASのサーバのほうのメッセージには、
     
     server not responding
     
    というエラーメッセージが出続けています。
    さらに調べてみると似たような症状になっている方もいらっしゃいました。
     
    ■nfs が umount できなかった。kill できないプロセスができちゃった。:: Drk7.jp
    http://www.drk7.jp/MT/archives/001444.html
     
    こちらでは umountしないでnfsを止める と発生すると書かれている
    のですが、私の環境ではmountして使用中に特になにもいじることもなく
    この状態が発生しましたので、もうちょっと違う理由がありそうです。
    何度かサーバリブートを繰り返してみたのですが、一瞬回復してまたすぐに
    同じ状態に陥ったりするなど、トラブル発生の法則性がいまいち見出せません。
     
    まだ色々なところを疑っている最中なのですが、いまのところ一番疑っているのは
    ネットワークデバイスの ハードトラブル だったりします。古いLANチップ周りが
    大量の読み書き中にパニックを起こしてNAS側のサーバに通信障害が起こり、
    事実上nfsを無断で落としたのと同じような状態になってしまったのではないか?
    という推測をしているのですが、実際のところはまだサッパリ分かりません。
     
    とりあえずはNASへのアクセスを減らすと同時に、マウントオプションにも
    一部見直しを掛けたりして、おまじない程度の対処をした状態になっています。
     
    元々NASへのアクセスはWebサーバ(サービス)を提供している中ではほとんど
    使っておらず、バックアップ系とログ集計が主な転送内容でしたので、
    そのあたりもなるべく本体のサービス運用に迷惑が掛からないように 抑え気味に
    作り直してみました。ただ、根本の解決にはあまりなっていないような気がします。
     
    また再発したときには、今度は ハードから刷新 しないといけないことになる
    かもしれません。新しいサーバへの置き換えは前々から考え始めていたのですが、
    Webサーバマシンは 3年前、NASサーバは 5年前 くらいのマシンですので、
    いずれにしろそろそろ潮時かもしれませんね。。。

    CK@デジモノに埋もれる日々 @ckom
    ブログ「デジモノに埋もれる日々」「アニメレーダー」「コミックダッシュ!」管理人。デジモノ、アニメ、ゲーム等の雑多な情報をツイートします。



    投稿者 CK : 記事URL | デジモノ | | 2009/11/13 23:59


    « あまとも通信 - Xacti WH1 ホワイトが2.5万円まで値下がり

    トップに戻る

    2TBのHDDが13,980円! SSDとのバイト単価はまだ30倍以上 »



    ▼ コメント ▼

    ご自由にコメントください(=゜ω゜)ノ  ▼ コメント入力欄を開く ▼
    ※管理人は多忙のためお返事はほとんどできません(スミマセン)。
    スパムおよび本文と無関係なコメントは削除対象になる可能性があります。


    ▼ はてなブックマークのコメント ▼


    ▼ トラックバック ▼

    このエントリーのトラックバックURL:

    ★コミックダッシュ! 10,000人突破ありがとうキャンペーン!(9/18~10/23)
     
    デジモノに埋もれる日々 : (C) CKWorks