Webサーバがiowait増加による長時間トラブル - nfs mountが勝手に「刺さる」?!

2009/11/13

この週末に一度、長時間に渡って サーバのレスポンスが低下 する
状態が発生しました。途中で何度かサーバ再起動などを行いましたため、
一時的にこのブログや、「あまとも」「コミックダッシュ!」が閲覧
できない状態になりました(最大数十分程度)。この間にアクセスして
頂いた方には深くお詫び申し上げます。m(_ _)m
 
先日はメール送信のしすぎによる通信断絶か?というトラブルの
お話をしたのですが、今回のはまた別の要因でした。
 
■2009/11/04 [自宅サーバの通信切断トラブル調査 - もしかして「スパム」認定?!
自宅サーバの通信切断トラブル調査 - もしかして「スパム」認定?!]
 
今回のトラブルは NASのレスポンス低下 に拠るものです。
ご覧の通り異常にiowaitが増えている時間が数時間も続いて
いることがわかります。(グラフは1週間ぶんのグラフ)
 

 
この症状は過去にも何度か発生したことがありました。調べてみると
NAS(というかnfsサーバが起動されている単なるlinux PCなのですが)
に対して書き込みをしているプロセスがどれもこれも反応なしになって
 
 いわゆる「刺さった」状態になっています。
 
killしてもkillできないという酷い状態です。そのNASにデータを
コピーしてみても、通常なら数MB/sは出る速度が、わずか数百バイト/s
(KBではない!)という異常な遅さになっていて使いモノになりません。
 
NASのサーバのほうのメッセージには、
 
 server not responding
 
というエラーメッセージが出続けています。
さらに調べてみると似たような症状になっている方もいらっしゃいました。
 
■nfs が umount できなかった。kill できないプロセスができちゃった。:: Drk7.jp
http://www.drk7.jp/MT/archives/001444.html
 
こちらでは umountしないでnfsを止める と発生すると書かれている
のですが、私の環境ではmountして使用中に特になにもいじることもなく
この状態が発生しましたので、もうちょっと違う理由がありそうです。
何度かサーバリブートを繰り返してみたのですが、一瞬回復してまたすぐに
同じ状態に陥ったりするなど、トラブル発生の法則性がいまいち見出せません。
 
まだ色々なところを疑っている最中なのですが、いまのところ一番疑っているのは
ネットワークデバイスの ハードトラブル だったりします。古いLANチップ周りが
大量の読み書き中にパニックを起こしてNAS側のサーバに通信障害が起こり、
事実上nfsを無断で落としたのと同じような状態になってしまったのではないか?
という推測をしているのですが、実際のところはまだサッパリ分かりません。
 
とりあえずはNASへのアクセスを減らすと同時に、マウントオプションにも
一部見直しを掛けたりして、おまじない程度の対処をした状態になっています。
 
元々NASへのアクセスはWebサーバ(サービス)を提供している中ではほとんど
使っておらず、バックアップ系とログ集計が主な転送内容でしたので、
そのあたりもなるべく本体のサービス運用に迷惑が掛からないように 抑え気味に
作り直してみました。ただ、根本の解決にはあまりなっていないような気がします。
 
また再発したときには、今度は ハードから刷新 しないといけないことになる
かもしれません。新しいサーバへの置き換えは前々から考え始めていたのですが、
Webサーバマシンは 3年前、NASサーバは 5年前 くらいのマシンですので、
いずれにしろそろそろ潮時かもしれませんね。。。


2009/11/13 [updated : 2009/11/13 23:59]


この記事を書いたのは・・・。
CK@デジモノに埋もれる日々 @ckom
ブログ「デジモノに埋もれる日々」「アニメレーダー」「コミックダッシュ!」管理人。デジモノ、アニメ、ゲーム等の雑多な情報をツイートします。




« あまとも通信 - Xacti WH1 ホワイトが2.5万円まで値下がり

トップに戻る

2TBのHDDが13,980円! SSDとのバイト単価はまだ30倍以上 »


▼ はてなブックマークのコメント ▼



QNAP TS-253D のファームウェア更新にハマって延々1週間以上も格闘することに・・。


VTuberの真似事をしてみたい!「VRoid Studio」「Luppet」「Animaze by FaceRig」「OBS Studio」「Leap Motion」「Webcam VTuber」「Kaleidoface 3D」を試す。


Google Pixel6 Pro ファーストインプレッション - 光学4倍レンズは魅力、サイズ/重量を許容できるか?


データコピーに「丸4日」。QNAP TS-253D と 14TB HDD×2基で宅内NASを一新する。


宅内小型サーバPCが故障!代替機はCDケースサイズの GM-JAPAN GLM-MN3350


【動画あり】CO2モニター実録比較、信頼できる機種と、まともに測れていない機種と、、、


届いたばかりの Pixel5 ファーストインプレッション、Pixel3からの移行で戸惑いの連続


OMRONのUPS「BN50S」のバッテリ交換をしました。


iPhone SE 第2世代の初期セットアップ続き、液晶保護フィルムとストラップホール付きケースを装着していきます


iPhone SE 第2世代を購入しました。iPhone6からの移行もスムースです。


退役のノートPCたち、VAIO、VersaProなど


USB切替器を使ってNEC 98キーボードを複数PCで使い分ける

ピックアップタグ




ブログ内検索



▼ コメント ▼

ご自由にコメントください(=゜ω゜)ノ
※管理人は多忙のためお返事はほとんどできません(スミマセン)。
スパムおよび本文と無関係なコメントは削除対象になる可能性があります。


保存しますか?




★コミックダッシュ! 10,000人突破ありがとうキャンペーン!(9/18~10/23)
 
デジモノに埋もれる日々 : (C) CKWorks