Amazon商品の価格変動チェック「あまとも」
コミックダッシュ!は初音ミクGTプロジェクトを応援しています
個人ニュースサイトを巡回する「メガとんトラック」
前の記事次の記事
2009/11/13 23:59 - 2009/11/13

Webサーバがiowait増加による長時間トラブル - nfs mountが勝手に「刺さる」?!


この週末に一度、長時間に渡って サーバのレスポンスが低下 する
状態が発生しました。途中で何度かサーバ再起動などを行いましたため、
一時的にこのブログや、「あまとも」「コミックダッシュ!」が閲覧
できない状態になりました(最大数十分程度)。この間にアクセスして
頂いた方には深くお詫び申し上げます。m(_ _)m
 
先日はメール送信のしすぎによる通信断絶か?というトラブルの
お話をしたのですが、今回のはまた別の要因でした。
 
■2009/11/04 [自宅サーバの通信切断トラブル調査 - もしかして「スパム」認定?!]
 
今回のトラブルは NASのレスポンス低下 に拠るものです。
ご覧の通り異常にiowaitが増えている時間が数時間も続いて
いることがわかります。(グラフは1週間ぶんのグラフ)
 

 
この症状は過去にも何度か発生したことがありました。調べてみると
NAS(というかnfsサーバが起動されている単なるlinux PCなのですが)
に対して書き込みをしているプロセスがどれもこれも反応なしになって
 
 いわゆる「刺さった」状態になっています。
 
killしてもkillできないという酷い状態です。そのNASにデータを
コピーしてみても、通常なら数MB/sは出る速度が、わずか数百バイト/s
(KBではない!)という異常な遅さになっていて使いモノになりません。
 
NASのサーバのほうのメッセージには、
 
 server not responding
 
というエラーメッセージが出続けています。
さらに調べてみると似たような症状になっている方もいらっしゃいました。
 
■nfs が umount できなかった。kill できないプロセスができちゃった。:: Drk7.jp
http://www.drk7.jp/MT/archives/001444.html
 
こちらでは umountしないでnfsを止める と発生すると書かれている
のですが、私の環境ではmountして使用中に特になにもいじることもなく
この状態が発生しましたので、もうちょっと違う理由がありそうです。
何度かサーバリブートを繰り返してみたのですが、一瞬回復してまたすぐに
同じ状態に陥ったりするなど、トラブル発生の法則性がいまいち見出せません。
 
まだ色々なところを疑っている最中なのですが、いまのところ一番疑っているのは
ネットワークデバイスの ハードトラブル だったりします。古いLANチップ周りが
大量の読み書き中にパニックを起こしてNAS側のサーバに通信障害が起こり、
事実上nfsを無断で落としたのと同じような状態になってしまったのではないか?
という推測をしているのですが、実際のところはまだサッパリ分かりません。
 
とりあえずはNASへのアクセスを減らすと同時に、マウントオプションにも
一部見直しを掛けたりして、おまじない程度の対処をした状態になっています。
 
元々NASへのアクセスはWebサーバ(サービス)を提供している中ではほとんど
使っておらず、バックアップ系とログ集計が主な転送内容でしたので、
そのあたりもなるべく本体のサービス運用に迷惑が掛からないように 抑え気味に
作り直してみました。ただ、根本の解決にはあまりなっていないような気がします。
 
また再発したときには、今度は ハードから刷新 しないといけないことになる
かもしれません。新しいサーバへの置き換えは前々から考え始めていたのですが、
Webサーバマシンは 3年前、NASサーバは 5年前 くらいのマシンですので、
いずれにしろそろそろ潮時かもしれませんね。。。


この記事を書いたのは・・・。
CK@デジモノに埋もれる日々 @ckom
ブログ「デジモノに埋もれる日々」「アニメレーダー」「コミックダッシュ!」管理人。デジモノ、アニメ、ゲーム等の雑多な情報をツイートします。




« あまとも通信 - Xacti WH1 ホワイトが2.5万円まで値下がり

トップに戻る

2TBのHDDが13,980円! SSDとのバイト単価はまだ30倍以上 »


▼ はてなブックマークのコメント ▼



USB切替器を使ってNEC 98キーボードを複数PCで使い分ける


Ryzen 7 3700X ベースでデスクトップPCの心臓部を入れ替え。Core i7-4790K (Devil's Canyon) の2.4倍のパフォーマンス


初代 Lavie Z(2012) の底面が変形?! 5年以上前の極薄ノートPC


Xperia X Compact に機種変完了、手に馴染む4.6インチ。Z3 Compactとの比較、カメラの収差問題など。


選んだのは「25インチ」?! モニタを ASUS MX259H に買い替えました。


年始のデジモノ初め(?)無線LANルータを新調 - BUFFALO WXR-1900DHP2


QNAP TS-220 を「4TB×2」→「8TB×2」化。リビルド26時間、バックアップ29時間!


Twonky Serverのプレイリスト仕様と格闘! ネットワークオーディオ刷新 Pioneer XC-HM82-S


重低音ヘッドフォン「MDR-XB950」を購入、ガルパン劇場版BDの準備(?)


VAIO S11 のUSB Type-C ⇒ HDMI出力リベンジ、J5-create JCA153を試す、BIOS更新、等


VAIO S11 唯一の大問題点? USB type C ⇒ HDMI出力で動画再生が飛びまくるのですが・・


Win10更新の「KB2952664」を何度アンインストールしても消えない場合ひたすら繰り返す!


▼ コメント ▼

ご自由にコメントください(=゜ω゜)ノ
※管理人は多忙のためお返事はほとんどできません(スミマセン)。
スパムおよび本文と無関係なコメントは削除対象になる可能性があります。


保存しますか?




★コミックダッシュ! 10,000人突破ありがとうキャンペーン!(9/18~10/23)
 
デジモノに埋もれる日々 : (C) CKWorks