2011年06月11日　(2011/06/14 01:47 )

さくらVPSで突然IOwaitが上がりだす現象 - VPSホスト側のバックアップと関係が？！

　カテゴリ : 雑談　タグ :

■2011/06/05 [もし個人運営のネットサービスがさくらVPSの『8Gプラン』を使ったら]
　
さくらのVPS 8Gプラン に移行してから特に問題なく1週間が過ぎたのですが、
そのまますんなり平穏な日々が続くと思ったらそうでもありませんでした。。
　

　
あるとき突然、I/O wait の負荷が激増 したのです。
これは何か自分のプログラムがヘマをしたのか、あるいはクロウラーが
たまたま凄い勢いで巡回して来たのか、といろいろ調べてみたのですが、
どうにも負荷要因らしきものが見つかりません。

　

　
単純に数値上のI/O waitが増えただけであればよかったのですが、
これに引きずられてLoad Averageが上昇し始め、
実害としてレスポンス悪化が 見られるようにもなりました。
　
幸い、結果的には3時間くらいで自然に収まったのですが、
こうなると放っておくわけにもいきません。
　
8GプランとはいえVPSですから、CPUやメモリは独立してリソースを
割り振って貰っていても、それ以外のリソース、ディスクやネットワーク
などについては 同居状態にある他の方 のサービスの負荷に引きずられて
しまったりすることも有り得るでしょう。そうなるとお手上げなのですが、
調べているうちに、別の可能性があることも知りました。
　

　
■Twitter / @kunihirotanaka 田中邦裕
http://twitter.com/#!/kunihirotanaka/status/68094131527884800
@kunihirotanaka 田中邦裕
最近さくらのVPSで、突然ディスクI/Oが遅くなり急に回復する、という報告が寄せられています。当社側で行っているバックアップが原因と見られ、負荷を低減させる方策を練っております。ご迷惑をおかけしまして申し訳ありませんが、最重要課題として取り組んでいます。
これは1ヶ月前のさくら社長の田中さんのtweetですが、VPSのゲストOS側
ではなくホストOS側でバックアップが走る際にディスクIOが急激に遅くなり、
しばらくすると自然回復する、という事象が確認されているとのことです。
今回の件がそれに当たるのかどうかは定かではありませんが、
現象としてはまさにピッタリ同じようなことが起こっていることになります。
　
バックアップをしっかりして頂いていることは大変嬉しいのではありますが、
ゲストOS側のサービスに支障が出るのはやはり問題ですので、できればホスト側
でのバックアップは もう少し穏やかな処理 になってくれると嬉しいですね。。。
　
　
余談ですが、バックアップといえば、これも自宅サーバのときとはちょっと
事情が違う部分でした。VPSはレンタルサービスとはいえ、データ保全を完璧に
保証してくれるワケではありませんし、自分自身でデータを消しまくってしまう
ことも有り得ないことではありません。やはり 静的バックアップ は必要です。
　
ところが、自宅サーバならマウントしたNASに1日1回コピーでもすれば 筐体外 の
バックアップになったのですが、VPSから筐体外へのバックアップを取る、という
ことはネットワーク越しに別のサーバにバックアップを取らなければなりません。
　

　
結局サーバ側からscpで外部のサーバに1日1回バックアップファイルを送付する
という仕組みを作ることになりました。1日1回、4GBくらいのファイル を
せこせことバックアップしています。面倒なことも多いですが、いざというときの
ためにこうした地味なこともしっかりとやっておかないと安心できません(´ω｀)