サーバの負荷軽減のための対策を継続中 - 早朝バッチの見直しなど

2007/09/25

　
相変わらず「コミックダッシュ！」ほか各種サービスが重い状態が続いて
いるようです。みなさまにご迷惑をお掛けして申し訳ございません。
目に付くところからとにかくいろいろ試している最中です。
　
本日手をつけたのは、早朝に動いているバッチプログラムの見直しでした。
コミックダッシュ！では各ユーザごとの 「おすすめコミック」 を表示して
いるのですが、これは毎朝4時に更新プログラムが動いています。
実はこのプログラムが、
　
　朝4時から動き始めて、終了が朝7時まで掛かる
　
という異常に重いプログラムでした。だから早朝に回したという経緯も
あるのですが、それにしてもあまりにも重過ぎるために、プログラム的に
改善の余地がありそうだと思って色々調べてみたところ、ループの中で
同じ値を何度もDBアクセスで取り直しているような箇所を発見。
　
それらの該当データを全部メモリ上の変数でキャッシュするようにしたところ、
3時間 かかっていたプログラムが 50分で完走 するようになりました。
　

　
また、別の箇所では、Wii-Tubeのdaily Backupが、生成されたHTMLキャッシュ
を全てバックアップしていることが判明し、これが 毎日数百MB単位の
tarバックアップをしてやはり1時間以上IO負荷を掛けていたことが判明。
これは「バックアップしない」という方針にして数分で終わるように変更しました。
(Wii-Tubeで絶対に取っておかなければいけないデータはありませんので)
　
これらの処置をしたところ、早朝4時～5時あたりのサーバ負荷はそれなりに
軽減されてきたような状態です。
　

　
また、懸念のあったネットワーク転送量への配慮について、こちらは
ご指摘のあったgzip圧縮についてもこれからテストしてみる予定です。
全体としてのパフォーマンスが回復するにはまだまだ色々な試行錯誤が
必要になると思われますが、何卒ご了承ください m(_ _;)m
　