« コミックダッシュ!などいくつかのサービスでmod_perlテスト中です | トップに戻る | 自宅サーバの重さはやはりネットワーク側に原因が・・・? » |
2007年9月25日
サーバの負荷軽減のための対策を継続中 - 早朝バッチの見直しなど
相変わらず「コミックダッシュ!」ほか各種サービスが重い状態が続いて
いるようです。みなさまにご迷惑をお掛けして申し訳ございません。
目に付くところからとにかくいろいろ試している最中です。
本日手をつけたのは、早朝に動いているバッチプログラムの見直しでした。
コミックダッシュ!では各ユーザごとの 「おすすめコミック」 を表示して
いるのですが、これは毎朝4時に更新プログラムが動いています。
実はこのプログラムが、
朝4時から動き始めて、終了が朝7時まで掛かる
という異常に重いプログラムでした。だから早朝に回したという経緯も
あるのですが、それにしてもあまりにも重過ぎるために、プログラム的に
改善の余地がありそうだと思って色々調べてみたところ、ループの中で
同じ値を何度もDBアクセスで取り直しているような箇所を発見。
それらの該当データを全部メモリ上の変数でキャッシュするようにしたところ、
3時間 かかっていたプログラムが 50分で完走 するようになりました。
また、別の箇所では、Wii-Tubeのdaily Backupが、生成されたHTMLキャッシュ
を全てバックアップしていることが判明し、これが 毎日数百MB単位の
tarバックアップをしてやはり1時間以上IO負荷を掛けていたことが判明。
これは「バックアップしない」という方針にして数分で終わるように変更しました。
(Wii-Tubeで絶対に取っておかなければいけないデータはありませんので)
これらの処置をしたところ、早朝4時~5時あたりのサーバ負荷はそれなりに
軽減されてきたような状態です。
また、懸念のあったネットワーク転送量への配慮について、こちらは
ご指摘のあったgzip圧縮についてもこれからテストしてみる予定です。
全体としてのパフォーマンスが回復するにはまだまだ色々な試行錯誤が
必要になると思われますが、何卒ご了承ください m(_ _;)m
投稿者 CK : 2007年9月25日 23:59 | コミックダッシュ!
« コミックダッシュ!などいくつかのサービスでmod_perlテスト中です | トップに戻る | 自宅サーバの重さはやはりネットワーク側に原因が・・・? » |
▼ コメント ▼
ご自由にコメントください(=゜ω゜)ノ
※管理人は多忙のためお返事はほとんどできません(スミマセン)。スパムおよび本文と無関係なコメントは削除対象になる可能性があります。
▼ トラックバック ▼
このエントリーのトラックバックURL: