Amazon商品の価格変動チェック「あまとも」
コミックダッシュ!は初音ミクGTプロジェクトを応援しています
個人ニュースサイトを巡回する「メガとんトラック」
全ての記事 携プレMP3 デジカメ レコーダ ゲーム メモリ デジモノ コラム 雑談 ブログ あまとも コミックダッシュ!
前の記事次の記事
2010/05/21 23:59 - 2010/05/21

ルータ置き換えで通信遮断は解決? ほかサーバ安定化作業

カテゴリ : デジモノ タグ :

    ■2010/04/24 [ルータ置き換え続報(OPT100E⇒XR510/C)、一応通信遮断は無くなった・・・?]
    ひとまずちょっと 落ち着きそうな雰囲気にはなってきました。
    というお話をしていた例の通信遮断の件ですが、4月中旬にルータを
    OPT100E から XR-510/C に置き換えてからはや1ヵ月、どうやら
    それらしい通信遮断は確認されなくなりました。
     

     
    はっきりした原因は特定できませんが、特定の通信が大量に
    発生することによる、ルータ(OPT100E)側の 暴走だった可能性
    が高いような気がします。まずはこれでほっとひと安心です。
     
    なお、これとは別にサーバ負荷の面から 数分~10分 くらいのレスポンス悪化が発生するケースは何度か見受けられます。皆さまにはご迷惑をお掛けして大変申し訳ございません。こちらは全く別の問題ですので、それも含めてサーバの安定運用のための工夫を続けていきたいと思います。。。
    という件についても色々と原因の調査と対処を検討していたのですが、
    これに関してはあまともの価格チェックプログラムが高速化したことが
    主な原因だったことが分かりました。
     
    ■2010/03/01 [Amazon APIの”ItemLookup”は、ItemIdを複数指定できたというお話]
     
    APIコールで 1回あたり10件 の価格を取得できることが判明し、
    早速10件ずつ取得するように変更しました。AmazonのAPIは目安として
    1秒に1回までという頻度上限がありますのでそれを守っているのですが、
    これによって1件/秒⇒10件/秒まで速度が向上したことになります。
     
    ところが、価格チェックプログラムでは各商品について 「最終確認日時」
    という日付をアップデートしている部分があり、この部分が
    「1秒に1レコード更新」だったところが 「1秒に10レコード更新」
    へと化け、これが ディスクI/O にかなりの負荷を掛ける状態になっていました。
     
    結局この「最終確認日時」のレコードは 1分ぶん(600件)
    まとめてアップデートするように変更したところ、
    ディスクI/Oに起因する負荷はほぼ収まった状態となりました。
     

     
    この場合、もしプロセスが途中で落ちたりすると「本当はチェックした
    はずなのに日付が更新されていない」という 不整合 が発生するのですが、
    冷静に考えてみると、価格が更新されたときならともかく、価格が更新
    されていないときのチェック日時がちょっと更新されなかったからといって
    サービスに大した影響があるわけではありません。ということでしばらく
    このまま運用してみようと思っています。
     
    ちなみに上記グラフを見ると、午前3~7時頃に異常に高い負荷の時間が
    続いているほうが気になりますが、これはコミックダッシュ!の各種の
    オススメ(レコメンド) をバッチで計算しているときの負荷だったりします。
    こういうのも真剣に見直せばもっと色々減らせるのかもしれません。
     

     
    このマシンは2006年に組み立てたもので、さすがにそろそろ最新の
    サーバマシンを1台組み立てたいなと思っていたり、どうせやるなら
    SSD も使いたいけど高いよな、とかアレコレ妄想してみたりする日々
    なのでありますが、こうやってみると新しいハードを欲しがる前に、
    まだまだできることは一杯あるのだなということが身に沁みてわかります。。。

    CK@デジモノに埋もれる日々 @ckom
    ブログ「デジモノに埋もれる日々」「アニメレーダー」「コミックダッシュ!」管理人。デジモノ、アニメ、ゲーム等の雑多な情報をツイートします。



    投稿者 CK : 記事URL | デジモノ | | 2010/05/21 23:59


    « あまとも通信 - Eye-Fiの旧版「Eye-Fi Share」が大幅値下がり

    トップに戻る

    なんと16人マルチプレイ! Xbox360 Liveアーケード「Snoopy Flying Ace」がくるぞ! »



    ▼ コメント ▼

    ご自由にコメントください(=゜ω゜)ノ  ▼ コメント入力欄を開く ▼
    ※管理人は多忙のためお返事はほとんどできません(スミマセン)。
    スパムおよび本文と無関係なコメントは削除対象になる可能性があります。


    ▼ はてなブックマークのコメント ▼


    ▼ トラックバック ▼

    このエントリーのトラックバックURL:

    ★コミックダッシュ! 10,000人突破ありがとうキャンペーン!(9/18~10/23)
     
    デジモノに埋もれる日々 : (C) CKWorks