Amazon商品の価格変動チェック「あまとも」
コミックダッシュ!は初音ミクGTプロジェクトを応援しています
個人ニュースサイトを巡回する「メガとんトラック」
前の記事次の記事
2010/05/21 23:59 - 2010/05/21

ルータ置き換えで通信遮断は解決? ほかサーバ安定化作業


■2010/04/24 [ルータ置き換え続報(OPT100E⇒XR510/C)、一応通信遮断は無くなった・・・?]
ひとまずちょっと 落ち着きそうな雰囲気にはなってきました。
というお話をしていた例の通信遮断の件ですが、4月中旬にルータを
OPT100E から XR-510/C に置き換えてからはや1ヵ月、どうやら
それらしい通信遮断は確認されなくなりました。
 

 
はっきりした原因は特定できませんが、特定の通信が大量に
発生することによる、ルータ(OPT100E)側の 暴走だった可能性
が高いような気がします。まずはこれでほっとひと安心です。
 
なお、これとは別にサーバ負荷の面から 数分~10分 くらいのレスポンス悪化が発生するケースは何度か見受けられます。皆さまにはご迷惑をお掛けして大変申し訳ございません。こちらは全く別の問題ですので、それも含めてサーバの安定運用のための工夫を続けていきたいと思います。。。
という件についても色々と原因の調査と対処を検討していたのですが、
これに関してはあまともの価格チェックプログラムが高速化したことが
主な原因だったことが分かりました。
 
■2010/03/01 [Amazon APIの”ItemLookup”は、ItemIdを複数指定できたというお話]
 
APIコールで 1回あたり10件 の価格を取得できることが判明し、
早速10件ずつ取得するように変更しました。AmazonのAPIは目安として
1秒に1回までという頻度上限がありますのでそれを守っているのですが、
これによって1件/秒⇒10件/秒まで速度が向上したことになります。
 
ところが、価格チェックプログラムでは各商品について 「最終確認日時」
という日付をアップデートしている部分があり、この部分が
「1秒に1レコード更新」だったところが 「1秒に10レコード更新」
へと化け、これが ディスクI/O にかなりの負荷を掛ける状態になっていました。
 
結局この「最終確認日時」のレコードは 1分ぶん(600件)
まとめてアップデートするように変更したところ、
ディスクI/Oに起因する負荷はほぼ収まった状態となりました。
 

 
この場合、もしプロセスが途中で落ちたりすると「本当はチェックした
はずなのに日付が更新されていない」という 不整合 が発生するのですが、
冷静に考えてみると、価格が更新されたときならともかく、価格が更新
されていないときのチェック日時がちょっと更新されなかったからといって
サービスに大した影響があるわけではありません。ということでしばらく
このまま運用してみようと思っています。
 
ちなみに上記グラフを見ると、午前3~7時頃に異常に高い負荷の時間が
続いているほうが気になりますが、これはコミックダッシュ!の各種の
オススメ(レコメンド) をバッチで計算しているときの負荷だったりします。
こういうのも真剣に見直せばもっと色々減らせるのかもしれません。
 

 
このマシンは2006年に組み立てたもので、さすがにそろそろ最新の
サーバマシンを1台組み立てたいなと思っていたり、どうせやるなら
SSD も使いたいけど高いよな、とかアレコレ妄想してみたりする日々
なのでありますが、こうやってみると新しいハードを欲しがる前に、
まだまだできることは一杯あるのだなということが身に沁みてわかります。。。


この記事を書いたのは・・・。
CK@デジモノに埋もれる日々 @ckom
ブログ「デジモノに埋もれる日々」「アニメレーダー」「コミックダッシュ!」管理人。デジモノ、アニメ、ゲーム等の雑多な情報をツイートします。




« あまとも通信 - Eye-Fiの旧版「Eye-Fi Share」が大幅値下がり

トップに戻る

なんと16人マルチプレイ! Xbox360 Liveアーケード「Snoopy Flying Ace」がくるぞ! »


▼ はてなブックマークのコメント ▼

Donca 2010/05/25
✔ ルータ置き換えで通信遮断は解決? ほかサーバ安定化作業
はてなブックマークで
コメントしましょう


USB切替器を使ってNEC 98キーボードを複数PCで使い分ける


Ryzen 7 3700X ベースでデスクトップPCの心臓部を入れ替え。Core i7-4790K (Devil's Canyon) の2.4倍のパフォーマンス


初代 Lavie Z(2012) の底面が変形?! 5年以上前の極薄ノートPC


Xperia X Compact に機種変完了、手に馴染む4.6インチ。Z3 Compactとの比較、カメラの収差問題など。


選んだのは「25インチ」?! モニタを ASUS MX259H に買い替えました。


年始のデジモノ初め(?)無線LANルータを新調 - BUFFALO WXR-1900DHP2


QNAP TS-220 を「4TB×2」→「8TB×2」化。リビルド26時間、バックアップ29時間!


Twonky Serverのプレイリスト仕様と格闘! ネットワークオーディオ刷新 Pioneer XC-HM82-S


重低音ヘッドフォン「MDR-XB950」を購入、ガルパン劇場版BDの準備(?)


VAIO S11 のUSB Type-C ⇒ HDMI出力リベンジ、J5-create JCA153を試す、BIOS更新、等


VAIO S11 唯一の大問題点? USB type C ⇒ HDMI出力で動画再生が飛びまくるのですが・・


Win10更新の「KB2952664」を何度アンインストールしても消えない場合ひたすら繰り返す!


▼ コメント ▼

ご自由にコメントください(=゜ω゜)ノ
※管理人は多忙のためお返事はほとんどできません(スミマセン)。
スパムおよび本文と無関係なコメントは削除対象になる可能性があります。


保存しますか?




★コミックダッシュ! 10,000人突破ありがとうキャンペーン!(9/18~10/23)
 
デジモノに埋もれる日々 : (C) CKWorks