Amazon商品の価格変動チェック「あまとも」
コミックダッシュ!は初音ミクGTプロジェクトを応援しています
個人ニュースサイトを巡回する「メガとんトラック」
前の記事次の記事
2007/03/06 23:59 - 2007/03/06

「メガとんトラック」巡回プログラム性能改善 - 原因はDBのINDEX


個人ニュースサイトさまを定期巡回してホットなリンクを選び出すサービス、
メガとんトラック」ですが、そのURL収集スクリプトが異常に負荷が掛かる、
というお話を、ここデジ埋でもちょっとだけお話していました。
 
■2006/05/02 [最近、妙に部屋が暑いのです。その理由は・・・]
おかしい・・・絶対どこかプログラムがおかしい・・・(;´Д`)
昨年の4/2にサービスを開始して、1ヶ月後の5/2には既に、当時のメイン
サーバであったPen4 2.4GHzマシンで 「40分」 掛かるようになっていました。
 
■2006/09/04 [CPU使用率が1/4に!? Core 2 Duo E6700 サーバが威力を発揮!]
 
昨年の9/1にメインサーバがCore 2 Duo E6700に置き換わり、
処理速度は格段に向上します。この時点では、メガとんのスクリプト実行
だけ別のファイルサーバ(Celeron 2.0GHz)に移されていましたが、
実行時間はもはや1周 「3時間以上」 という酷い状態になっていました。
 
その後このスクリプト自体もCore 2 Duoサーバで走らせるように変更した
ところ、1周 「30分」 で収まるようになったのですが、それから半年経った現在、
ついにCore 2 Duoサーバでも完走に 「1時間」 掛かるようになってしまいました。
 
とにかくプログラムが 「どこかおかしい」 のは判っていたのですが、
時間もなく手をつけていない状況が続いていました。
が、先日ついにその原因を突き止めました!
 
このメガとん、取得したURLを1つ1つ「既出かどうか」を調べるために、
収集済みのURL(すでに30万件超)との比較を行うのですが、
 
 その比較がDBフルスキャンになっていました・・・!
 
なんでいままで気が付かなかったのでしょう((((゜Д゜;))))
「○○ID」のように数字で指定するカラムには大抵INDEXが張ってある
のですが、このURLのカラムにはINDEXが張ってありませんでした。
おそるおそるCREATE INDEXをして再実行してみます・・・。すると、
 
 1周「60分」→「2分」に短縮されました!!
 
・・・・・呆然です。
いえーい、30倍の高速化だぜー、って喜んでいいものかどうか。
いままでのプログラムのタコさに自分でも唖然としたひと幕でした orz
 
というワケで、4時間おきに伸ばしていた巡回間隔は2時間おきに戻す
ことができましたし、巡回時間の関係で新規追加を見送っていた巡回先も
これからは気兼ねなく追加していくことができそうです。
 
今後とも「メガとんトラック」を宜しくお願いいたします。
 


この記事を書いたのは・・・。
CK@デジモノに埋もれる日々 @ckom
ブログ「デジモノに埋もれる日々」「アニメレーダー」「コミックダッシュ!」管理人。デジモノ、アニメ、ゲーム等の雑多な情報をツイートします。




« サンコーのWiiリモコン充電池、ゲーム中にも問題が?!

トップに戻る

iPod nano対抗の新ウォークマン「NW-A800」シリーズは大画面と動画で勝負 »


▼ はてなブックマークのコメント ▼



髪を切る。自分で。


「岩浪よしかずチャンネル」YouTubeに登場!闘う愉快な音響監督、岩浪さんの貴重な劇場トークが映像で見られる!


【テイクアウト編2】「ガールズ&パンツァー最終章×ココス道」パネル店めぐり、中野店に行ってきました。


「よんこますたぁらいと」2巻発売レヴューキャンペーンに当選!巻々廻先生の直筆サイン色紙(ふたかお)が!


GSRの新しい試み「在宅」生放送「グッドスマイルミーティング Vol.1」を実施。公式テーマソング発表など


【テイクアウト編】「ガールズ&パンツァー最終章×ココス道」パネル店めぐり、稲城店に行ってきました。


「ガールズ&パンツァー最終章×ココス道」パネル店めぐり、千住堀切橋店、千川店に行ってきました。


「へやキャン△」コラボカフェ in 秋葉原プリンセスカフェに行ってきました。ほか。


「劇場版SHIROBAKO」in グランドシネマサンシャイン池袋に行ってきました。ほか


「少女☆歌劇レヴュースタァライト 7thシングル Star Parade リリースイベント」3回目 in サイエンスホールに行ってきました。


「ネコぱらてん」in アキバCOギャラリー、「とある科学の超電磁砲T」コラボカフェに行ってきました。


「ネコぱら 7話,8話 ネコの日振り返り&先行上映会」in TOHOシネマズ上野に行ってきました。


▼ コメント ▼

ご自由にコメントください(=゜ω゜)ノ
※管理人は多忙のためお返事はほとんどできません(スミマセン)。
スパムおよび本文と無関係なコメントは削除対象になる可能性があります。


保存しますか?




★コミックダッシュ! 10,000人突破ありがとうキャンペーン!(9/18~10/23)
 
デジモノに埋もれる日々 : (C) CKWorks