「メガとんトラック」巡回プログラム性能改善 - 原因はDBのINDEX

2007/03/06

個人ニュースサイトさまを定期巡回してホットなリンクを選び出すサービス、
メガとんトラック」ですが、そのURL収集スクリプトが異常に負荷が掛かる、
というお話を、ここデジ埋でもちょっとだけお話していました。
 
■2006/05/02 [最近、妙に部屋が暑いのです。その理由は・・・
最近、妙に部屋が暑いのです。その理由は・・・]
おかしい・・・絶対どこかプログラムがおかしい・・・(;´Д`)
昨年の4/2にサービスを開始して、1ヶ月後の5/2には既に、当時のメイン
サーバであったPen4 2.4GHzマシンで 「40分」 掛かるようになっていました。
 
■2006/09/04 [CPU使用率が1/4に!? Core 2 Duo E6700 サーバが威力を発揮!
CPU使用率が1/4に!? Core 2 Duo E6700 サーバが威力を発揮!]
 
昨年の9/1にメインサーバがCore 2 Duo E6700に置き換わり、
処理速度は格段に向上します。この時点では、メガとんのスクリプト実行
だけ別のファイルサーバ(Celeron 2.0GHz)に移されていましたが、
実行時間はもはや1周 「3時間以上」 という酷い状態になっていました。
 
その後このスクリプト自体もCore 2 Duoサーバで走らせるように変更した
ところ、1周 「30分」 で収まるようになったのですが、それから半年経った現在、
ついにCore 2 Duoサーバでも完走に 「1時間」 掛かるようになってしまいました。
 
とにかくプログラムが 「どこかおかしい」 のは判っていたのですが、
時間もなく手をつけていない状況が続いていました。
が、先日ついにその原因を突き止めました!
 
このメガとん、取得したURLを1つ1つ「既出かどうか」を調べるために、
収集済みのURL(すでに30万件超)との比較を行うのですが、
 
 その比較がDBフルスキャンになっていました・・・!
 
なんでいままで気が付かなかったのでしょう((((゜Д゜;))))
「○○ID」のように数字で指定するカラムには大抵INDEXが張ってある
のですが、このURLのカラムにはINDEXが張ってありませんでした。
おそるおそるCREATE INDEXをして再実行してみます・・・。すると、
 
 1周「60分」→「2分」に短縮されました!!
 
・・・・・呆然です。
いえーい、30倍の高速化だぜー、って喜んでいいものかどうか。
いままでのプログラムのタコさに自分でも唖然としたひと幕でした orz
 
というワケで、4時間おきに伸ばしていた巡回間隔は2時間おきに戻す
ことができましたし、巡回時間の関係で新規追加を見送っていた巡回先も
これからは気兼ねなく追加していくことができそうです。
 
今後とも「メガとんトラック」を宜しくお願いいたします。
 


2007/03/06 [updated : 2007/03/06 23:59]


この記事を書いたのは・・・。
CK@デジモノに埋もれる日々 @ckom
ブログ「デジモノに埋もれる日々」「アニメレーダー」「コミックダッシュ!」管理人。デジモノ、アニメ、ゲーム等の雑多な情報をツイートします。




« サンコーのWiiリモコン充電池、ゲーム中にも問題が?!

トップに戻る

iPod nano対抗の新ウォークマン「NW-A800」シリーズは大画面と動画で勝負 »


▼ はてなブックマークのコメント ▼



「劇場版 BanG Dream! ぽっぴん'どりーむ!」in シアタス調布、と、3DCGアニメについて少しだけ雑記。


連投メモ:最近VTuberまわりを周回遅れで履修して楽しんでいるのこと


グッドスマイルレーシングの新デザインお披露目!東京オートサロン2022 in 幕張メッセに行ってきました。


イオンシネマ海老名7番で2本立て「劇場版 BanG Dream! ぽっぴん'どりーむ!」「劇場版スタァライト」


「劇場版 BanG Dream! ぽっぴん'どりーむ」舞台挨拶中継付き上映に行ってきました。


Aqours、虹ヶ咲、Liella!合同年越しライブ「LoveLive! Series Presents COUNTDOWN LoveLive! 2021→2022 ~LIVE with a smile!~」in ぴあアリーナMMに行ってきました。


連投メモ:作品の評価は、それに触れたときの環境に大きく左右される


チネチッタ冬の祭典「ザウンドレボリューション2021」で3本立て!「ロンド・ロンド・ロンド」「劇場版スタァライト」「プロメア」


連投メモ:「応援上映」に於ける盛り上がり着地点イメージと「運営・段取り」の大切さ


2022年チーム体制&レーシングミク発表!「初音ミクGTプロジェクト 2021シーズン報告会」生放送


「アイの歌声を聴かせて」キャスト・スタッフ舞台挨拶付き上映 in グランドシネマサンシャイン池袋に行ってきましたほか3本


私的2021年アニメ映画ベスト10

ピックアップタグ




ブログ内検索



▼ コメント ▼

ご自由にコメントください(=゜ω゜)ノ
※管理人は多忙のためお返事はほとんどできません(スミマセン)。
スパムおよび本文と無関係なコメントは削除対象になる可能性があります。


保存しますか?




★コミックダッシュ! 10,000人突破ありがとうキャンペーン!(9/18~10/23)
 
デジモノに埋もれる日々 : (C) CKWorks