Amazon商品の価格変動チェック「あまとも」
コミックダッシュ!は初音ミクGTプロジェクトを応援しています
個人ニュースサイトを巡回する「メガとんトラック」
全ての記事 携プレMP3 デジカメ レコーダ ゲーム メモリ デジモノ コラム 雑談 ブログ あまとも コミックダッシュ!
前の記事次の記事
2007/03/06 23:59 - 2007/03/06

「メガとんトラック」巡回プログラム性能改善 - 原因はDBのINDEX

カテゴリ : 雑談 タグ :

    個人ニュースサイトさまを定期巡回してホットなリンクを選び出すサービス、
    メガとんトラック」ですが、そのURL収集スクリプトが異常に負荷が掛かる、
    というお話を、ここデジ埋でもちょっとだけお話していました。
     
    ■2006/05/02 [最近、妙に部屋が暑いのです。その理由は・・・]
    おかしい・・・絶対どこかプログラムがおかしい・・・(;´Д`)
    昨年の4/2にサービスを開始して、1ヶ月後の5/2には既に、当時のメイン
    サーバであったPen4 2.4GHzマシンで 「40分」 掛かるようになっていました。
     
    ■2006/09/04 [CPU使用率が1/4に!? Core 2 Duo E6700 サーバが威力を発揮!]
     
    昨年の9/1にメインサーバがCore 2 Duo E6700に置き換わり、
    処理速度は格段に向上します。この時点では、メガとんのスクリプト実行
    だけ別のファイルサーバ(Celeron 2.0GHz)に移されていましたが、
    実行時間はもはや1周 「3時間以上」 という酷い状態になっていました。
     
    その後このスクリプト自体もCore 2 Duoサーバで走らせるように変更した
    ところ、1周 「30分」 で収まるようになったのですが、それから半年経った現在、
    ついにCore 2 Duoサーバでも完走に 「1時間」 掛かるようになってしまいました。
     
    とにかくプログラムが 「どこかおかしい」 のは判っていたのですが、
    時間もなく手をつけていない状況が続いていました。
    が、先日ついにその原因を突き止めました!
     
    このメガとん、取得したURLを1つ1つ「既出かどうか」を調べるために、
    収集済みのURL(すでに30万件超)との比較を行うのですが、
     
     その比較がDBフルスキャンになっていました・・・!
     
    なんでいままで気が付かなかったのでしょう((((゜Д゜;))))
    「○○ID」のように数字で指定するカラムには大抵INDEXが張ってある
    のですが、このURLのカラムにはINDEXが張ってありませんでした。
    おそるおそるCREATE INDEXをして再実行してみます・・・。すると、
     
     1周「60分」→「2分」に短縮されました!!
     
    ・・・・・呆然です。
    いえーい、30倍の高速化だぜー、って喜んでいいものかどうか。
    いままでのプログラムのタコさに自分でも唖然としたひと幕でした orz
     
    というワケで、4時間おきに伸ばしていた巡回間隔は2時間おきに戻す
    ことができましたし、巡回時間の関係で新規追加を見送っていた巡回先も
    これからは気兼ねなく追加していくことができそうです。
     
    今後とも「メガとんトラック」を宜しくお願いいたします。
     

    CK@デジモノに埋もれる日々 @ckom
    ブログ「デジモノに埋もれる日々」「アニメレーダー」「コミックダッシュ!」管理人。デジモノ、アニメ、ゲーム等の雑多な情報をツイートします。



    投稿者 CK : 記事URL | 雑談 | | 2007/03/06 23:59


    « サンコーのWiiリモコン充電池、ゲーム中にも問題が?!

    トップに戻る

    iPod nano対抗の新ウォークマン「NW-A800」シリーズは大画面と動画で勝負 »



    ▼ コメント ▼

    ご自由にコメントください(=゜ω゜)ノ  ▼ コメント入力欄を開く ▼
    ※管理人は多忙のためお返事はほとんどできません(スミマセン)。
    スパムおよび本文と無関係なコメントは削除対象になる可能性があります。


    ▼ はてなブックマークのコメント ▼


    ▼ トラックバック ▼

    このエントリーのトラックバックURL:

    ★コミックダッシュ! 10,000人突破ありがとうキャンペーン!(9/18~10/23)
     
    デジモノに埋もれる日々 : (C) CKWorks