Amazon商品の価格変動チェック「あまとも」
コミックダッシュ！は初音ミクGTプロジェクトを応援しています
個人ニュースサイトを巡回する「メガとんトラック」
全ての記事 携プレMP3 デジカメ レコーダ ゲーム メモリ デジモノ コラム 雑談 ブログ あまとも コミックダッシュ！
前の記事次の記事
2009/06/08 23:59　-　2009/06/08

「Out of memory!」のエラーメール、原因はメガとんトラックのクロウラー？

カテゴリ : 雑談　タグ :

    一昨日あたりから急に、Cron Daemonから 「Out of memory!」 とだけ
    記されたメールが届くようになりました。Gmailでスパム判定されて
    ゴミ箱に直行していましたので気が付くまでにちょっと時間が掛かりました・・・。
    　

    　
    cron実行時のエラーメッセージですから、吐き出してるプログラムは
    ちゃんと記されています。確認してみると、
    　
    　「メガとんトラック」のURLクロウラー
    　
    のバッチプログラムでした。
    　
    ■メガとんトラック - トップページ
    http://ckworks.jp/megaton/

    　
    メガとんトラックは100箇所前後の 個人ニュースサイトを定期巡回 し、
    URLの出現数をチェックして注目ニュースを浮かび上がらせるという
    サービスです。今回はその定期巡回プログラムがエラーを起こしていました。
    　
    それにしてもPerlプログラムが Out of memory! を起こすというのは
    よっぽどのことです。一体何があったのかを1つ1つ調べてみると、
    URLの内容チェックをしている際に、
    　
    　巨大動画ファイルをダウンロードしていた
    　
    ことが判明しました orz　メガとんトラックではURLチェックをする際に、
    そのURLのほうもアクセスして中身(タイトルなど)を調べるということを
    するのですが、巨大動画もその流れでダウンロードしようとして
    数百MB のデータの延々ダウンロードを敢行、そのうち Out of memory! を
    起こして異常終了するというのがコトの顛末です。
    　
    結局、URLのタイプを確認してメディア系のファイルを取りに行かない
    ようにしたところ、問題なく動き始めるようになりました。
    　
    そう考えると、今までは Out of memory! を起こすほどではなかった
    というだけで、結構無意味なメディアファイルをダウンロードチェック
    していたことが多かったのかもしれません。広告系のURLなどは事前排除
    するなど地味な工夫も入っているのですが、こういうのはやはりやってみて
    地道な運用 の中で初めて分かるコトが多くて、いろいろ勉強させられます。

    個人ニュースサイト巡回の「メガとんトラック」

    CK＠デジモノに埋もれる日々 @ckom
    ブログ「デジモノに埋もれる日々」「アニメレーダー」「コミックダッシュ！」管理人。デジモノ、アニメ、ゲーム等の雑多な情報をツイートします。



    投稿者 CK : 記事URL | 雑談 | | 2009/06/08 23:59


    « GREENHOUSEからネットワークUSBハブ「GH-USNH4P」 - 使いどころが問題？
    トップに戻る
    RAWモード対応の「Eye-Fi Pro」・・・よりも気になる「選択転送」機能 »


    ▼ このブログの新着記事 ▼



    ▼ コメント ▼

    ご自由にコメントください(＝゜ω゜)ノ
    ※管理人は多忙のためお返事はほとんどできません（スミマセン）。
    スパムおよび本文と無関係なコメントは削除対象になる可能性があります。

    保存しますか?



    ▼ はてなブックマークのコメント ▼


    この記事をはてなブックマークに追加/編集する


    ▼ トラックバック ▼

    このエントリーのトラックバックURL:

    ★コミックダッシュ！ 10,000人突破ありがとうキャンペーン！(9/18～10/23)
     
    デジモノに埋もれる日々 : (C) CKWorks