「Out of memory!」のエラーメール、原因はメガとんトラックのクロウラー?

2009/06/08

一昨日あたりから急に、Cron Daemonから 「Out of memory!」 とだけ
記されたメールが届くようになりました。Gmailでスパム判定されて
ゴミ箱に直行していましたので気が付くまでにちょっと時間が掛かりました・・・。
 

 
cron実行時のエラーメッセージですから、吐き出してるプログラムは
ちゃんと記されています。確認してみると、
 
 「メガとんトラック」のURLクロウラー
 
のバッチプログラムでした。
 
■メガとんトラック - トップページ
http://ckworks.jp/megaton/

 
メガとんトラックは100箇所前後の 個人ニュースサイトを定期巡回 し、
URLの出現数をチェックして注目ニュースを浮かび上がらせるという
サービスです。今回はその定期巡回プログラムがエラーを起こしていました。
 
それにしてもPerlプログラムが Out of memory! を起こすというのは
よっぽどのことです。一体何があったのかを1つ1つ調べてみると、
URLの内容チェックをしている際に、
 
 巨大動画ファイルをダウンロードしていた
 
ことが判明しました orz メガとんトラックではURLチェックをする際に、
そのURLのほうもアクセスして中身(タイトルなど)を調べるということを
するのですが、巨大動画もその流れでダウンロードしようとして
数百MB のデータの延々ダウンロードを敢行、そのうち Out of memory! を
起こして異常終了するというのがコトの顛末です。
 
結局、URLのタイプを確認してメディア系のファイルを取りに行かない
ようにしたところ、問題なく動き始めるようになりました。
 
そう考えると、今までは Out of memory! を起こすほどではなかった
というだけで、結構無意味なメディアファイルをダウンロードチェック
していたことが多かったのかもしれません。広告系のURLなどは事前排除
するなど地味な工夫も入っているのですが、こういうのはやはりやってみて
地道な運用 の中で初めて分かるコトが多くて、いろいろ勉強させられます。

個人ニュースサイト巡回の「メガとんトラック」


2009/06/08 [updated : 2009/06/08 23:59]


この記事を書いたのは・・・。
CK@デジモノに埋もれる日々 @ckom
ブログ「デジモノに埋もれる日々」「アニメレーダー」「コミックダッシュ!」管理人。デジモノ、アニメ、ゲーム等の雑多な情報をツイートします。




« GREENHOUSEからネットワークUSBハブ「GH-USNH4P」 - 使いどころが問題?

トップに戻る

RAWモード対応の「Eye-Fi Pro」・・・よりも気になる「選択転送」機能 »


▼ はてなブックマークのコメント ▼



「かぐや様は告らせたい コラボカフェ」in AMOCAFE池袋店、「映画ゆるキャン△」in チネチッタに行ってきました。


「Aqours 6th LoveLive! ~KU-RU-KU-RU Rock 'n' Roll TOUR~ 東京 WINDY STAGE」in 東京ドーム Day1/Day2に行ってきました


「グッドスマイルミーティング 2022 Vol.4」 悔しい悔しいRd.3鈴鹿の振り返りとRd.4富士展望です。


バンドリ!野外ライブ2DAYS「Mythology Chapter.2」「OVERKILL」in 富士急コニファーフォレストに行ってきました。


祝・劇場公開1周年「劇場版 少女☆歌劇レヴュースタァライト」生コメンタリー上映会 in 池袋Hall Mixaに行ってきました。


「ヤマノススメ サードシーズン振り返り上映会」第1部 in イオンシネマ板橋に行ってきました。


「少女☆歌劇レヴュースタァライト Re:LIVE Reading Theatre 『田中ゆゆ子の古典落語劇場』」in 飛行船シアターに行ってきました。


連投メモ:作品を「主観」で評価するときに意識する "向こう岸" のこと


プロメア3周年!HUB秋葉原店コラボで「インフェルノヴォルケーノマルゲリータメガマックス」ピザ、チネチッタで滅殺開墾ハードコア上映


映画「バブル」Dolby CINEMA in 丸の内ピカデリーにいってきました。


「グッドスマイルミーティング 2022 Vol.3」 大波乱のRd.2富士の振り返りとRd.3鈴鹿展望です。


「少女☆歌劇レヴュースタァライト -The LIVE-#2 revival 舞台挨拶付き上映会」in 池袋Hall Mixaに行ってきました。

ピックアップタグ




ブログ内検索



▼ コメント ▼

ご自由にコメントください(=゜ω゜)ノ
※管理人は多忙のためお返事はほとんどできません(スミマセン)。
スパムおよび本文と無関係なコメントは削除対象になる可能性があります。


保存しますか?




★コミックダッシュ! 10,000人突破ありがとうキャンペーン!(9/18~10/23)
 
デジモノに埋もれる日々 : (C) CKWorks