「Out of memory!」のエラーメール、原因はメガとんトラックのクロウラー？

2009/06/08

一昨日あたりから急に、Cron Daemonから 「Out of memory!」 とだけ
記されたメールが届くようになりました。Gmailでスパム判定されて
ゴミ箱に直行していましたので気が付くまでにちょっと時間が掛かりました・・・。
　

　
cron実行時のエラーメッセージですから、吐き出してるプログラムは
ちゃんと記されています。確認してみると、
　
　「メガとんトラック」のURLクロウラー
　
のバッチプログラムでした。
　
■メガとんトラック - トップページ
http://ckworks.jp/megaton/

　
メガとんトラックは100箇所前後の 個人ニュースサイトを定期巡回 し、
URLの出現数をチェックして注目ニュースを浮かび上がらせるという
サービスです。今回はその定期巡回プログラムがエラーを起こしていました。
　
それにしてもPerlプログラムが Out of memory! を起こすというのは
よっぽどのことです。一体何があったのかを1つ1つ調べてみると、
URLの内容チェックをしている際に、
　
　巨大動画ファイルをダウンロードしていた
　
ことが判明しました orz　メガとんトラックではURLチェックをする際に、
そのURLのほうもアクセスして中身(タイトルなど)を調べるということを
するのですが、巨大動画もその流れでダウンロードしようとして
数百MB のデータの延々ダウンロードを敢行、そのうち Out of memory! を
起こして異常終了するというのがコトの顛末です。
　
結局、URLのタイプを確認してメディア系のファイルを取りに行かない
ようにしたところ、問題なく動き始めるようになりました。
　
そう考えると、今までは Out of memory! を起こすほどではなかった
というだけで、結構無意味なメディアファイルをダウンロードチェック
していたことが多かったのかもしれません。広告系のURLなどは事前排除
するなど地味な工夫も入っているのですが、こういうのはやはりやってみて
地道な運用 の中で初めて分かるコトが多くて、いろいろ勉強させられます。

2009/06/08 [updated : 2009/06/08 23:59]

« GREENHOUSEからネットワークUSBハブ「GH-USNH4P」 - 使いどころが問題？

トップに戻る

RAWモード対応の「Eye-Fi Pro」・・・よりも気になる「選択転送」機能 »

▼ はてなブックマークのコメント ▼

関連記事

ピックアップタグ

• アニメ(399)
• GSR(288)
• ウマ娘(34)
• ライブ(53)
• イベント(164)
• コラボカフェ(29)
• 舞台挨拶(41)
• 先行上映会(19)
• トークショー(17)
• アニメ吐き出しメモ(10)
• バンドリ！(43)
• ガールズ＆パンツァー(58)
• 少女☆歌劇レヴュースタァライト(49)
• ゾンビランドサガ(8)
• プリンセス・プリンシパル(15)
• スタリラ(25)
• コラム(168)
• ゲームプレイ日記(55)
• ワンフェス(11)
• コメンタリー上映(6)
• 岩浪美和(25)
• 大洗(9)
• 響け！ユーフォニアム(11)
• リズと青い鳥(8)
• RAISE A SUILEN(9)
• 艦これ(23)
• ストライクウィッチーズ(23)
• メイドインアビス(8)
• BLAME!(8)
• ヤマノススメ(7)
• ラブライブ！サンシャイン!!(11)
• HELLO WORLD(6)
• 宇宙よりも遠い場所(5)
• ヴァイオレット・エヴァーガーデン(8)

ブログ内検索

▼ コメント ▼

ご自由にコメントください(＝゜ω゜)ノ
※管理人は多忙のためお返事はほとんどできません（スミマセン）。
スパムおよび本文と無関係なコメントは削除対象になる可能性があります。