 前の記事 |  | 次の記事 
|
「Out of memory!」のエラーメール、原因はメガとんトラックのクロウラー？
一昨日あたりから急に、Cron Daemonから 「Out of memory!」 とだけ
記されたメールが届くようになりました。Gmailでスパム判定されて
ゴミ箱に直行していましたので気が付くまでにちょっと時間が掛かりました・・・。
cron実行時のエラーメッセージですから、吐き出してるプログラムは
ちゃんと記されています。確認してみると、
「メガとんトラック」のURLクロウラー
のバッチプログラムでした。
■メガとんトラック - トップページ
http://ckworks.jp/megaton/
メガとんトラックは100箇所前後の 個人ニュースサイトを定期巡回 し、
URLの出現数をチェックして注目ニュースを浮かび上がらせるという
サービスです。今回はその定期巡回プログラムがエラーを起こしていました。
それにしてもPerlプログラムが Out of memory! を起こすというのは
よっぽどのことです。一体何があったのかを1つ1つ調べてみると、
URLの内容チェックをしている際に、
巨大動画ファイルをダウンロードしていた
ことが判明しました orz メガとんトラックではURLチェックをする際に、
そのURLのほうもアクセスして中身(タイトルなど)を調べるということを
するのですが、巨大動画もその流れでダウンロードしようとして
数百MB のデータの延々ダウンロードを敢行、そのうち Out of memory! を
起こして異常終了するというのがコトの顛末です。
結局、URLのタイプを確認してメディア系のファイルを取りに行かない
ようにしたところ、問題なく動き始めるようになりました。
そう考えると、今までは Out of memory! を起こすほどではなかった
というだけで、結構無意味なメディアファイルをダウンロードチェック
していたことが多かったのかもしれません。広告系のURLなどは事前排除
するなど地味な工夫も入っているのですが、こういうのはやはりやってみて
地道な運用 の中で初めて分かるコトが多くて、いろいろ勉強させられます。
ブログ「デジモノに埋もれる日々」「アニメレーダー」「コミックダッシュ！」管理人。デジモノ、アニメ、ゲーム等の雑多な情報をツイートします。
@ckom をフォローする
« GREENHOUSEからネットワークUSBハブ「GH-USNH4P」 - 使いどころが問題？ | トップに戻る | RAWモード対応の「Eye-Fi Pro」・・・よりも気になる「選択転送」機能 » |
▼ はてなブックマークのコメント ▼
関連記事
ピックアップタグ
- イベント(106)
- 舞台挨拶(33)
- ライブ(28)
- 先行上映会(16)
- コラボカフェ(14)
- トークショー(13)
- コメンタリー上映(4)
- アニメ吐き出しメモ(9)
- ゲームプレイ日記(23)
- コラム(166)
- GSR(247)
- ワンフェス(11)
- 岩浪美和(24)
- ガールズ＆パンツァー(53)
- 大洗(8)
- 少女☆歌劇レヴュースタァライト(16)
- スタリラ(13)
- 響け！ユーフォニアム(10)
- リズと青い鳥(8)
- バンドリ！(11)
- RAISE A SUILEN(4)
- 艦これ(23)
- ストライクウィッチーズ(22)
- メイドインアビス(8)
- BLAME!(7)
- ヤマノススメ(6)
- ウマ娘(6)
- ラブライブ！サンシャイン!!(5)
- HELLO WORLD(5)
- 宇宙よりも遠い場所(5)
- ゾンビランドサガ(5)
- プリンセス・プリンシパル(5)
- ヴァイオレット・エヴァーガーデン(4)
▼ コメント ▼
ご自由にコメントください(＝゜ω゜)ノ※管理人は多忙のためお返事はほとんどできません（スミマセン）。
スパムおよび本文と無関係なコメントは削除対象になる可能性があります。
コメントしましょう