Amazon商品の価格変動チェック「あまとも」
コミックダッシュ!は初音ミクGTプロジェクトを応援しています
個人ニュースサイトを巡回する「メガとんトラック」
前の記事次の記事
2009/06/08 23:59 - 2009/06/08

「Out of memory!」のエラーメール、原因はメガとんトラックのクロウラー?


一昨日あたりから急に、Cron Daemonから 「Out of memory!」 とだけ
記されたメールが届くようになりました。Gmailでスパム判定されて
ゴミ箱に直行していましたので気が付くまでにちょっと時間が掛かりました・・・。
 

 
cron実行時のエラーメッセージですから、吐き出してるプログラムは
ちゃんと記されています。確認してみると、
 
 「メガとんトラック」のURLクロウラー
 
のバッチプログラムでした。
 
■メガとんトラック - トップページ
http://ckworks.jp/megaton/

 
メガとんトラックは100箇所前後の 個人ニュースサイトを定期巡回 し、
URLの出現数をチェックして注目ニュースを浮かび上がらせるという
サービスです。今回はその定期巡回プログラムがエラーを起こしていました。
 
それにしてもPerlプログラムが Out of memory! を起こすというのは
よっぽどのことです。一体何があったのかを1つ1つ調べてみると、
URLの内容チェックをしている際に、
 
 巨大動画ファイルをダウンロードしていた
 
ことが判明しました orz メガとんトラックではURLチェックをする際に、
そのURLのほうもアクセスして中身(タイトルなど)を調べるということを
するのですが、巨大動画もその流れでダウンロードしようとして
数百MB のデータの延々ダウンロードを敢行、そのうち Out of memory! を
起こして異常終了するというのがコトの顛末です。
 
結局、URLのタイプを確認してメディア系のファイルを取りに行かない
ようにしたところ、問題なく動き始めるようになりました。
 
そう考えると、今までは Out of memory! を起こすほどではなかった
というだけで、結構無意味なメディアファイルをダウンロードチェック
していたことが多かったのかもしれません。広告系のURLなどは事前排除
するなど地味な工夫も入っているのですが、こういうのはやはりやってみて
地道な運用 の中で初めて分かるコトが多くて、いろいろ勉強させられます。

個人ニュースサイト巡回の「メガとんトラック」


この記事を書いたのは・・・。
CK@デジモノに埋もれる日々 @ckom
ブログ「デジモノに埋もれる日々」「アニメレーダー」「コミックダッシュ!」管理人。デジモノ、アニメ、ゲーム等の雑多な情報をツイートします。




« GREENHOUSEからネットワークUSBハブ「GH-USNH4P」 - 使いどころが問題?

トップに戻る

RAWモード対応の「Eye-Fi Pro」・・・よりも気になる「選択転送」機能 »


▼ はてなブックマークのコメント ▼



「バンドリ!&スタァライト展」in 東京ドームシティ Gallery AaMo に行ってきました。


「グッドスマイルミーティング 2020 Vol.2」はアキバCOギャラリーから生放送


「エアコンの故障」から「光ケーブルの付け替え」に波及、ドタバタの1週間


髪を切る。自分で。


「岩浪よしかずチャンネル」YouTubeに登場!闘う愉快な音響監督、岩浪さんの貴重な劇場トークが映像で見られる!


【テイクアウト編2】「ガールズ&パンツァー最終章×ココス道」パネル店めぐり、中野店に行ってきました。


「よんこますたぁらいと」2巻発売レヴューキャンペーンに当選!巻々廻先生の直筆サイン色紙(ふたかお)が!


GSRの新しい試み「在宅」生放送「グッドスマイルミーティング Vol.1」を実施。公式テーマソング発表など


【テイクアウト編】「ガールズ&パンツァー最終章×ココス道」パネル店めぐり、稲城店に行ってきました。


「ガールズ&パンツァー最終章×ココス道」パネル店めぐり、千住堀切橋店、千川店に行ってきました。


「へやキャン△」コラボカフェ in 秋葉原プリンセスカフェに行ってきました。ほか。


「劇場版SHIROBAKO」in グランドシネマサンシャイン池袋に行ってきました。ほか

ピックアップタグ



▼ コメント ▼

ご自由にコメントください(=゜ω゜)ノ
※管理人は多忙のためお返事はほとんどできません(スミマセン)。
スパムおよび本文と無関係なコメントは削除対象になる可能性があります。


保存しますか?




★コミックダッシュ! 10,000人突破ありがとうキャンペーン!(9/18~10/23)
 
デジモノに埋もれる日々 : (C) CKWorks