4GB超えファイルだとgzipの情報表示も何かおかしい? ほかDBデータ整理のお話

2010/07/17

■2010/07/12 [zipの4GB制限が原因で、DBのバックアップファイルコピーに失敗
zipの4GB制限が原因で、DBのバックアップファイルコピーに失敗]
MySQLの全データのダンプを吐き出して、それをzipで圧縮して数世代ぶん取っておくというやり方をしていたのですが、zipのところで4GBオーバーのファイルを扱えないというエラーが出て止まっているようでした。
ということで、対象ファイルが 4GBを超えた 時点からzipがエラーを出し、
代わりにgzipを使い始めたというお話をしたのですが、
そのgzipで圧縮した4GB超のファイルをgzip -lしてみると、
 

$ gzip -l mysql_dump.gz.1
compressed uncompressed ratio uncompressed_name
992808208 26333294 -3670.2% mysql_dump.gz.1

何だか表示されるサイズが異常になっています。
compressed で 992MB なのに、uncompressed が 26MB、そしてそこから
単純計算をしているであろうratio(圧縮率)はマイナス表示です。。。
 
でも、gzip -dで解凍してみるとこれがちゃんと解凍でき、
元のサイズである 4.31GB (4317780562 bytes)のファイルが確かに
復元されました。おかしいのは情報表示上の問題だけなのかもしれません。
 
あわせて、以下の点にも手を入れる作業を行いました。
意外かもしれませんが、実は一番容量を喰っているのは「コミックダッシュ!」ではなく 「メガとんトラック」のリンク情報 のほうです。
DBの中で一番容量を喰っていたのは「メガとんトラック」の中にある
リンク情報 のDBです。これは巡回している個人ニュースサイトの中に
一度でも出てきたリンクは一応辿ってみて タイトルや概要 (本文の先頭
数百文字)を保存していく、というものなのですが、これについて、
 
「1サイトからのリンクしか確認できずに 半年以上 経ったものは
 タイトルと概要(本文数百文字)をDBから消す」
 
という処理を加えたところ、
 

$ gzip -l mysql_dump.gz
compressed uncompressed ratio uncompressed_name
598520491 2674564417 77.6% mysql_dump

 
4.31GBのファイルが 2.67GB まで減りました。。。実に1.6GB(-38%)の削減です。
定期的にこうしたゴミデータ整理をするのはとても重要ですね(;´Д`)


2010/07/17 [updated : 2010/07/17 23:59]


この記事を書いたのは・・・。
CK@デジモノに埋もれる日々 @ckom
ブログ「デジモノに埋もれる日々」「アニメレーダー」「コミックダッシュ!」管理人。デジモノ、アニメ、ゲーム等の雑多な情報をツイートします。




« SuperGT「初音ミク×GSRポルシェ」2010年1期個人スポンサーグッズが到着!

トップに戻る

ニコニコ動画の新プレイヤーリリース、エンコード基準は「640×360」へ! »


▼ はてなブックマークのコメント ▼



「劇場版 BanG Dream! ぽっぴん'どりーむ!」in シアタス調布、と、3DCGアニメについて少しだけ雑記。


連投メモ:最近VTuberまわりを周回遅れで履修して楽しんでいるのこと


グッドスマイルレーシングの新デザインお披露目!東京オートサロン2022 in 幕張メッセに行ってきました。


イオンシネマ海老名7番で2本立て「劇場版 BanG Dream! ぽっぴん'どりーむ!」「劇場版スタァライト」


「劇場版 BanG Dream! ぽっぴん'どりーむ」舞台挨拶中継付き上映に行ってきました。


Aqours、虹ヶ咲、Liella!合同年越しライブ「LoveLive! Series Presents COUNTDOWN LoveLive! 2021→2022 ~LIVE with a smile!~」in ぴあアリーナMMに行ってきました。


連投メモ:作品の評価は、それに触れたときの環境に大きく左右される


チネチッタ冬の祭典「ザウンドレボリューション2021」で3本立て!「ロンド・ロンド・ロンド」「劇場版スタァライト」「プロメア」


連投メモ:「応援上映」に於ける盛り上がり着地点イメージと「運営・段取り」の大切さ


2022年チーム体制&レーシングミク発表!「初音ミクGTプロジェクト 2021シーズン報告会」生放送


「アイの歌声を聴かせて」キャスト・スタッフ舞台挨拶付き上映 in グランドシネマサンシャイン池袋に行ってきましたほか3本


私的2021年アニメ映画ベスト10

ピックアップタグ




ブログ内検索



▼ コメント ▼

ご自由にコメントください(=゜ω゜)ノ
※管理人は多忙のためお返事はほとんどできません(スミマセン)。
スパムおよび本文と無関係なコメントは削除対象になる可能性があります。


保存しますか?




★コミックダッシュ! 10,000人突破ありがとうキャンペーン!(9/18~10/23)
 
デジモノに埋もれる日々 : (C) CKWorks