圧縮データ転送は奥が深いと感じた話
先日、軽い気持ちで圧縮データ転送のことが気になり、Zlib圧縮を調べました。
転送帯域を増すためにzlib圧縮を学んでみました。 - moamoa diary
↑でもういいかなと思っていたのですが、ふとどんな研究があるのか調べてみたところ、 以下を見つけました。 私の方で重要と思った箇所を以下に記載します。
- 圧縮技術を用いた効率的なデータ通信方法の検討
https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=110904&item_no=1&page_id=13&block_id=8- zlib/xzほうが圧縮率が10%以上高いが、圧縮速度が100Mbpsしか出ないために、 lz4という圧縮率が低いが圧縮速度が高いものに転送速度で全く勝てない
- ベンチマークデータは sqeezenetのものを使用
Squeeze Chart • Lossless Data Compression Benchmarks --> ExcelをDownloadし、シート内からデータのURLを選択しデータ入手可能でした(Text(Bible)のみ確認。リンク切れもあるかもです)
あとがき
というわけで、先行研究調べたところ、gzipは処理が重く、圧縮データ転送には使い辛いことがわかってきました。 そんな中、圧縮、展開速度が高速なlz4/lz0という圧縮方式があることがわかりました。 正直なところ、これらのアルゴリズムについて差分がわからない面あるため、 次回はアルゴリズム毎の圧縮率と圧縮、展開速度の違いを評価してみることにします。
