Skip to main content

seekzstdsep

seekzstdsep

概要

seekzstdsep は, Zstandard Seekable Format 互換性をもったまま, frame のrecord 数を同一にして圧縮すると、大きいファイルの jsonl や csv 等で random アクセスが可能になるようにするためのツールです。

frame の行数がどういつなので 行番号を指定しての取得が早くなります.

ファイル内の位置ごとの、1 レコードを読むのにかかる時間 ファイル内の位置ごとの、1 レコードを読むのにかかる時間

comments powered by Disqus