V2EX › Hadoop
ysn2233 · 2020 年 3 月 11 日 · 4204 次点击
这是一个创建于 2286 天前的主题，其中的信息可能已经有所发展或是发生改变。
数据格式都是 gzip 压缩，都没法切分，只能一个线程读一个文件，很多时候小文件早就处理完了，但大文件会非常慢。有没有什么好的办法可以让 gzip 变得 splittable
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。
