这是一个创建于 2768 天前的主题，其中的信息可能已经有所发展或是发生改变。
大量 zip 压缩包，每一个都很小，10M 以内，如何利用 MapReduce 实现快速解压呢？
 |
1 ym1ng 2018 年 11 月 15 日自己写 InputFormat （别问我怎么写有没有资料啥的，逃～ |
 |
4 Vamposine 2018 年 11 月 15 日 via iPhone 1
你这个瓶颈是磁盘 io 吧 |
 |
5 dawncold 2018 年 11 月 15 日如果你只是想解压这些 zip 文件的话，多开几个进程或者线程，和 CPU 个数差不多，一个个解压就挺快吧？当然如果有很多资源可用，确实可以搞分布式解压，就行 mapreduce 一样？ |
 |
7 Valyrian 2018 年 11 月 15 日多开几个进程同时解 |
 |
9 dhairoot 2018 年 11 月 15 日@dawncold 现在的情况是总共有 16T 文件，通过手动的把文件分开放在不同电脑上，开多线程去解压就已经非常耗时了，所以才想通过上传到 hdfs，利用 MapReduce 解压，。但是目前发现解压速度太慢了，完全不知道因为什么。 |
 |
11 AnyISalIn 2018 年 11 月 15 日MapReduce 肯定没有本地多线程解压快的 |
 |
12 hearfish 2018 年 11 月 15 日不同压缩格式的解压速度是不一样的，先看看你的压缩格式能支持多快的速度吧 |
 |
14 surfire91 2018 年 11 月 15 日这个没必要 MapReduce 吧，你这个全是小任务，就多进程 /线程来好了，效率肯定比 MapReduce 高。 |
 |
15 cyhulk 2018 年 11 月 15 日forkjoinpool |
 |
16 est 2018 年 11 月 15 日你是说 hdfs 上有大量 zip 文件，还是说你本地硬盘上有很多小 zip 文件想用 mapreduce 加速？ 如果是后者。。。 |
|
18 dhairoot 2018 年 11 月 15 日 via Android@dawncold 我现在测试在本地多线程解压，但是因为都是小文件，每秒 io 次数很多，但是读写速度只能达到 10mb/s |
 |
19 mmtromsb456 2018 年 11 月 15 日 1
要考虑磁盘的 IOPS 吧..小文件多线程并发解压应该算个低队列深度 IO.你先确认下 IOPS 到达你的 SSD 瓶颈没有.而不是看读写速度 |
 |
20 20015jjw 2018 年 11 月 15 日 via Android为啥要 mapreduce.～ |
 |
22 atomstar 2018 年 11 月 15 日处理 zip 里面的数据可以用 mr，但是就解压 zip，为什么要和 mr 扯上关系呢 |
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。