惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Vercel News
Vercel News
Recorded Future
Recorded Future
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
The GitHub Blog
The GitHub Blog
Application and Cybersecurity Blog
Application and Cybersecurity Blog
Google DeepMind News
Google DeepMind News
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
Microsoft Azure Blog
Microsoft Azure Blog
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
M
MIT News - Artificial intelligence
云风的 BLOG
云风的 BLOG
Y
Y Combinator Blog
N
News | PayPal Newsroom
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Help Net Security
Help Net Security
博客园 - Franky
SecWiki News
SecWiki News
Recent Announcements
Recent Announcements
T
Troy Hunt's Blog
The Register - Security
The Register - Security
The Last Watchdog
The Last Watchdog
Webroot Blog
Webroot Blog
S
Security Affairs
博客园 - 司徒正美
S
Schneier on Security
I
InfoQ
博客园_首页
www.infosecurity-magazine.com
www.infosecurity-magazine.com
T
Threat Research - Cisco Blogs
Forbes - Security
Forbes - Security
腾讯CDC
N
Netflix TechBlog - Medium
N
News and Events Feed by Topic
Cloudbric
Cloudbric
T
The Exploit Database - CXSecurity.com
P
Proofpoint News Feed
A
About on SuperTechFans
Engineering at Meta
Engineering at Meta
Recent Commits to openclaw:main
Recent Commits to openclaw:main
B
Blog
V
Vulnerabilities – Threatpost
C
Check Point Blog
Google DeepMind News
Google DeepMind News
Google Online Security Blog
Google Online Security Blog
C
Cyber Attacks, Cyber Crime and Cyber Security
Hacker News - Newest:
Hacker News - Newest: "LLM"
C
Cisco Blogs
Schneier on Security
Schneier on Security
O
OpenAI News
K
Kaspersky official blog

Hadoop

请教一下 Hadoop 在生产环境可以通过 Docker 安装吗? - V2EX hadoop zookeeper - V2EX 菜鸡初学者对 Hadoop 云端架构的一些疑惑 - V2EX 请问 hadoop 多块磁盘只部署一个 datanode 好还是每块磁盘各部署一个 datanode - V2EX 求助: Hadoop 中使用 Hbase 异常 - V2EX 有个选修课作业需要写一个关于 hadoop 技术的论文综述,有哪些比较重要的方面可以写 - V2EX 大佬们, 请问自学 hadoop 系列, 有什么教程或者资料吗? - V2EX 突然接到甲方的一个需求,要求从 hadoop 集群回到单机.... - V2EX 有什么部署 Hadoop 的主流方法么 - V2EX 爬虫每天传一次到 hdfs 能用 flume 吗? - V2EX 关于 Hadoop3 的 HADOOP_MAPRED_HOME - V2EX 请教一下存储的问题 - V2EX PayPal 上海招大数据研发工程师啦! - V2EX 大文件通过 Mapreduce 切分存入 hbase - V2EX Hadoop 读取 10 万个文件初始化过程很慢有方便的解决办法么? - V2EX 公司要做个数仓,单机 hadoop 是否没什么意义,但是又想自己动手做一下。求给建议! - V2EX 求助: hadoop 的 wordcount 一直是挂起状态 ACCEPTED: waiting for AM container to be allocated, launched and register with RM. - V2EX 有什么好的办法可以用 Flink/Spark 高效率并行处理大量大小不一的压缩数据 - V2EX 请教从外部访问用 docker 搭建的 hadoop 集群的问题? - V2EX 请教: hadoop 不会将大表格分割为 block - V2EX 关于分布式系统的学习 - V2EX springboot 整合 spark, 集群方式启动需要怎么配置呢? - V2EX 关于 zookeeper 集群 leader 节点的选举问题? - V2EX 如何从 afs 上下载数据 - V2EX 如何使用代码获取两个 Namenode 的节点信息? - V2EX SQOOP 导出数据到 MYSQL 报错 - V2EX 请教, CDH 集群管理工具, centos 普通用户可以安装吗?还是必须使用 root 用户 - V2EX 关于 HDFS 小文件归档有什么好办法吗? - V2EX 请教 9 台机器的 hadoop 集群角色分配问题 - V2EX cloudera agent 启动失败 - V2EX MapReduce 应用在本地调试正常,集群上跑不动 - V2EX spark 的 shuffle 算子一定会产生宽依赖吗? - V2EX spark graphx 怎么实现类似 QQ 好友推荐功能? neo4j 一条语句实现 - V2EX 自建 5 个节点的 Hadoop 集群,以及完成 MapReduce 作业 - V2EX 请教 hadoop 配置文件中配置项的作用域 - V2EX yarn 可以监控 hadoop 或者 spark 的服务吗? - V2EX 有很多 xml 文件,如何按照文件去并行,而不是一个大文件切分成小块来做并行计算呢? - V2EX 大量 zip 压缩包,每一个都很小, 10M 以内,如何利用 MapReduce 实现快速解压呢? - V2EX 请教关于 HDFS DELEGATION TOKEN 过问题。 - V2EX 关于 Spark 读取预分区 Hbase 问题 - V2EX [腾讯岗位] 大数据开发工程师(深圳) - V2EX Apache Kylin 在 left outer join 后为何不支持+-*/运算啊? - V2EX 美资电商 Coupang(韩国电商巨头)在上海办公室招 Chief Architect(大数据方向) - V2EX hadoop or spark 大数据去重(10 亿) - V2EX 请教个 hadoop 指令问题 - V2EX 请问这个 hadoop 指令是什么意思啊 - V2EX 想请教一下从 oozie 调用 hadoop 遇到的问题 - V2EX Hadoop security - V2EX 大家经常去哪些大数据的论坛或者网站学习呢? - V2EX
大数据环境中压缩格式用什么比较好? - V2EX
ysn2233 · 2020-03-12 · via Hadoop

ysn2233

V2EX  ›  Hadoop

大数据环境中压缩格式用什么比较好?

 

ysn2233 · 2020 年 3 月 12 日 · 3849 次点击

这是一个创建于 2285 天前的主题,其中的信息可能已经有所发展或是发生改变。

因为文件大小可能不一,需要支持 splittable 的,目前看到的貌似有 Bzip2 和 lzo (需要建索引),哪个相对比较好用?