



























这是一个创建于 2453 天前的主题,其中的信息可能已经有所发展或是发生改变。
不是 dba,只是用户。
我之前使用的集群,在 sqoop 导入、create、insert 等操作,都会将大的表格分割为 100-200M 的小文件。但目前所用的 hadoop 集群上面操作时,永远是在原文件上 append,导致文件越来越大,hdfs dfs ls 查看到表格仅由单个文件组成,个别表格文件大小甚至可能超过数十 GB。
我个人也不知道是否因为这个原因导致速度非常差。
请问是否有配置需要修改?有没有可能对现有表格进行分割?
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。