惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

N
Netflix TechBlog - Medium
N
News and Events Feed by Topic
Latest news
Latest news
C
CXSECURITY Database RSS Feed - CXSecurity.com
T
Threatpost
The Hacker News
The Hacker News
T
The Exploit Database - CXSecurity.com
S
Schneier on Security
Cisco Talos Blog
Cisco Talos Blog
Hacker News: Ask HN
Hacker News: Ask HN
Simon Willison's Weblog
Simon Willison's Weblog
W
WeLiveSecurity
H
Hacker News: Front Page
L
LINUX DO - 热门话题
T
Tor Project blog
N
News | PayPal Newsroom
S
Secure Thoughts
小众软件
小众软件
Recent Commits to openclaw:main
Recent Commits to openclaw:main
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
AWS News Blog
AWS News Blog
Security Latest
Security Latest
MyScale Blog
MyScale Blog
Webroot Blog
Webroot Blog
Cyberwarzone
Cyberwarzone
Engineering at Meta
Engineering at Meta
腾讯CDC
T
Tailwind CSS Blog
SecWiki News
SecWiki News
博客园 - 司徒正美
Microsoft Azure Blog
Microsoft Azure Blog
P
Palo Alto Networks Blog
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
V
V2EX
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
B
Blog RSS Feed
大猫的无限游戏
大猫的无限游戏
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
Martin Fowler
Martin Fowler
P
Proofpoint News Feed
GbyAI
GbyAI
C
Check Point Blog
博客园_首页
PCI Perspectives
PCI Perspectives
月光博客
月光博客
TaoSecurity Blog
TaoSecurity Blog
aimingoo的专栏
aimingoo的专栏
酷 壳 – CoolShell
酷 壳 – CoolShell
IT之家
IT之家

Hadoop

请教一下 Hadoop 在生产环境可以通过 Docker 安装吗? - V2EX hadoop zookeeper - V2EX 菜鸡初学者对 Hadoop 云端架构的一些疑惑 - V2EX 请问 hadoop 多块磁盘只部署一个 datanode 好还是每块磁盘各部署一个 datanode - V2EX 求助: Hadoop 中使用 Hbase 异常 - V2EX 有个选修课作业需要写一个关于 hadoop 技术的论文综述,有哪些比较重要的方面可以写 - V2EX 大佬们, 请问自学 hadoop 系列, 有什么教程或者资料吗? - V2EX 突然接到甲方的一个需求,要求从 hadoop 集群回到单机.... - V2EX 有什么部署 Hadoop 的主流方法么 - V2EX 爬虫每天传一次到 hdfs 能用 flume 吗? - V2EX 关于 Hadoop3 的 HADOOP_MAPRED_HOME - V2EX 请教一下存储的问题 - V2EX PayPal 上海招大数据研发工程师啦! - V2EX 大文件通过 Mapreduce 切分存入 hbase - V2EX Hadoop 读取 10 万个文件初始化过程很慢有方便的解决办法么? - V2EX 公司要做个数仓,单机 hadoop 是否没什么意义,但是又想自己动手做一下。求给建议! - V2EX 求助: hadoop 的 wordcount 一直是挂起状态 ACCEPTED: waiting for AM container to be allocated, launched and register with RM. - V2EX 大数据环境中压缩格式用什么比较好? - V2EX 有什么好的办法可以用 Flink/Spark 高效率并行处理大量大小不一的压缩数据 - V2EX 请教从外部访问用 docker 搭建的 hadoop 集群的问题? - V2EX 关于分布式系统的学习 - V2EX springboot 整合 spark, 集群方式启动需要怎么配置呢? - V2EX 关于 zookeeper 集群 leader 节点的选举问题? - V2EX 如何从 afs 上下载数据 - V2EX 如何使用代码获取两个 Namenode 的节点信息? - V2EX SQOOP 导出数据到 MYSQL 报错 - V2EX 请教, CDH 集群管理工具, centos 普通用户可以安装吗?还是必须使用 root 用户 - V2EX 关于 HDFS 小文件归档有什么好办法吗? - V2EX 请教 9 台机器的 hadoop 集群角色分配问题 - V2EX cloudera agent 启动失败 - V2EX MapReduce 应用在本地调试正常,集群上跑不动 - V2EX spark 的 shuffle 算子一定会产生宽依赖吗? - V2EX spark graphx 怎么实现类似 QQ 好友推荐功能? neo4j 一条语句实现 - V2EX 自建 5 个节点的 Hadoop 集群,以及完成 MapReduce 作业 - V2EX 请教 hadoop 配置文件中配置项的作用域 - V2EX yarn 可以监控 hadoop 或者 spark 的服务吗? - V2EX 有很多 xml 文件,如何按照文件去并行,而不是一个大文件切分成小块来做并行计算呢? - V2EX 大量 zip 压缩包,每一个都很小, 10M 以内,如何利用 MapReduce 实现快速解压呢? - V2EX 请教关于 HDFS DELEGATION TOKEN 过问题。 - V2EX 关于 Spark 读取预分区 Hbase 问题 - V2EX [腾讯岗位] 大数据开发工程师(深圳) - V2EX Apache Kylin 在 left outer join 后为何不支持+-*/运算啊? - V2EX 美资电商 Coupang(韩国电商巨头)在上海办公室招 Chief Architect(大数据方向) - V2EX hadoop or spark 大数据去重(10 亿) - V2EX 请教个 hadoop 指令问题 - V2EX 请问这个 hadoop 指令是什么意思啊 - V2EX 想请教一下从 oozie 调用 hadoop 遇到的问题 - V2EX Hadoop security - V2EX 大家经常去哪些大数据的论坛或者网站学习呢? - V2EX
请教: hadoop 不会将大表格分割为 block - V2EX
hiouyuu · 2019-09-27 · via Hadoop

这是一个创建于 2453 天前的主题,其中的信息可能已经有所发展或是发生改变。

不是 dba,只是用户。

我之前使用的集群,在 sqoop 导入、create、insert 等操作,都会将大的表格分割为 100-200M 的小文件。但目前所用的 hadoop 集群上面操作时,永远是在原文件上 append,导致文件越来越大,hdfs dfs ls 查看到表格仅由单个文件组成,个别表格文件大小甚至可能超过数十 GB。

我个人也不知道是否因为这个原因导致速度非常差。

请问是否有配置需要修改?有没有可能对现有表格进行分割?

suixn

1

suixn      2019 年 9 月 27 日   ❤️ 1

dfs.block.size 设置的多大?

id4alex

2

id4alex      2019 年 9 月 27 日   ❤️ 1

你在 hdfs 上看到一个文件, 底层是多个 block 分布在不同节点.

hiouyuu

3

hiouyuu      2019 年 9 月 27 日

谢谢两位,发现文件的确是分割为 blocks 了。

这样看起来速度慢仍然是需要靠分区来搞定,我回头和 DBA 那边说说吧。