惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

月光博客
月光博客
小众软件
小众软件
爱范儿
爱范儿
Y
Y Combinator Blog
博客园 - Franky
美团技术团队
博客园 - 【当耐特】
The Cloudflare Blog
罗磊的独立博客
Hugging Face - Blog
Hugging Face - Blog
Jina AI
Jina AI
IT之家
IT之家
人人都是产品经理
人人都是产品经理
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
大猫的无限游戏
大猫的无限游戏
Apple Machine Learning Research
Apple Machine Learning Research
博客园 - 聂微东
WordPress大学
WordPress大学
V
Visual Studio Blog
博客园_首页
阮一峰的网络日志
阮一峰的网络日志
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
有赞技术团队
有赞技术团队

Hadoop

请教一下 Hadoop 在生产环境可以通过 Docker 安装吗? hadoop zookeeper 请问 hadoop 多块磁盘只部署一个 datanode 好还是每块磁盘各部署一个 datanode 求助: Hadoop 中使用 Hbase 异常 有个选修课作业需要写一个关于 hadoop 技术的论文综述,有哪些比较重要的方面可以写 大佬们, 请问自学 hadoop 系列, 有什么教程或者资料吗? 突然接到甲方的一个需求,要求从 hadoop 集群回到单机.... 有什么部署 Hadoop 的主流方法么 爬虫每天传一次到 hdfs 能用 flume 吗? 关于 Hadoop3 的 HADOOP_MAPRED_HOME 请教一下存储的问题 PayPal 上海招大数据研发工程师啦! 大文件通过 Mapreduce 切分存入 hbase Hadoop 读取 10 万个文件初始化过程很慢有方便的解决办法么? 公司要做个数仓,单机 hadoop 是否没什么意义,但是又想自己动手做一下。求给建议! 求助: hadoop 的 wordcount 一直是挂起状态 ACCEPTED: waiting for AM container to be allocated, launched and register with RM. 大数据环境中压缩格式用什么比较好? 有什么好的办法可以用 Flink/Spark 高效率并行处理大量大小不一的压缩数据 请教从外部访问用 docker 搭建的 hadoop 集群的问题? 请教: hadoop 不会将大表格分割为 block 关于分布式系统的学习 springboot 整合 spark, 集群方式启动需要怎么配置呢? 关于 zookeeper 集群 leader 节点的选举问题? 如何从 afs 上下载数据 如何使用代码获取两个 Namenode 的节点信息? SQOOP 导出数据到 MYSQL 报错 请教, CDH 集群管理工具, centos 普通用户可以安装吗?还是必须使用 root 用户 关于 HDFS 小文件归档有什么好办法吗? 请教 9 台机器的 hadoop 集群角色分配问题 cloudera agent 启动失败
菜鸡初学者对 Hadoop 云端架构的一些疑惑
zywoo · 2022-08-28 · via Hadoop

Java 开发实习生,但是实习期间一直在弄些 hive 脚本的相关工作,维护现有的报表。 之前没了解过大数据相关,自学了两天 Hadoop 和 Hive 相关的东西,有一些疑问: 1 、由于公司是海外业务,aws 和 azure 用的比较多,数仓这一套东西全都搭在云上,用的是 aws EMR 服务 + aws S3 做存储。这里第一个问题:S3 作为存储服务,是和 HDFS 同级别的东西吗?是 S3 从根本上代替了 HDFS ,还是说 HDFS 是一种概念或者规范,S3 是 HDFS 的一种实现方式? 2 、如果是前者,那么 HDFS 架构中的 NameNode ,DataNode 这些概念,在 S3 中是必要的吗? S3 又是否有数据冗余的措施来保证数据的高可用?

初学者有很多基本的概念和理念还没有搞清楚,所以这可能是一个非常蠢的问题。求有经验的大佬们点拨一二