惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

D
DataBreaches.Net
IT之家
IT之家
博客园_首页
博客园 - 【当耐特】
V
V2EX
Apple Machine Learning Research
Apple Machine Learning Research
G
Google Developers Blog
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
Recent Announcements
Recent Announcements
F
Fortinet All Blogs
GbyAI
GbyAI
腾讯CDC
H
Hackread – Cybersecurity News, Data Breaches, AI and More
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
I
InfoQ
H
Help Net Security
T
Tailwind CSS Blog
B
Blog RSS Feed
Martin Fowler
Martin Fowler
人人都是产品经理
人人都是产品经理
The Cloudflare Blog
博客园 - 叶小钗
雷峰网
雷峰网
量子位

博客园 - 南国故人(Wall)

oozie配置安装与原理 Livy原理详解 阿里(蚂蚁金服)招聘 Zeppelin原理简介 Spark job server原理初探 SparkSQL UDF使用方法与原理详解 使用Intellij加载Spark源代码 如何修改Git commit的信息 CarbonData编译与安装 Namenode HA原理详解 Spark Shuffle 堆外内存溢出问题与解决(Shuffle通信原理) Spark SQL 代码简要阅读(基于Spark 1.1.0) RDD原理与详解 Spark详解 Spark Streaming 执行流程 Namenode HA原理详解 Spark架构与作业执行流程简介 Spark 开发环境搭建 [NM 状态机2] Container状态机详解
YARN Application执行流程
南国故人(Wall) · 2014-03-13 · via 博客园 - 南国故人(Wall)

原文见  http://xiguada.org/yarn-application_run/ 

本节简单描述了一个Application在YARN上的执行流程,希望对初识YARN的同学提供一些帮助。

图1 Application执行流程

  1. 客户端提交作业到RM。

  2. RM在调度器中创建一个新的AppAttempt,维护该作业的信息。

  3. NM1向RM发送心跳,RM把ApplicationMaster分配到该NM1。

  4. RM通过RPC调用NM1的startcontainer方法。

  5. NM1启动AM。

  6. AM启动后向RM注册,并向RM请求资源。

  7. RM在调度器中维护AM所需的资源container1、container2等。

  8. NM2向RM发送心跳,请求资源。

  9. RM向NM2分配相应的资源container1。

  10. AM向RM发送心跳,RM告诉AM已经分配的container。

  11. AM通过RPC调用NM2的startcontainer方法。

  12. NM2启动container1。

  13. Container1启动后向AM汇报进度。

  14. Container1结束后NM通过心跳通知RM。

  15. AM向RM发送心跳,RM告诉AM相应的container1已经结束(也可以实现container直接告诉AM已经成功结束)。

  16. 当AM的所有Task已经结束,AM向RM汇报自己的结束状态。

转载请注明出处http://www.cnblogs.com/shenh062326/p/3598108.html