惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

P
Proofpoint News Feed
博客园_首页
WordPress大学
WordPress大学
大猫的无限游戏
大猫的无限游戏
有赞技术团队
有赞技术团队
阮一峰的网络日志
阮一峰的网络日志
Hugging Face - Blog
Hugging Face - Blog
博客园 - 【当耐特】
酷 壳 – CoolShell
酷 壳 – CoolShell
Y
Y Combinator Blog
Vercel News
Vercel News
The GitHub Blog
The GitHub Blog
T
The Blog of Author Tim Ferriss
云风的 BLOG
云风的 BLOG
博客园 - 司徒正美
Engineering at Meta
Engineering at Meta
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
J
Java Code Geeks
Stack Overflow Blog
Stack Overflow Blog
N
Netflix TechBlog - Medium
Martin Fowler
Martin Fowler
宝玉的分享
宝玉的分享
G
Google Developers Blog
Last Week in AI
Last Week in AI

博客园 - 南国故人(Wall)

oozie配置安装与原理 Livy原理详解 阿里(蚂蚁金服)招聘 Zeppelin原理简介 Spark job server原理初探 SparkSQL UDF使用方法与原理详解 使用Intellij加载Spark源代码 如何修改Git commit的信息 CarbonData编译与安装 Namenode HA原理详解 Spark Shuffle 堆外内存溢出问题与解决(Shuffle通信原理) Spark SQL 代码简要阅读(基于Spark 1.1.0) RDD原理与详解 Spark详解 Spark Streaming 执行流程 Namenode HA原理详解 Spark架构与作业执行流程简介 Spark 开发环境搭建 [NM 状态机2] Container状态机详解
YARN Application执行流程
南国故人(Wall) · 2014-03-13 · via 博客园 - 南国故人(Wall)

原文见  http://xiguada.org/yarn-application_run/ 

本节简单描述了一个Application在YARN上的执行流程,希望对初识YARN的同学提供一些帮助。

图1 Application执行流程

  1. 客户端提交作业到RM。

  2. RM在调度器中创建一个新的AppAttempt,维护该作业的信息。

  3. NM1向RM发送心跳,RM把ApplicationMaster分配到该NM1。

  4. RM通过RPC调用NM1的startcontainer方法。

  5. NM1启动AM。

  6. AM启动后向RM注册,并向RM请求资源。

  7. RM在调度器中维护AM所需的资源container1、container2等。

  8. NM2向RM发送心跳,请求资源。

  9. RM向NM2分配相应的资源container1。

  10. AM向RM发送心跳,RM告诉AM已经分配的container。

  11. AM通过RPC调用NM2的startcontainer方法。

  12. NM2启动container1。

  13. Container1启动后向AM汇报进度。

  14. Container1结束后NM通过心跳通知RM。

  15. AM向RM发送心跳,RM告诉AM相应的container1已经结束(也可以实现container直接告诉AM已经成功结束)。

  16. 当AM的所有Task已经结束,AM向RM汇报自己的结束状态。

转载请注明出处http://www.cnblogs.com/shenh062326/p/3598108.html