博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
大数据处理框架Yarn、MapReduce、spark、storm,flink的关系
阅读量:4298 次
发布时间:2019-05-27

本文共 452 字,大约阅读时间需要 1 分钟。

YARN并不是下一代 MapReduce (MRv2),下一代 MapReduce 与第一代 MapReduce (MRv1)在编程接口、数据处理引擎(MapTask和ReduceTask)是完全一样的, 可认为 MRv2 重用了 MRv1 的这些模块,不同的是资源管理和作业管理系统, MRv1 中资源管理和作业管理均是由 JobTracker 实现的,集两个功能于一身,而在 MRv2 中,将这两部分分开了, 其中,作业管理由 ApplicationMaster 实现,而资源管理由新增系统 YARN 完成。

由于YARN具有通用性,因此 YARN 也可以作为其他计算框架的资源管理系统,不仅限于 MapReduce ,也是其他计算框架,比如 Spark 、 Storm 等, 通常而言,我们一般将运行在 YARN 上的计算框架称为“X on YARN”,比如“MapReduce On YARN”, “Spark On YARN”,“Storm On YARN”,“Flink on yarn”等。

 

转载地址:http://wgiws.baihongyu.com/

你可能感兴趣的文章
css 中div class
查看>>
a:link,a:visited,a:hover,a:active
查看>>
任务调度利器-Celery
查看>>
AMQP消息服务器RabbitMQ
查看>>
python
查看>>
python爬图片
查看>>
解决安装gevnet失败
查看>>
关于shell文件中出现syntax error: unexpected end of file
查看>>
git 的cherry-pick应用
查看>>
Linux命令英文全称
查看>>
Django学习之----model(1)
查看>>
Django学习之----model(2)
查看>>
推荐一下django学习的网址!!!
查看>>
git 使用小技巧之撤销提交操作与恢复更改前操作
查看>>
git 基础版
查看>>
git 撤销修改篇
查看>>
果汁带你学linux(01)
查看>>
django 自带页面缓存cache_page的使用及清除
查看>>
django cache的简单使用
查看>>
ping、traceroute、host、curl以及wget
查看>>