yarn分配资源都是以container作为资源的分配单位,yarn的应用程序都会被装到container中去运行。每个节点可能有很多个大小不一的container都有NM控制并向RM汇报。
上图是spark的结构,那spark on yarn 如何把spark的这一套东西运行在yarn上的呢。它有两种部署模式,client模式和cluster模式。
spark 是如何和python结合的呢
http://www.it610.com/article/4021749.htm
加我信微 Zeal-Zeng 费免拉你进 知识星球、大数据社群、众公号(曾二爷) 和优秀的人一起学习