1.spark主要有四种运行模式:Local、standalone、yarn、mesos。
1)Local模式:在一台机器上,一般用于开发测试
2)standalone模式:完全独立的spark集群,不依赖其他集群,分为Master和work。
客户端向Master注册应用,Master向work发送消息,依次启动Driver,executor,Driver负责向executors发送任务消息。
3)yarn模式:依赖于hadoop集群,yarn资源调度框架,将应用提交给yarn,在ApplactionMaster(相当于Stand alone模式中的Master)中运行driver,在集群上调度资源,开启excutor执行任务。
4)Spark on Mesos模式:类似于yarn模式,运行在Mesos集群上(Mesos是Apache下的开源分布式资源管理框架,它被称为是分布式系统的内核。Mesos最初是由加州大学伯克利分校的AMPLab开发的,后在Twitter得到广泛使用。)