你百度一下 Spark on Yarn配置,会有超级多的博客之类的。
大概配置步骤
1 安装Hadoop
1.1 安装JDK
1.2 设置环境变量
1.3 配置$HADOOP_HOME/etc/hadoop中的core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml
1.4 初次启动,格式化namenode
1.5 启动hdfs,启动yarn
2 安装Spark
2.1 安装scala
2.2 配置spark
2.3 配置环境变量