Spark 3.1.1 的安装和 Spark 2.1.1版本没有差别

安装

解压安装包

tar -zxvf /opt/module/spark-3.1.1-bin-hadoop3.2.tgz -C ./

检查

执行 spark-submit --version出现以下代表安装成功

执行

执行 spark-submit来验证服务是否正常运行

spark-submit --master yarn --class org.apache.spark.examples.SparkPi /opt/module/spark-3.1.1-bin-hadoop3.2/examples/jars/spark-examples_2.12-3.1.1.jar

spark on yarn 到此安装完成

其他

报错

如果在执行spark-submit过程中遇到以上问题
在hadoop中的hdfs-site.xml配置

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>