Spark on Yarn 2.1.1 安装配置
侧边栏壁纸
  • 累计撰写 26 篇文章
  • 累计收到 33 条评论

Spark on Yarn 2.1.1 安装配置

残月
2022-12-02 / 0 评论 / 53 阅读 / 正在检测是否收录...
温馨提示:
本文最后更新于2023年12月22日,已超过409天没有更新,若内容或图片失效,请留言反馈。

Spark on yarnstandalone配置差距不大,Spark主要是计算框架,而不是资源调度框架,所以本身提供的资源调度并不是它的强项,on yarn 将资源调度任务给了yarn

安装

解压spark

tar -zxvf /opt/software/spark-2.1.1-bin-hadoop2.7.tgz -C /opt/
mv /opt/spark-2.1.1-bin-hadoop2.7 /opt/spark-2.1.1

进入spark 根目录 打开conf文件夹 复制一份spark-env.sh

cp spark-env.sh.template spark-env.sh

spark-env.sh文件中添加JAVA_HOMEHADOOP_CONF_DIRSPARK_CONF_DIR:wq保存退出
HADOOP_CONF_DIRSPARK_CONF_DIR 配置为hadoop配置文件目录

export JAVA_HOME=/usr/local/jdk1.8.0_251
SPARK_CONF_DIR=/opt/hadoop-2.7.7/etc/hadoop/

profile中配置spark全局变量

export SPARK_HOME=/opt/spark-2.1.1
export PATH=$PATH:$SPARK_HOME/bin

on yarn 不需要执行start-all.sh
可以提交examplespark

spark-submit --master yarn --class org.apache.spark.examples.SparkPi /opt/spark-2.1.1/examples/jars/spark-examples_2.11-2.1.1.jar

lqgelgrd.png
lqgelkrs.png

0

评论 (0)

取消