Alibaba cloud linux spark独立模式部署

首先到官网下载spark压缩包

查看java版本（如果没有安装JAVA需要自己先安装）

#whereis java
java: /usr/lib/jdk1.8.0_301/bin/java

下载并解压

#下载软件包
wget https://dlcdn.apache.org/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz

#解压软件包
tar -zxvf spark-3.2.0-bin-hadoop3.2.tgz

#切换到spark安装包目录
cd spark-3.2.0-bin-hadoop3.2/conf/

#复制配置文件
cp spark-env.sh.template spark-env.sh

#修改配置文件
vi spark-env.sh

在 spark-env.sh 文件末尾处添加

export JAVA_HOME=/usr/lib/jdk1.8.0_301 export
SPARK_MASTER_IP=47.88.11.22 export SPARK_MASTER_PORT=7077

启动master

sbin/start-all.sh

8080无法访问：

web验证的时候会发现http:// 47.88.11.22 :8080页面访问不了
看到8080肯定会想起tomcat默认端口，其实就是端口占用了

解决办法：
打开master文件

vi sbin/start-master.sh

在vi命令模式下输入 =8081

if [ “$SPARK_MASTER_WEBUI_PORT” = “” ]; then
SPARK_MASTER_WEBUI_PORT=8081 fi

找到后修改该端口为8081
命令模式下保存退出
重启一遍

sbin/start-all.sh

验证
访问 http:// 47.88.11.22 :8081/

官方说明：Spark Standalone Mode – Spark 3.2.0 Documentation (apache.org)