首先到官网下载spark压缩包

查看java版本(如果没有安装JAVA需要自己先安装)
#whereis java
java: /usr/lib/jdk1.8.0_301/bin/java
下载并解压
#下载软件包
wget https://dlcdn.apache.org/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz
#解压软件包
tar -zxvf spark-3.2.0-bin-hadoop3.2.tgz
#切换到spark安装包目录
cd spark-3.2.0-bin-hadoop3.2/conf/
#复制配置文件
cp spark-env.sh.template spark-env.sh
#修改配置文件
vi spark-env.sh
在 spark-env.sh 文件末尾处添加
export JAVA_HOME=/usr/lib/jdk1.8.0_301 export
SPARK_MASTER_IP=47.88.11.22 export SPARK_MASTER_PORT=7077
启动master
sbin/start-all.sh
8080无法访问:
web验证的时候会发现http:// 47.88.11.22 :8080页面访问不了
看到8080肯定会想起tomcat默认端口,其实就是端口占用了
解决办法:
打开master文件
vi sbin/start-master.sh
在vi命令模式下输入 =8081
if [ “$SPARK_MASTER_WEBUI_PORT” = “” ]; then
SPARK_MASTER_WEBUI_PORT=8081 fi
找到后修改该端口为8081
命令模式下保存退出
重启一遍
sbin/start-all.sh
验证
访问 http:// 47.88.11.22 :8081/

官方说明:Spark Standalone Mode – Spark 3.2.0 Documentation (apache.org)
No Comments