首页 > 大数据平台 > spark > Spark— 安装攻略
2015
07-24

Spark— 安装攻略

本来安装这件事情,不用单独开一篇谈的。但是Spark的安装实在是一件点蛋疼的事情,这和Spark的语言和框架两者有颇大的关系。

Spark是Scala语言写的,所以要先安装Java和Scala,而底层的调度框架是Mesos,Mesos是C++写的,所以又对机器的glibc和gcc环境有一定的要求。装好了Mesos和Spark,还要把2者衔接起来,版本要选择正确,这几个步骤,中间任何一步错了都Spark都不能以集群方式正常运行,所以Spark的安装,还是颇有点周折的,在这里把完整的过程记录下来,包括mesos 0.9的安装过程,希望后来者尽量不需要掉坑里。

本攻略基于版本是Spark 0.5 和Mesos 0.9,服务器是Redhat Enterprise 6.1 32位,其它服务器的命令可能会稍微有所区别

  1. 安装Spark
  2. 安装Mesos
  3. 启动Mesos
  4. 启动Spark On Mesos
  5. 集群部署

1、安装Spark

1.1 安装Java

推荐版本是JDK1.6.0 u18,具体下载安装过程就不说了,最后一定要设定JAVA_HOME,这个是后面步骤,尤其是mesos安装必须

export JAVA_HOME=/usr/java/jdk
export PATH=$JAVA_HOME/bin:$PATH

1.2 安装Scala

wget http://www.scala-lang.org/downloads/distrib/files/scala-2.9.2.tgz
tar xvf scala-2.9.2.tgz
mkdir /usr/share/scala
cp -r scala-2.9.2/* /usr/share/scala
export SCALA_HOME=/usr/share/scala
export PATH=$PATH:$SCALA_HOME/bin/

1.3 安装Spark

wget -O mesos-spark-v0.5.0-0.tar.gz https://github.com/mesos/spark/tarball/v0.5.0
tar -xzvf mesos-spark-v0.5.0-0.tar.gz
mv mesos-spark-0472cf8 spark
cd spark
sbt/sbt compile

至此,Spark的基本安装已经完毕,可以尝试用本地模式运行

./run spark.examples.SparkPi local

看到正确的Pi结果,表示Spark安装第一步完成,本地模式运行OK

2、安装Mesos

Mesos 0.9安装,必须具备下列条件:

glibc 2.9(必须2.9以上)
gcc-c++ 4.1
python 2.6
python-devel
cppunit-devel
libtool

Redhat 6上述条件基本上已经具备了,Redhat 5的话,glibc有可能低于2.5,必须升级,才能完成mesos的编译安装,否则就别折腾了,洗洗睡吧 :)

wget http://people.apache.org/~benh/mesos-0.9.0-incubating-RC3/mesos-0.9.0-incubating.tar.gz
tar zxvf mesos-0.9.0-incubating.tar.gz
cd mesos-0.9.0
mkdir build
cd build
../configure --with-python-headers=/usr/include/python2.6 --with-java-home=$JAVA_HOME --with-java-headers=$JAVA_HOME/include --with-webui --with-included-zookeeper --prefix=/usr/local/mesos
make
make install

祈祷吧,一切顺利的话,mesos就会被安装到/usr/local/mesos下,最后关键一步,设置MESOS_HOME

export MESOS_HOME=/usr/local/mesos

3、启动Mesos

手工模式启动:

3.1 启动Master

cd /usr/local/mesos
(sbin/mesos-master –log_dir=/usr/local/mesos/logs & ) &

出现下面的提示Master就成功

Starting Mesos master
Master started on ***:5050
Master ID: ***
Elected as master!
Loading webui script at ‘/usr/local/new_mesos/share/mesos/webui/master/webui.py’
Bottle server starting up (using WSGIRefServer())…
Listening on http://0.0.0.0:8080/
Use Ctrl-C to quit.

3.2 启动Slave

(sbin/mesos-slave -m 127.0.0.1:5050 –log_dir=/home/andy/mesos/logs –work_dir=/home/andy/mesos/works & ) &

使用–resources=”mem:20240;cpus:10″参数,可以根据具体的机器情况,指定分配的资源

Starting Mesos slave
Slave started on ***:42584
Slave resources: cpus=16; mem=23123
New master detected at master@***:5050
Registered with master; given slave ID ***
Loading webui script at ‘/usr/local/new_mesos/share/mesos/webui/slave/webui.py’
Bottle server starting up (using WSGIRefServer())…
Listening on http://0.0.0.0:8081/
Use Ctrl-C to quit.

4、启动Spark On Mesos

好了,终于来到最关键的一步了,在Mesos上运行Spark,要把Spark和Mesos连接到一起了。Spark是披着Scala外衣的Java,Mesos是C++,他们的通道,不可避免的就是JNI

配置的关键是Spark的配置文件,Spark带了样例文件conf/spark-env.sh.template,并有详细的解释,根据我们之前的安装路径,参考该文件,配置如下:

#保持与系统的MESOS_HOME一致
<strong>export MESOS_HOME=/usr/local/mesos/</strong>

#新版本的配置项,直接指定libmesso.so的位置,该so和spark目录下的mesos-0.9.0.jar必须一致,是spark和mesos沟通的关键
<strong>export MESOS_NATIVE_LIBRARY=/usr/local/mesos/lib/libmesos.so</strong>

#旧版本的配置项,其它的so,目前看来不需要了
<strong>export SPARK_LIBRARY_PATH=/usr/local/mesos/lib</strong>

#自定义的程序jar包,可以放在该目录下
<strong>export SPARK_CLASSPATH=...</strong>

#保持与系统的SCALA_HOME一致
<strong>export SCALA_HOME=/usr/share/scala</strong>

#必须<span style="color: #ff0000">小于或者等于</span>Slave中的memSlave resources: cpus=16; mem=23123
#本地模式下,运行大任务也需要修改该参数,默认是512m,很小
<strong>export SPARK_MEM=10g</strong>

好了,一切就绪之后,尝试运行下面的命令:

cd spark
./run spark.examples.SparkPi 127.0.0.1:5050
(注意,和以前的mesos版本不一样,不需要打master@127.0.0.1:5050,否则mesos会报错的)

如果你再次成功的看到Pi值,恭喜,Spark的安装又成功了一步

最后编辑:
作者:saunix
大型互联网公司linux系统运维攻城狮,专门担当消防员

留下一个回复