Spark源码包的编译

Spark源码包的编译和部署生成，其本质只有两种：Maven和SBT （Simple Build Tool）, 只不过针对不同的场景而已：Maven编译SBT编译IntelliJ IDEA编译（可采用Maven或者SBT插件编译），适用于开发人员包部署生成（内嵌Maven编译），使用维护人员编译的目的是生成特定环境下运行Spark本身或者开发Spark Application的JAR包，本次编译的目的生成运行在Hadoop2.5.2上的Spark JAR包，缺省编译所支持的Hadoop环境是Hadoop1.0.4SBT编译将源码包复制到指定的目录下，然后进入该目录，运行：SPARK_HADOOP_VERSION=2.5.2 SPARK_YARN=true sbt/sbt assemblyMaven 编译事先安装好Maven3.3.2或者Maven3.0.5，并设置环境变量MAVEN_HOME,将MAVEN_HOME/bin加入到PATH变量。然后将源代码复制到指定的目录下，然后进入该目录，先设置Maven参数export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"再运行mvn -Pyarn -Dhadoop.version=2.5.2 -Dyarn.version=2.5.2 -DskipTests clean package--------------------------------------分割线 --------------------------------------Spark1.0.0部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htmCentOS 6.2（64位）下安装Spark0.8.0详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htmSpark简介及其在Ubuntu下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm安装Spark集群（在CentOS上） http://www.linuxidc.com/Linux/2013-08/88599.htmHadoop vs Spark性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htmSpark安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htmSpark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm--------------------------------------分割线 --------------------------------------Spark 的详细介绍：请点这里
Spark 的下载地址：请点这里本文永久更新链接地址