用Idea搭建我们的Spark环境
用IDEA搭建我们的环境有很多好处，其中最大的好处，就是我们甚至可以在工程当中直接运行、调试我们的代码，在控制台输出我们的结果。或者可以逐行跟踪代码，了解spark运行的机制。因此我们选择了idea，当然Idea不是首选，当然也可以用其他工具。因为我们的Spark程序用scala和java写，需要有java环境来作为支撑。因此任何能够支撑java程序的开发工具，应该都能够搭建我们的Spark程序。我这里是MAC环境下，当然如果你是windows不用担心，这里只涉及到idea的操作，不涉及操作系统环境的更改，所以你无须担心，因为Idea在Mac下和windows下并无多大差别
第一步，下载插件，如果你只想用Java而不想用Scala，则可以跳过这一步
在preference中找到plugins，搜索scala，然后下载该插件
第二步,创建maven项目
第三步，导入scala的SDK，如果你只想用Java而不想用Scala，则可以跳过这一步
打开project structure
导入SDK
此时可以创建Scala的class文件了
第四步，在pom中导入插件和依赖
插件主要是帮助打包scala包，方便再spark平台上发布我们的程序。当然仅仅最开始我们尽可能将项目运行在idea中，而不需要发布。依赖是spark运行所必须的jar，其中spark的核心spark-core主要是用scala编写的，当然你也能够用java去使用。
在pom文件中导入
1<?xml version="1.0" encoding="UTF-8"?> 2<project xmlns="http://maven.apache.org/POM/4.0.0" 3 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 4 xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>sparkdemo</groupId> <artifactId>sparkdemo</artifactId> <version>1.0-SNAPSHOT</version> <build> <finalName>HiveTest</finalName> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <configuration> <source>1.8</source> <target>1.8</target> </configuration> </plugin> <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId> <version>2.15.2</version> <executions> <execution> <goals> <goal>compile</goal> <goal>testCompile</goal> </goals> </execution> </executions> </plugin> </plugins> </build> <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.8.4</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.1.3</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.11</artifactId> <version>2.1.3</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.1.3</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <version>2.1.3</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-mllib_2.11</artifactId> <version>2.1.3</version> </dependency> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.20</version> </dependency> </dependencies> </project>
第五步，运行我们的第一个程序
当我们学习任何一项技术的时候，我们都有一个爱好，喜欢先输出Hello，World！在Spark中亦是如此，我们第一个项目也是Hello，World！当然很多人说，spark的Hello，World！应该是字数统计（即统计一本书的或者一个文件的单词数）。当然这也没错，毕竟spark的最核心的功能是大数据和机器学习，但是对一个初学者来说，我认为，不妨再简单些。
创建Scala文件
接下来可以开始写我们的第一个第一个程序。
首先创建一个SparkConf()，即spark的基础配置，主要设置了master为“local”即运行在本机而非集群，第二个是AppName。而后创建SparkContext，这里取名为sc和我们在spark-shell中默认的一致。最后为sc设置内容，即一个list，其中包含三句话。依次输出三句话
scala实现
1package spark 2 3import org.apache.spark.{SparkConf, SparkContext} 4 5object HelloWorld { 6 7 def main(args: Array[String]): Unit = { 8 val conf = new SparkConf().setMaster("local").setAppName("HelloWorld") 9 10 val sc = new SparkContext(conf) 11 12 val helloWorld = sc.parallelize(List("Hello,World!","Hello,Spark!","Hello,BigData!")) 13 14 helloWorld.foreach(line => println(line)) 15 } 16 17}
运行得到：
1Hello,World! 2Hello,Spark! 3Hello,BigData!
java实现
1import org.apache.spark.SparkConf; 2import org.apache.spark.api.java.JavaRDD; 3import org.apache.spark.api.java.JavaSparkContext; 4 5import java.util.Arrays; 6 7public class HelloWorldJava { 8 9 public static void main(String[] args){ 10 11 SparkConf conf = new SparkConf().setMaster("local").setAppName("HelloWorldJava"); 12 13 JavaSparkContext sc = new JavaSparkContext(conf); 14 15 JavaRDD<String> helloWorld = sc.parallelize(Arrays.asList("Hello,World","Hello,Spark","Hello,BigData")); 16 17 System.out.println(helloWorld.collect()); 18 19 } 20 21}
运行得到：
[Hello,World, Hello,Spark, Hello,BigData]
python实现
1from pyspark import SparkConf,SparkContext 2 3 4conf = SparkConf().setMaster("local").setAppName("HelloWorld") 5 6sc = SparkContext(conf=conf) 7 8helloWorld = sc.parallelize(["Hello,World","Hello,Spark","Hello,BigData"]).collect() 9 10print(helloWorld)
运行得到：
['Hello,World', 'Hello,Spark', 'Hello,BigData']
至此我们就在scala、java、python中运行了我们的第一个spark程序。当然，我们可以选择自己最上手的语言去写spark程序，spark本身也非常良好地支持了这三种语言。因此不要让语言成为障碍，反而因此获得更多的选择。无论是java、scala还是python都能写出良好运行的spark程序