Hive 与 Spark
Spark 与 Hadoop 安装见此：安装 Spark1.5 与 Hadoop2.6 注意：Spark 官方提供的二进制发行版是不支持 hive 的，需要自行编译。 安装 hive12wget -c http://mirrors.aliyun.com/apache/hive/hive-1.1.1/apache-hive-1.1.1-bin.tar.gztar apache-hive-1.1.
分类: spark
Spark 实战：工程实践
工欲善其事，必先利其器。 （本文是基于 sbt 来配置 Spark 开发的工程化，支持 Scala/Java 编程语言。Python 和 R 用户需要使用其它方式来实现工程化。） 今天谈谈 Spark 开发中的工程化问题。我们都知道 Spark 程序是在集群上跑的，需要把程序打包后使用 $SPARK_HOME/bin/spark-sumibt 到 Spark 集群上。 在开发、测试时，每
Spark 小试牛刀
随着项目的运营，收集了很多的用户数据。最近业务上想做些社交图谱相关的产品，但因为数据很多、很杂，传统的数据库查询已经满足不了业务的需求。试着用Spark来做，权当练练手了。 安装 Spark因为有Scala的开发经验，所以就不用官方提供的二进制包了，自编译scala 2.11版本。 下载 Spark：http://ftp.cuhk.edu.hk/pub/packages/apache.org/sp
Learn Spark - 安装
安装下载 Spark 1.4.1 1wget -c http://www.interior-dsgn.com/apache/spark/spark-1.4.1/spark-1.4.1.tgz 编译 Spark，使用 scala 2.11 12./dev/change-version-to-2.11.shmvn -Dscala-2.11 -DskipTests clean package 运行