Kubernetes中部署Spark方法
Spark是新一代分布式内存计算框架，Apache开源的顶级项目。相比于Hadoop Map-Reduce计算框架，Spark将中间计算结果保留在内存中，速度提升10~100倍；同时它还提供更丰富的算子，采用弹性分布式数据集(RDD)实现迭代计算，更好地适用于数据挖掘、机器学习算法，极大提升开发效率。
创新互联总部坐落于成都市区，致力网站建设服务有成都做网站、网站制作、网络营销策划、网页设计、网站维护、公众号搭建、微信小程序定制开发、软件开发等为企业提供一整套的信息化建设解决方案。创造真正意义上的网站建设，为互联网品牌在互动行销领域创造价值而不懈努力！
构建Spark容器
在Kubernetes上部署应用的第一步，是创建容器。虽然有些项目会提供官方的容器镜像，但截止到写此文时，Apache Spark并没有提供官方镜像。因此我们将自己创建Spark容器，让我们从Dockerfile开始。
FROM java:openjdk-8-jdk
ENV hadoop_ver 2.8.2
ENV spark_ver 2.4.4
RUN mkdir -p /opt && \
cd /opt && \
curl http://archive.apache.org/dist/hadoop/common/hadoop-${hadoop_ver}/hadoop-${hadoop_ver}.tar.gz | \
tar -zx && \
ln -s hadoop-${hadoop_ver} hadoop && \
echo Hadoop ${hadoop_ver} installed in /opt
RUN mkdir -p /opt && \
cd /opt && \
curl http://archive.apache.org/dist/spark/spark-${spark_ver}/spark-${spark_ver}-bin-without-hadoop.tgz | \
tar -zx && \
ln -s spark-${spark_ver}-bin-without-hadoop spark && \
echo Spark ${spark_ver} installed in /opt
ENV SPARK_HOME=/opt/spark
ENV PATH=$PATH:$SPARK_HOME/bin
ENV HADOOP_HOME=/opt/hadoop
ENV PATH=$PATH:$HADOOP_HOME/bin
ENV LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
RUN curl http://central.maven.org/maven2/org/apache/hadoop/hadoop-aws/2.8.2/hadoop-aws-2.8.2.jar -o /opt/spark/jars/hadoop-aws-2.8.2.jar
RUN curl http://central.maven.org/maven2/org/apache/httpcomponents/httpclient/4.5.3/httpclient-4.5.3.jar -o /opt/spark/jars/httpclient-4.5.3.jar
RUN curl http://central.maven.org/maven2/joda-time/joda-time/2.9.9/joda-time-2.9.9.jar -o /opt/spark/jars/joda-time-2.9.9.jar
RUN curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk-core/1.11.712/aws-java-sdk-core-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-core-1.11.712.jar
RUN curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk/1.11.712/aws-java-sdk-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-1.11.712.jar
RUN curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk-kms/1.11.712/aws-java-sdk-kms-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-kms-1.11.712.jar
RUN curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk-s3/1.11.712/aws-java-sdk-s3-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-s3-1.11.712.jar
ADD start-common.sh start-worker start-master /
ADD core-site.xml /opt/spark/conf/core-site.xml
ADD spark-defaults.conf /opt/spark/conf/spark-defaults.conf
ENV PATH $PATH:/opt/spark/bin
在这个Dockerfile中，我们首先从官方地址下载Apache Spark和Hadoop，然后从Maven获取关联的jar包。当所有关联的文件都已经下载并解压到一个特定的目录后，我们将这些重要的配置文件添加到镜像中。
在这个过程中，你可以很方便的添加自己环境特有的配置。
原本我们可以跳过以上步骤，直接使用一个预先构建好的镜像，但是通过解读这些步骤可以让我们的读者看到Spark容器内部的内容，高级用户可以据此修改来满足他们特殊的需求。
以上示例中使用到的Dockerfile和其他关联的配置文件，可以从这个GitHub仓库中获取。如果要使用这个仓库中的内容，请先使用以下命令将其克隆到本地：
git clone git@github.com:devshlabs/spark-kubernetes.git
现在，你可以根据需要在你的环境中进行任何更改，然后构建镜像，并上传到你使用的容器注册表中。在本文的示例中，我使用Dockerhub作为容器注册表，命令如下：
cd spark-kubernetes/spark-container
docker build . -t mydockerrepo/spark:2.4.4
docker push mydockerrepo/spark:2.4.4
记得将其中的mydockerrepo替换为你实际的注册表名字。
在Kubernetes上部署Spark
至此，Spark容器镜像已经构建好，并可以拉取使用了。让我们使用此镜像来部署Spark Master和Worker。第一步是创建Spark Master。我们将使用Kubernetes ReplicationController创建Spark Master。在本文的示例中，我仅用单实例创建Spark Master。而在有HA需求的生产环境中，你可能需要将副本数设置为3或者以上。
kind: ReplicationController
apiVersion: v1
metadata:
name: spark-master-controller
spec:
replicas: 1
selector:
component: spark-master
template:
metadata:
labels:
component: spark-master
spec:
hostname: spark-master-hostname
subdomain: spark-master-headless
containers:
- name: spark-master
image: mydockerrepo/spark:2.4.4
imagePullPolicy: Always
command: ["/start-master"]
ports:
- containerPort: 7077
- containerPort: 8080
resources:
requests:
cpu: 100m
为了使Spark Worker节点可以发现Spark Master节点，我们还需要创建headless服务。 当你从GitHub仓库完成克隆，并进入spark-kubernetes目录后，就可以启动Spark Master服务了，命令如下：
kubectl create -f spark-master-controller.yaml
kubectl create -f spark-master-service.yaml
现在，确保Master节点和所有的服务都正常运行，然后就可以开始部署Worker节点了。Spark Worker的副本数设置为2，你可以根据需要修改。Worker启动命令如下： kubectl create -f spark-worker-controller.yaml 最后，通过以下命令确认是否所有服务都正常运行： kubectl get all 执行以上命令，你应该可以看到类似下面的内容：
NAME READY STATUS RESTARTS AGE
po/spark-master-controller-5rgz2 1/1 Running 0 9m
po/spark-worker-controller-0pts6 1/1 Running 0 9m
po/spark-worker-controller-cq6ng 1/1 Running 0 9m
NAME DESIRED CURRENT READY AGE
rc/spark-master-controller 1 1 1 9m
rc/spark-worker-controller 2 2 2 9m
NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE
svc/spark-master 10.108.94.160 7077/TCP,8080/TCP 9m
向Spark集群提交Job
现在让我们提交一个Job，看看是否执行正常。不过在此之前，你需要一个有效的AWS S3账户，以及存有样本数据的桶存在。我使用了Kaggle下载样本数据，样本数据可以从https://www.kaggle.com/datasna … s.csv获取，获取以后需要上传到S3的桶里。假定桶名是s3-data-bucket，那么样本数据文件则位于s3-data-bucket/data.csv。 数据准备好以后，将其加载到一个Spark master pod中执行。以Pod名为spark-master-controller-5rgz2为例，命令如下： kubectl exec -it spark-master-controller-v2hjb /bin/bash 如果你登录进入了Spark系统，可以运行Spark Shell：
export SPARK_DIST_CLASSPATH=$(hadoop classpath)
spark-shell
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://192.168.132.147:4040
Spark context available as 'sc' (master = spark://spark-master:7077, app id = app-20170405152342-0000).
Spark session available as 'spark'.
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.4.4 /_/ Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_221) Type in expressions to have them evaluated. Type :help for more information. scala> 现在让我们告诉Spark Master，S3存储的详细信息，在上文所示的Scale提示符中输入以下配置：
sc.hadoopConfiguration.set("fs.s3a.endpoint", "https://s3.amazonaws.com")
sc.hadoopConfiguration.set("fs.s3a.access.key", "s3-access-key")
sc.hadoopConfiguration.set("fs.s3a.secret.key", "s3-secret-key")
现在，只需将以下内容粘贴到Scala提示符中，以提交Spark Job(请记得修改S3相关字段)：
import org.apache.spark._
import org.apache.spark.rdd.RDD
import org.apache.spark.util.IntParam
import org.apache.spark.sql.SQLContext
import org.apache.spark.graphx._
import org.apache.spark.graphx.util.GraphGenerators
import org.apache.spark.mllib.regression.LabeledPoint
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.tree.DecisionTree
import org.apache.spark.mllib.tree.model.DecisionTreeModel
import org.apache.spark.mllib.util.MLUtils
val conf = new SparkConf().setAppName("YouTube")
val sqlContext = new SQLContext(sc)
import sqlContext.implicits._
import sqlContext._
val youtubeDF = spark.read.format("csv").option("sep", ",").option("inferSchema", "true").option("header", "true").load("s3a://s3-data-bucket/data.csv")
youtubeDF.registerTempTable("popular")
val fltCountsql = sqlContext.sql("select s.title,s.views from popular s")
fltCountsql.show()
最后，你可以使用kubectl patch command命令更新Spark部署。比如，你可以在负载较高时添加更多工作节点，然后在负载下降后删除这些工作节点。
当前题目：Kubernetes中部署Spark方法
地址分享：http://www.36103.cn/qtweb/news28/14978.html
网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等
声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联
- 警惕Redis带来的潜在风险（redis的主要风险）
- 哪种操作系统适合初学者学习Linux？（linux入门用什么系统）
- Redis为开发增添新鲜感随机后缀法（redis随机后缀）
- 小工厂网络千兆路由器
- 重新定义Redis的数据更新旧知识（更新redis数据）
- 小企业和SOHO族为什么需要商用设备
- 阿里云域名和服务器怎么购买？网站域名服务器价格
- cad2008怎么激活？windows2008注册
- 阿里云服务器linux怎么更新mysql？阿里云服务器升级配置
- 为什么有的文档插不了公式
- python进程间如何通信
- 如何运行AndroidRTSP流服务器(androidrtsp流服务器)
- Oracle数据库：查询已有数据库的方法(oracle如何查看有哪些数据库)
- 网址ping不通怎么办
- 一条白线能做什么