Spark快速数据处理

内容简介:

Spark是一个开源的通用并行分布式计算框架,由加州大学伯克利分校的AMP实验室开发,支持内存计算、多迭代批量处理、即席查询、流处理和图计算等多种范式。Spark内存计算框架适合各种迭代算法和交互式数据分析,能够提升大数据处理的实时性和准确性,现已逐渐获得很多企业的支持,如阿里巴巴、百度、网易、英特尔等公司。

  本书系统讲解Spark的使用方法,包括如何在多种机器上安装Spark,如何配置一个Spark集群,如何在交互模式下运行第一个Spark作业,如何在Spark集群上构建一个生产级的脱机/独立作业,如何与Spark集群建立连接和使用SparkContext,如何创建和保存RDD(弹性分布式数据集),如何用Spark分布式处理数据,如何设置Shark,将Hive查询集成到你的Spark作业中来,如何测试Spark作业,以及如何提升Spark任务的性能。

资源目录:

译者序

作者简介

前言

第1章 安装Spark以及构建Spark集群

 1.1 单机运行Spark

 1.2 在EC2上运行Spark

 1.3 在ElasticMapReduce上部署Spark

 1.4 用Chef(opscode)部署Spark

 1.5 在Mesos上部署Spark

 1.6 在Yarn上部署Spark

 1.7 通过SSH部署集群

 1.8 链接和参考

 1.9 小结

第2章 Sparkshell的使用

 2.1 加载一个简单的text文件

 2.2 用Sparkshell运行逻辑回归

 2.3 交互式地从S3加载数据

 2.4 小结

第3章 构建并运行Spark应用

 3.1 用sbt构建Spark作业

 3.2 用Maven构建Spark作业

 3.3 用其他工具构建Spark作业

 3.4 小结

第4章 创建SparkContext

 4.1 Scala

 4.2 Java

 4.3 Java和Scala共享的API

 4.4 Python

 4.5 链接和参考

 4.6 小结

第5章 加载与保存数据

 5.1 RDD

 5.2 加载数据到RDD中

 5.3 保存数据

 5.4 连接和参考

 5.5 小结

第6章 操作RDD

 6.1 用Scala和Java操作RDD

 6.2 用Python操作RDD

 6.3 链接和参考

 6.4 小结

第7章 Shark-Hive和Spark的综合运用

 7.1 为什么用HiveShark

 7.2 安装Shark

 7.3 运行Shark

 7.4 加载数据

 7.5 在Spark程序中运行HiveQL查询

 7.6 链接和参考

 7.7 小结

第8章 测试

 8.1 用Java和Scala测试

 8.2 用Python测试

 8.3 链接和参考

 8.4 小结

第9章 技巧和窍门

 9.1 日志位置

 9.2 并发限制

 9.3 内存使用与垃圾回收

 9.4 序列化

 9.5 IDE集成环境

 9.6 Spark与其他语言

 9.7 安全提示

 9.8 邮件列表

 9.9 链接和参考

 9.10 小结

截图:

Spark快速数据处理

本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。

最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。 若排除这种情况,可在对应资源底部留言,或联络我们。

对于会员专享、整站源码、程序插件、网站模板、网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。

如果您已经成功付款但是网站没有弹出成功提示,请联系站长提供付款信息为您处理