Spark大数据处理技术
云计算教程

Spark大数据处理技术

Spark大数据处理技术 内容简介: 《Spark大数据处理技术》以Spark 0.9版本为基础进行编写,是一本全面介绍Spark及Spark生态圈相关技术的书籍,是国内首本深入介绍Spark原理和架构的技术书籍。主要内容有Spark基础功能介绍及内部重要模块分析,包括部署模式、调度框架、存储管理以及应用监控;同时也详细介绍了Spark生态圈中其他的软件和模块,包括SQL处理引擎Shark和Spark SQL、流式处理引擎Spark Streaming、图计算框架Graphx以及分布式内存文件系统Tachyon。《Spark大数据处理技术》从概念和原理上对Spark核心框架和生态圈做了详细的解读,并对Spark的应用现状和未来发展做了一定的介绍,旨在为大数据从业人员和Spark爱好者提供一个更深入学习的平台。 《Spark大数据处理技术》适合任何大数据、Spark领域的从业人员阅读,同时也为架构师、软件开发工程师和大数据爱好者展现了一个现代大数据框架的架构原理和实现细节。相信通过学习《Spark大数据处理技术》,读者能够熟悉和掌握Spark这一当前流行的大数据框架,并将其投入到生产实践中去。 资源目录: 第1章 Spark系统概述 1 1.1 大数据处理框架 1 1.2 Spark大数据处理框架 3 1.2.1 RDD表达能力 3 1.2.2 Spark子系统 4 1.3 小结 7 第2章 Spark RDD及编程接口 9 2.1 Spark程序“Hello World” 9 2.2 Spark RDD 12 2.2.1 RDD分区(partitions) 13 2.2.2 RDD优先位置(preferredLocations) 13 2.2.3 RDD依赖关系(dependencies)...
Hadoop云计算一体机实践指南
云计算教程

Hadoop云计算一体机实践指南

Hadoop云计算一体机实践指南 内容简介: 全书分为3篇:第1篇(理论部分)对云计算、Hadoop及Linux操作系统进行了简单介绍;第2篇(基础实践部分)主要详细介绍了cemOs系统的安装和集群的搭建、Hadoop集群的常用命令及管理应用等;第3篇(项目实训部分)主要以实际项目开发为例,从易到难,对源程序进行了详细解释。   本书以详细的实践操作介绍为特色,可作为电子、通信、自动化、计算机等电类专业Hadoop云计算教学系统课程实验教材,也可供Hadoop系统相关工程技术人员参考。 资源目录: 前言 第1篇理论部分 第1章云计算理论 1.1 云计算的概念 1.2云计算发展现状 1.3 网格计算与云计算 1.4云计算的发展环境 1.4.1 云计算与3G移动通信 1.4.2云计算与物联网 1.4.3 云计算与移动互联网 1.4.4云计算与三网融合 1.5 各大IT厂商云计算平台特点 概述– 1.6开源云计算系统概述- 第2章Hadoop理论 2.1 Hatioop简介 2.2 Hadoop架构 2.3 HDFS 2.3.1设计思想 2.3.2 Namenoa’e和Datanod’e的划分 2.3.3文件系统操作和namespace 的关系 2.3.4数据复制 2.3.5文件系统元数据的持久化 2.3.6通信协议 2.3.7健壮性 2.3.8数据组织 2.3.9访问接口 2.3.10空间的回收 2.4 分布式数据处理MapReduee 第3章Linux命令操作...
架构大数据 大数据技术及算法解析
云计算教程

架构大数据 大数据技术及算法解析

架构大数据 大数据技术及算法解析 内容简介: 本书从大数据架构的角度全面解析大数据技术及算法,探讨大数据的发展和趋势。不仅对大数据相关技术及算法做了系统性的分析和描述,梳理了大数据的技术分类,如基础架构支持、大数据采集、大数据存储、大数据处理、大数据展示及交互,还融合了大数据行业的最新技术进展和大型互联网公司的大数据架构实践,努力为读者提供一个大数据的全景画卷。 资源目录: 第1章 大数据技术概述 1 1.1 大数据的概念 1 1.2 大数据的行业价值 4 1.3 大数据问题的爆发 9 1.4 大数据处理流程 12 1.5 大数据技术 13 1.5.1 基础架构支持 14 1.5.2 数据采集 14 1.5.3 数据存储 15 1.5.4 数据计算 16 1.5.5 展现与交互 18 1.6 练习题 19 参考文献 19 第2章 大数据基础支撑——数据中心及云计算 20...
大数据 技术与应用实践指南 第2版
云计算教程

大数据 技术与应用实践指南 第2版

大数据 技术与应用实践指南 第2版 内容简介: 大数据是互联网、移动应用、社交网络和物联网等技术发展的必然趋势,大数据应用成为当前最为热门的信息技术应用领域。《大数据:技术与应用实践指南(第2版)》由浅入深,首先概述性地分析了大数据的发展背景、基本概念,从业务的角度分析了大数据应用的主要业务价值和业务需求,在此基础上介绍大数据的技术架构和关键技术,结合应用实践,详细阐述了传统信息系统与大数据平台的整合策略,大数据应用实践的流程和方法,并介绍了主要的大数据应用产品和解决方案。最后,对大数据面临的挑战和未来的趋势进行了展望。 《大数据:技术与应用实践指南(第2版)》既具有技术深度,又具有很强的可操作性,提供了一个系统性、架构性的大数据应用实践指南,纲要性地指导大数据应用实践,推动大数据技术在各个行业的广泛应用。 资源目录: 第1章 大数据的概念和发展背景 1 1.1 大数据的发展背景 1 1.2 大数据的概念和特征 4 1.2.1 大数据的概念 4 1.2.2 大数据的特征 4 1.3 大数据的产生 5 1.3.1 数据产生由企业内部向企业外部扩展 5 1.3.2 数据产生从Web 1.0向Web 2.0、从互联网向移动互联网扩展 6 1.3.3 数据产生从计算机/互联网(IT)向物联网(IOT)扩展 7 1.4 数据的量级 7 1.4.1 数据大小的量级 7 1.4.2 大数据的量级 8 1.5...
大数据概论
云计算教程

大数据概论

大数据概论  内容简介: 本书主要介绍大数据概论,内容包括大数据概述、科学研究第四范式、分布系统设计的CAP理论、NoSQL数据库、复杂网络、MapReduce分布编程模型、大数据存储、大数据分析、大数据挖掘、大数据可视化、大数据安全、大数据机器学习、大数据推荐技术,以及数据科学与数据思维。全书对上述内容概念性地介绍,语言精练、内容全面。 截图:
Hadoop构建数据仓库实践
云计算教程

Hadoop构建数据仓库实践

Hadoop构建数据仓库实践 作者简介: 王雪迎,毕业于中国地质大学计算机专业,高级工程师,拥有20年数据库、数据仓库相关技术经验。曾先后供职于北京现代商业信息技术有限公司、北京在线九州信息技术服务有限公司、华北计算技术研究所、北京优贝在线网络科技有限公司,担任DBA、数据架构师等职位。 资源目录: 第1章 数据仓库简介 1.1 什么是数据仓库 1 1.1.1 数据仓库的定义 1 1.1.2 建立数据仓库的原因 3 1.2 操作型系统与分析型系统 5 1.2.1 操作型系统 5 1.2.2 分析型系统 8 1.2.3 操作型系统和分析型系统对比 9 1.3 数据仓库架构 10 1.3.1 基本架构 10 1.3.2 主要数据仓库架构 12 1.3.3 操作数据存储 16 1.4 抽取-转换-装载 17 1.4.1 数据抽取 17 1.4.2...
大数据分析:方法与应用
云计算教程

大数据分析:方法与应用

大数据分析:方法与应用 内容简介: 本书介绍数据挖掘、统计学习和模式识别中与大数据分析相关的理论、方法及工具。理论学习的目标是使学生掌握复杂数据的分析与建模;方法学习的目标是使学生能够按照实证研究的规范和数据挖掘的步骤进行大数据研发,工具学习的目标是使学生熟练掌握一种数据分析的语言。本书内容由 10章构成:大数据分析概述,数据挖掘流程,有指导的学习,无指导的学习,贝叶斯分类和因果学习,高维回归及变量选择,图模型,客户关系管理、社会网络分析、自然语言模型和文本挖掘。 本书可用做统计学、管理学、计算机科学等专业进行数据挖掘、机器学习、人工智能等相关课程的本科高年级、研究生教材或教学参考书。 截图: