大數據分析Excel Power BI全方位應用
云计算教程

大數據分析Excel Power BI全方位應用

大數據分析Excel Power BI全方位應用 内容简介: 隨著電腦技術的發展,資料存儲量呈現倍增成長,以資料採礦為核心的Business Intelligence(BI)顯然成為IT和其他行業的必爭之地,同時市場潮流Big Data讓巨量資料分析變得更重要,商業智慧也順理成章成為企業注重的一環,專業的分析人員更是市場人才寵兒。 基於此利基Microsoft Excel Power BI實現在數據分析與商業智慧分析領域,達到方便且有效率的作業模式。使用Excel Power BI可迅速完成以往只有透過專業商業智慧工具或花費大量時間才能完成的任務,它同時提供蒐集合併清理內外部資料來源功能(Power Query)、精華版OLAP工具(Power Pivot)、視覺化分析資料探索(Power View)與2D/3D地圖資訊分析(Power Map),協助企業能夠整合來自不同來源的巨量資料並轉化成資訊和洞察,應用在市場策略上,最終達到令人滿意的效果。 ■ 瞭解自助式商業智慧分析流程,提升人員決策能力 ■ 學習利用Excel 2016 Power BI工具建立視覺化圖表分析 ■ 學習如何從大眾熟悉的Excel環境使用Power Pivot、Power View、Power Map與Power Query ■ 內容逐步實際操作,從入門到進階,縮短學習時間,讓您有效率的抓住學習重點 ■ 帶領初學者快速掌握Power BI Desktop的使用技巧 资源目录: CH01 Power BI概論 CH02 Power Pivot精簡版OLAP CH03 Power View資料探索智慧視覺(...
华为出品:分布式云数据中心的建设与管理
云计算教程

华为出品:分布式云数据中心的建设与管理

华为出品:分布式云数据中心的建设与管理 内容简介: 目前,数量众多的数据中心给企业、政府机关带来了非常沉重的运维负担。业界流行的云计算技术还旨在解决单个数据中心内部的问题,无法解决多个数据中心之间资源共享、统一管理、提升业务服务质量的问题。华为分布式云数据中心(DistributedCloud Data Center,DC2)将传统的分散、分层、异构的传统数据中心架构,改造为全扁平式、点到点全互联、统一资源管理的分布式云数据中心架构,将多个不同地域、不同阶段、不同规模的数据中心所有资源通过逻辑集中,统一管理、统一呈现、统一运营,从而充分利用企业已有资源,支撑企业ICT服务能力高速发展。 华为分布式云数据中心市场反应颇佳,已有多个国际性项目在操作,其中某国际著名的运营商有近90个数据中心的改造需求、非洲某国家要建立9个联动的数据中心。2013年,分布式云数据中心的发布新闻稿还在巴塞罗那电信展被展会官方引用。市场急需这样一本介绍分布式云数据中心的建设与管理的图书,为企业、政府机关解燃眉之急。 资源目录: 第1章 云数据中心的历史和发展趋势 1.1 云计算给数据中心带来的变革和好处 1.2 云数据中心3.0:分布式云数据中心的定义 1.3 分布式云数据中心是数据中心发展的必然趋势 第2章 分布式云数据中心提供的关键服务与关键技术 2.1 分布式云数据中心总体架构 2.2  DCaaS服务介绍 2.3 IaaS服务关键技术:数据中心云操作系统 2.4 NaaS服务关键技术:TRILL,VXLAN,SDN 2.5 MaaS服务关键技术:自动化和管理系统 2.6 管理解决方案 第3章 IaaS的规划与建设 3.1 IaaS的规划 3.2 计算资源池的建设 3.3 存储资源池的建设 第4章 NaaS的规划与建设 4.1 Naas的规划 4.2 网络资源池的建设 应用举例 4.3 安全解决方案的建设 第5章 MaaS的设计与建设 5.1 数据中心运维管理 5.2...
Hadoop技术内幕_深入解析HADOOP_COMMON和HDFS架构设计与实现原理
云计算教程

Hadoop技术内幕_深入解析HADOOP_COMMON和HDFS架构设计与实现原理

Hadoop技术内幕_深入解析HADOOP_COMMON和HDFS架构设计与实现原理 内容简介: 《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》内容简介:“Hadoop技术内幕”共两册,分别从源代码的角度对“Common+HDFS”和MapReduce的架构设计与实现原理进行了极为详细的分析。《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》由腾讯数据平台的资深Hadoop专家、X-RIME的作者亲自执笔,对Common和HDFS的源代码进行了分析,旨在为Hadoop的优化、定制和扩展提供原理性的指导。除此之外,《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》还从源代码实现中对分布式技术的精髓、分布式系统设计的优秀思想和方法,以及Java语言的编码技巧、编程规范和对设计模式的精妙运用进行了总结和分析,对提高读者的分布式技术能力和Java编程能力都非常有帮助。《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》适合Hadoop的二次开发人员、应用开发工程师、运维工程师阅读。 全书共9章,分为三部分:第一部分(第1章)主要介绍了Hadoop源代码的获取和源代码阅读环境的搭建;第二部分(第2~5章)对Hadoop公共工具Common的架构设计和实现原理进行了深入分析,包含Hadoop的配置信息处理、面向海量数据处理的序列化和压缩机制、Hadoop的远程过程调用,以及满足Hadoop上各类应用访问数据的Hadoop抽象文件系统和部分具体文件系统等内容;第三部分(第6~9章)对Hadoop的分布式文件系统HDFS的架构设计和实现原理进行了详细的分析,这部分内容采用了总分总的结构,第6章对HDFS的各个实体和实体间接口进行了分析;第7章和第8章分别详细地研究了数据节点和名字节点的实现原理,并通过第9章对客户端的解析,回顾了HDFS各节点间的配合,完整地介绍了一个大规模数据存储系统的实现。 资源目录: 前 言 第一部分 环境准备 第1章 源代码环境准备/ 2 1.1 什么是Hadoop / 2 1.1.1 Hadoop简史/ 2 1.1.2 Hadoop的优势/ 3 1.1.3 Hadoop生态系统/ 4 1.2 准备源代码阅读环境/ 8 1.2.1 安装与配置JDK / 8 1.2.2 安装Eclipse / 9 1.2.3 安装辅助工具Ant/ 12 1.2.4 安装类UNIX Shell环境Cygwin / 13 1.3 准备Hadoop源代码/ 15 1.3.1 下载Hadoop / 15 1.3.2 创建Eclipse项目/ 16 1.3.3 Hadoop源代码组织/ 18 1.4 小结/...
大数据日知录:架构与算法
云计算教程

大数据日知录:架构与算法

大数据日知录:架构与算法 内容简介: 大数据是当前最为流行的热点概念之一,其已由技术名词衍生到对很多行业产生颠覆性影响的社会现象,作为最明确的技术发展趋势之一,基于大数据的各种新型产品必将会对每个人的日常生活产生日益重要的影响。 《大数据日知录:架构与算法》从架构与算法角度全面梳理了大数据存储与处理的相关技术。大数据技术具有涉及的知识点异常众多且正处于快速演进发展过程中等特点,其技术点包括底层的硬件体系结构、相关的基础理论、大规模数据存储系统、分布式架构设计、各种不同应用场景下的差异化系统设计思路、机器学习与数据挖掘并行算法以及层出不穷的新架构、新系统等。《大数据日知录:架构与算法》对众多纷繁芜杂的相关技术文献和系统进行了择优汰劣并系统性地对相关知识分门别类地进行整理和介绍,将大数据相关技术分为大数据基础理论、大数据系统体系结构、大数据存储,以及包含批处理、流式计算、交互式数据分析、图数据库、并行机器学习的架构与算法以及增量计算等技术分支在内的大数据处理等几个大的方向。通过这种体系化的知识梳理与讲解,相信对于读者整体和系统地了解、吸收和掌握相关的优秀技术有极大的帮助与促进作用。 《大数据日知录:架构与算法》的读者对象包括对NoSQL 系统及大数据处理感兴趣的所有技术人员,以及有志于投身到大数据处理方向从事架构师、算法工程师、数据科学家等相关职业的在校本科生及研究生。 资源目录: 第0 章 当谈论大数据时我们在谈什么……………. 1 第1 章 数据分片与路由………………………………………. 9 第2 章 数据复制与一致性…………………………………………20 第3 章 大数据常用的算法与数据结构………………………………51 第4 章 集群资源管理与调度…………………………………71 第5 章 分布式协调系统……………………………..91 第6 章 分布式通信…………………………106 第7 章 数据通道…………………………………..120 第8 章 分布式文件系统………………………………131 第9 章 内存KV 数据库……………………………..168 第10 章 列式数据库…………………………………….176 第11 章 大规模批处理系统……………………………..199...
Hadoop技术内幕深入解析YARN架构设计与实现原理
云计算教程

Hadoop技术内幕深入解析YARN架构设计与实现原理

Hadoop技术内幕深入解析YARN架构设计与实现原理 内容简介: 本书从应用角度系统讲解了YARN的基本库和组件用法、应用程序设计方法、YARN上流行的各种计算框架(MapReduce、Tez、Storm、Spark),以及多个类YARN的开源资源管理系统(Corona和Mesos);从源代码角度深入分析YARN的设计理念与基本架构、各个组件的实现原理,以及各种计算框架的实现细节。 全书共四部分13章:第一部分(第1~2章)主要介绍了如何获取、阅读和调试Hadoop的源代码,以及YARN的设计思想、基本架构和工作流程;第二部分(第3~7章)结合源代码详细剖析和讲解了YARN的第三方开源库、底层通信库、服务库、事件库的基本使用和实现细节,详细讲解了YARN的应用程序设计方法,深入讲解和分析了ResourceManager、资源调度器、NodeManager等组件的实现细节;第三篇(第8~10章)则对离线计算框架MapReduce、DAG计算框架Tez、实时计算框架Storm和内存计算框架Spark进行了详细的讲解;第四部分(第11~13章)首先对Facebook Corona和Apache Mesos进行了深入讲解,然后对YARN的发展趋势进行了展望。附录部分收录了YARN安装指南、YARN配置参数以及Hadoop Shell命令等非常有用的资料。 资源目录: 前 言 第一部分 准备篇 第1章 环境准备 2 1.1 准备学习环境 2 1.1.1 基础软件下载 2 1.1.2 如何准备Linux环境 3 1.2 获取Hadoop源代码 5 1.3 搭建Hadoop源代码阅读环境 5 1.3.1 创建Hadoop工程 5 1.3.2 Hadoop源代码阅读技巧 8 1.4 Hadoop源代码组织结构 10 1.5 Hadoop初体验 12 1.5.1 搭建Hadoop环境 12 1.5.2 Hadoop Shell介绍 15 1.6 编译及调试Hadoop源代码 16 1.6.1 编译Hadoop源代码 17 1.6.2 调试Hadoop源代码 18 1.7 小结 20 第2章 YARN设计理念与基本架构 21 2.1 YARN产生背景...
白话大数据与机器学习
云计算教程

白话大数据与机器学习

白话大数据与机器学习 内容简介: 本书通俗易懂,有高中数学基础即可看懂,同时结合大量案例与漫画,将高度抽象的数学、算法与应用,与现实生活中的案例和事件一一做了关联,将源自生活的抽象还原出来,帮助读者理解后,又带领大家将这些抽象的规律与算法应用于实践,贴合读者需求。同时,本书不是割裂讲解大数据与机器学习的算法和应用,还讲解了其生态环境与关联内容,让读者更全面地知晓渊源与未来,是系统学习大数据与机器学习的不二之选: ·大数据产业解读一一剖析产业情况,人才供需、职业选择与相应“武器”库; ·步入大数据之门一一解读数据、信息、算法,以及与大数据应用的关系; ·大数据基石一一结合大量示例和漫画,趣味讲解大数据算法应掌握的数学知识,无障碍学习; ·大数据算法奥义——信息论、向量空间、回归、聚类、分类等最为核心的算法的释义与应用,举重若轻; ·大数据热门应用——关联分析、用户画像、推荐算法、文本挖掘、人工神经网络等最实用、最需要了解的应用的原理与实现; ·大数据主流框架一一介绍了主流的大数据框架(Hadoop、Spark和Cassandra); ·系统架构与调优一一从速度与稳定性方面给出调优的一般性“内功心法”; ·大数据价值与变现一一从运营指标、AB测试、大数据价值与变现场景多维度解读。 资源目录: 前言 第1章 大数据产业 1 1.1 大数据产业现状 1 1.2 对大数据产业的理解 2 1.3 大数据人才 3 1.3.1 供需失衡 3 1.3.2 人才方向 3 1.3.3 环节和工具 5 1.3.4 门槛障碍 6 1.4 小结 8 第2章 步入数据之门 9 2.1 什么是数据 9 2.2 什么是信息 10 2.3 什么是算法 12 2.4 统计、概率和数据挖掘 13 2.5 什么是商业智能 13 2.6 小结 14 第3章 排列组合与古典概型...
颠覆大数据分析 基于StormSpark等Hadoop替代技术的实时应用
云计算教程

颠覆大数据分析 基于StormSpark等Hadoop替代技术的实时应用

颠覆大数据分析 基于StormSpark等Hadoop替代技术的实时应用  内容简介: Vijay Srinivas Agneeswaran 博士,1998 年于SVCE 的马德拉斯分校获得计算机科学与工程专业的学士学位,2001 年获取了印度理工学院马德拉斯分校的硕士学位(研究性质),2008年又获取了该校的博士学位。他曾在瑞士洛桑的联邦理工学院的分布式信息系统实验室(LSIR)担任过一年的博士后研究员。之前7 年先后就职于Oracle、Cognizant 及Impetus,对大数据及云领域的工程研发贡献颇多。目前担任Impetus 的大数据实验室的执行总监。他的研发团队在专利、论文、受邀的会议发言以及下一代产品创新方面都处于领导地位。他主要研究的领域包括大数据管理、批处理及实时分析,以及大数据的机器学习算法的实现范式。最近8 年来,他一直是计算机协会(ACM)以及电气和电子工程师协会(IEEE)的专家成员,并于2012年12 月被推选为IEEE 的资深成员。他在美国、欧洲以及印度的专利局都申请过专利(并持有美国的两项专利)。他在前沿的期刊及会议,包括IEEE transaction 上都发表过论文。他还是国内外多个会议的特邀发言人,譬如O’Reilly 的Strata 大数据系列会议。最近一次公开发表论文是在Liebertpub 的大数据期刊上。他与妻子及儿女一起居住在班加罗尔,对印度、埃及、巴比伦以及希腊古代的文化与哲学的研究非常感兴趣 资源目录: 前言 致谢 关于作者 1 引言:为什么要超越 Hadoop Map-Reduce 1 Hadoop的适用范围 3 大数据分析之机器学习实现的革命 10 第一代机器学习工具 /范式 11 第二代机器学习工具 /范式 11 第三代机器学习工具 /范式 14 小结 18 参考文献...
物联网智能家居平台DIY:ARDUINO 物联网云平台
云计算教程

物联网智能家居平台DIY:ARDUINO 物联网云平台

物联网智能家居平台DIY:ARDUINO 物联网云平台 内容简介: 《物联网智能家居平台DIY:Arduino+物联网云平台+手机+微信》适合普通高等院校物联网及相关专业的学生阅读,也可作为物联网领域从业人员和电子制作爱好者制作整套物联网项目的快速指导手册。 资源目录: 前言 第1篇 物联网与智能家居基础 第1章 概述3 1.1认识物联网3 1.1.1感知层4 1.1.2网络层5 1.1.3应用层5 1.2智能家居的概念6 1.3智能家居的技术架构7 第2篇 硬件Arduino 第2章 Arduino基础13 2.1物联网开源硬件13 2.2Arduino简介16 2.2.1Arduino的由来16 2.2.2Arduino的优点17 2.2.3Arduino的应用18 2.3Arduino工作环境18 2.3.1Arduino硬件详细设计18 2.3.2Arduino软件开发环境20 2.3.3ArduinoIDE界面介绍24 第3章 Arduino的应用方法28 3.1Arduino读取传感器数据28 3.1.1土壤湿度传感器28 3.1.2光感器?32 3.2Arduino反控制外围设备34 3.2.1LED灯34 3.2.2继电器36 3.2.3PMW电机38 3.2.4液晶显示器41 3.3Arduino连接无线通信模块43 3.3.1WiFi43 3.3.2ZigBee46 3.3.3蓝牙50 第3篇 物联网云服务器Xively 第4章...
大数据的互联网思维
云计算教程

大数据的互联网思维

大数据的互联网思维 内容简介: 《大数据的互联网思维》是国内第一本将互联网思维应用到大数据领域的专著,记录了笔者在大数据时代的一些感想、心得。 本书共分10章,其中第1章阐述了大数据发展的现状,以及大数据发展需要互联网思维的原因; 第2章提出了借鉴互联网思维,大数据可以实现一次“凤凰涅槃”般的新生,从传统IT项目“脱胎换骨”为咨询服务项目; 第3章写到大数据将重塑资源格局,未来会成为国家资产,同时将促进理性社会的到来; 第4章介绍了大数据的客户体验如何提升,需要明确客户是谁,客户想要什么,笔者指出融入娱乐思维的个性化管家式服务是一种可行之道; 第5章介绍了大数据的产品思维,有哪些好的经验可以学习; 第6章和第7章分别阐述了如何打造出极致的大数据产品,以及大数据如何进行快速迭代; 第8章介绍了大数据的平台思维,同时提出传统的互联网平台升级为拥有智慧的大数据平台是大势所趋; 第9章介绍了大数据的跨界会带来什么,提出“大数据×”的概念,指出“大数据×”是“互联网+”的有机组成部分; 最后一章笔者对多年收集的大数据实践案例进行了介绍,帮助读者深入了解本书前面提到的理论部分。本书中穿插了许多诙谐的小故事和小案例,能够让读者在轻松、幽默的氛围中快速体会笔者的一些感悟。 与市面上现有的介绍大数据以及互联网思维的书籍不同,本书是笔者十多年大数据相关从业经验的积累,是在实践过程中不断总结出来的,书中许多具体案例都是真实存在并且被广泛使用的。有志于从事大数据事业或者数据分析领域相关工作的管理人员或IT人员都值得拥有本书 资源目录: 01 大数据现状/1 本章描述了大数据的基本概念和特点,指出移动互联网产生的数据,具备更高的商业价值。借助互联网的发展,引出了互联网思维的故事,分析了互联网思维的特点,分享了“天变了”的颠覆理念。最后结合实践经验,给出了大数据需要引入互联网思维进行发展的结论。 02 堪比“文艺复兴”的互联网思维/17 本章分析了大数据项目的特点,指出其不同于传统IT项目的差异,给出了在大数据项目发展过程中如何借鉴互联网思维的具体案例。指出了借助互联网思维,大数据能够逐步发展成为独立的产业,并在“互联网+”的发展过程中,提升各个产业的智慧水平。 03 大数据的发展/47 本章首先描述了大数据产生和发展的历程,提出了大数据将重塑各个产业,数据将逐步替代石油等传统能源,成为新时代的国家战略资源。然后提到了大数据将解决信息不对称的问题,实现市场资源的最优配置,从而综合市场经济和计划经济的优点,促进“理性社会”的真正到来。还提到了传统的电信运营商如何借鉴互联网公司的大数据应用经验,实现从网络运营到大数据运营的转型。最后指出大数据发展过程中可能会面临的各种问题。 04 大数据的客户体验/74 本章提出要提升大客户的客户体验,首先要明确客户是谁,客户分为哪几大类,分别有什么特点,并且通过例子进行了详细阐述。然后笔者结合建设大数据系统的多年经验,将大数据应用概括为取数、取知识和取专业建议三个阶段。接下来详细解释了客户体验是什么,如何能够让客户在使用大数据产品时感受到“快”、“准”和“爽”,如何让数据变得可读,同时大胆提出能否让数据分析报告变成电影剧本,从而更加吸引客户。最后提出需要针对不同的角色提供不同的管家式服务,并且将娱乐思维引入到大数据产品的设计中,从而使客户体验得到提升。 05 大数据产品设计/100 本章首先描述了大数据产品化的引出背景,然后阐述了大数据产品的有关分类,并且提出了数据分析手机这样一种全新的大数据产品,同时提到了数联网以及脑联网。本章还解释了大数据的搜索门户、社交平台、电商平台以及云化平台,对未来大数据产品的全新载体进行了大胆的猜想。最后提到了大数据产品的特点、产品设计的关键点以及产品的定位问题,指出了大数据产品需要通过对比显示其价值,需要更多的群众参与;同时,我们需要简化界面,提高产品的可视化,通过准确的定位,提升大数据产品的运营效果。 06 大数据的极致思维/120 本章主要论述了大数据产品要想获得成功,也需要做到极致。首先介绍了大数据产品如何做到极致。然后提到了大数据能够带来思维的极致。还阐述了大数据会带来精准营销和成本控制的极致。本章最后指出,一个极致的大数据产品,不光产品本身要过硬,还需要会“讲故事”,能够通过吸引人的标题、叙事方式以及论据的选择,将大数据产品中蕴涵的思想抽丝剥茧般地传递给最终客户。 07 大数据的快速迭代/142 本章重点阐述了大数据产品如何实现快速迭代,从而能够及时甚至实时地把握用户的需求。并且指出大数据产品往往是无形产品,其产品研发的边际成本更低,消费者反馈的成本也低,因此更需要做到快速迭代。 08 大数据的平台思维/151 本章首先阐述了大数据的平台思维,是要在平等的基础上,构建一种主体共建、资源共享、数据开放、多方共赢的大数据商业生态系统。然后笔者对数联网进行了较为详细的阐述,对数联网的标准数据、标准接口、标准使用,以及访问工具和数据管控,谈了一些个人的理解。接下来重点描述了大数据平台的生态环境,还提到了平台SDK,借用厨房、食材、炊具和美食的关系,指出通过打造标准的数据,提升数据的可读性和加工的简化性,形成人人参与的大数据生态圈。本章最后对互联网企业的数据开放平台进行了介绍,指出从传递信息的互联网平台升级到传送智慧的大数据平台是大势所趋。 09 大数据的跨界思维/208 本章首先指出,在“互联网+”落地的过程中,如果各个行业间的大数据能够融合,就会产生更加巨大的价值。接着引用著名诗人萧伯纳的一句名言,引出了大数据跨界的特点。笔者还指出大数据的业务多维,即不同的人对相同的数据也会产生不同的理解,因此,对数据的解读至关重要。本章最后,笔者指出大数据的跨界在很大程度上依赖于大数据的行业交叉,能够产生什么样的火花,全看交叉的角度和力度,同时列举了两个不同行业数据融合可能会带来的新商机。 10 大数据实践案例探索/222 本章重点描述大数据的客户体验提升、大数据的产品化、大数据的知识库以及大数据的极致思维、跨界思维、平台思维和快速迭代的具体案例,便于读者理解书中所阐述的内容,使理论和实践更好地结合。 截图: