云计算教程

分布式计算开源框架Hadoop入门实践 内容简介：        Hadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，如亚马逊、 Facebook和Yahoo等等。对于我来说，最近的一个使用点就是服务集成平台的日志分析。服务集成平台的日 志量将会很大，而这也正好符合了分布式计算的适用场景(日志分析和索引建立就是两大应用场景) 。感兴趣的朋友可以过来看看。 截图：

Hadoop源代码分析完整版  内容简介：        Hadoop源代码分析;主要分析hadoop中的hdfs,mapreduce,fs,io,ipc源代码。对学习hadoop源代码具有参考价值。目前，基于类似思想的Open Source项目还很多，如Facebook用于用户分析的Hive。HDFS作为一个分布式文件系统，是所有这些项目的基础。分析好HDFS，有利于了解其他系统。由于Hadoop的HDFS和MapReduce是同一个项目，我们就把他们放在一块，进行分析。 截图：

Hadoop_RPC详细分析 内容简介： 本书主要对Hadoop RPC进行详细分析;有需要的朋友可以下载看看。 HadoopRPC逻辑上分成三部分： 1.1. RPC Interface RPC对外接口。 1.2. RPC Server RPC服务端的实现。 1.3. RPC Client RPC客户端的实现。 截图：

Hadoop开发者入门专刊 内容简介：       《Hadoop开发者入门专刊》教程主要内容：Hadoop源代码eclipse编译教程、在Windows上安装Hadoop教程、在Windows上使用Cygwin安装HBase、Hive应用介绍、Hive执行计划解析等内容。对Hadoop开发入门有较好的指导作用。          Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求，可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 截图：

Hadoop云计算技术手册  内容简介：       Hadoop是一个开源的分布式并行计算平台，它主要由MapReduce的算法执行和一个分布式的文件系统等两部分组成。Hadoop起源于Doug Cutting大牛领导开发的Nutch搜索引擎项目的子项目。现在是Apache软件基金会管理的开源项目。        本文主要介绍Hadoop及相关技术，从Hadoop的起源开始讲述，主要涵盖了MapReduce算法思想，基本框架，运行流程和编程粒度等内容，以期给入门者提供一个关于Hadoop的技术简介和研究参考。关于Hadoop的安装指南和编程范例并不在本文叙述范围内，有需要者请参考其它资料。 资源目录： 引言——Hadoop从何而来 算法思想——Hadoop是怎么思考的 基本架构——Hadoop是如何构成的 运行流程——Hadoop是如何工作的 任务粒度——Hadoop是如何并行的 参考文献 截图：

使用Hadoop构建云计算平台 内容简介： • 核心框架： HDFS和MapReduce • MapReduce — 任务的分解与结果的汇总 • HDFS — Hadoop Distributed File System • — 分布式计算的基石 Hadoop是一个Apache的开源项目;一个能够对大量数据进行分布式处理的软件架构;假设计算元素和存储会失败，因此维护多个工作;数据副本，确保数据在线迁移; 在很多场合得到应用：Amazon;Yahoo;Facebook。 截图：

云计算Hadoop：快速部署Hadoop集群 内容简介：        近来云计算越来越热门了，云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源，并按使用量付费。可以通过 Internet 访问“云”中的任何资源，而不需要担心计算能力、带宽、存储、安全性和可靠性等问题。        Apache Hadoop 是一个软件框架，它可以分布式地操纵大量数据。它于2006年首次提及，由 Google、Yahoo! 和 IBM 等公司支持。可以认为它是一种 PaaS 模型。        它的设计核心是 MapReduce 实现和 HDFS (Hadoop Distributed File System)，它们源自 MapReduce(由一份 Google 文件引入)和 Google File System。 截图：

vmware虚拟机下hadoop集群安装过程 内容简介：        Hadoop俗称分布式计算，最早作为一个开源项目，最初只是来源于谷歌的两份白皮书。然而正如十年前的Linux一样，虽然Hadoop最初十分简单，但随着近些年来大数据的兴起，其也获得了一个充分体现价值的舞台。这也正是业内普遍将Hadoop看做是下一个Linux的原因。         本文介绍基于多台vmware虚拟机来安装hadoop集群的过程及方法，通过这个小的集群让您在本地电脑上就可以研究hadoop的相关工作过程，有人会有疑问在小的虚拟机集群上研究的结果， 写的程序能否在大集群上工作正常?可以肯定的没问题的。有需要的朋友可以下载看看。 截图：

linux hadoop搭建手册以及三种集群模式配置 内容简介：         linux hadoop搭建手册以及三种集群模式配置前半部分主要讲述了环境配置 环境配置环境配置;后半部分主要讲述Hadoop集群有三种运行模式，分别为单机模式，伪分布模式，完全分布式模式。单机模式和伪分布式模式的配置基本相同，本文档将重点介绍，在此基础上给出完全分布式模式搭建还需要的工作。有需要的朋友可以下载看看。 截图：

centos安装配置hadoop超详细过程 内容简介：        Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS，Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。        对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作;集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务;从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。 截图：