Google 分布式系统与Hadoop

分布式文件系统术语对比

Hadoop服务器的基本架构、各服务所使用的协议、调用方向、以及协议中的基本内容

Hadoop 服务器简介

      分布式文件系统不是将这些数据放在一块磁盘上，由上层操作系统来管理。而是存放在一个服务器集群上，由集群中的服务器，各尽其责，通力合作，提供整个文件系统的服务。其中重要的服务器包括：主控服务器（Master/NameNode），数据服务器（ChunkServer/DataNode） ,和客户服务器。HDFS和GFS都是按照这个架构模式搭建的。其中设计的最核心内容是：文件的目录结构独立存储在一个主控服务器上，而具体文件数据，拆分成若干块，冗余的存放在不同的数据服务器上。存储目录结构的主控服务器，在GFS中称为Master，在HDFS中称为NameNode。

    每一个文件的具体数据，被切分成若干个数据块，冗余的存放在数据服务器。通常的配置，每一个数据块的大小为64M，在三个数据服务器上冗余存放，数据服务器其主要的工作模式就是定期向主控服务器汇报其状况，然后等待并处理命令，更快更安全的存放好数据。整个分布式文件系统还有一个重要角色是客户端。它不和主控服务和数据服务一样，在一个独立的进程中提供服务，它只是以一个类库（包）的模式存在，为用户提供了文件读写、目录操作等APIs。

分布式文件系统

uFault-tolerant, 容错性

uRun on commodity hardware，在通用的机器上运行

uScalable 可扩缩的

分布式文件系统

       数据分布

       一个文件系统中，最重要的数据，其实就是整个文件系统的目录结构和具体每个文件的数据。具体的文件数据被切分成数据块，存放在数据服务器上。每一个文件数据块，在数据服务器上都表征为出双入队的一对文件（普通的Linux文件），一个是数据文件，一个是附加信息的元文件，这对文件简称为数据块文件。数据块文件存放在数据目录下，它有一个名为current的根目录，然后里面有若干个数据块文件和从dir0-dir63的最多64个的子目录，子目录内部结构等同于current目录，依次类推。

      主控服务器的数据量不大，但逻辑更为复杂。主控服务器主要有三类数据：文件系统的目录结构数据，各个文件的分块信息，数据块的位置信息（数据块放置在哪些数据服务器上）。在GFS和HDFS的架构中，只有文件的目录结构和分块信息才会被持久化到本地磁盘上，而数据块的位置信息则是通过动态汇总过来的，仅仅存活在内存数据结构中，机器宕机数据就消失了。每一个数据服务器启动后，都会向主控服务器发送注册消息，将其上数据块的状况都告知于主控服务器。

      服务器间协议

     在Hadoop的实现中，部署了一套RPC机制，以此来实现各服务间的通信协议。在Hadoop中，每一对服务器间的通信协议，都定义成为一个接口。服务端的类实现该接口，并且建立RPC服务，监听相关的接口，在独立的线程处理RPC请求。客户端则可以实例化一个该接口的代理对象，调用该接口的相应方法，执行一次同步的通信，传入相应参数，接收相应的返回值。基于此RPC的通信模式，是一个消息拉取的流程，RPC服务器等待RPC客户端的调用，而不会先发制人主动把相关信息推送到RPC客户端去。

      数据结构

        NameNode

–存贮HDFS的元数据(metadata)

–管理文件系统的命名空间（namespace）

创建、删除、移动、重命名文件和文件夹

–接收从DataNode来的Heartbeat和Blockreport

       DataNode

–存贮数据块

–执行从Namenode来的文件操作命令

–定时向NameNode发送Heartbeat和Blockreport

分布式计算（Map/Reduce）

     uJobtraker(Master)

–接收任务（job）的提交

–提供任务的监控(monitoring)和控制(control)

–把job划分成多个tasks，交给Tasktracker执行，并管理这些tasks的执行

     uTasktracker(Worker)

–管理单个task的map任务和reduce任务的执行

  分布式存储

Client

1包含访问hbase的接口，client维护着一些cache来加快对hbase的访问，比如regione的位置信息。

Master

1.为Region server分配region

2.负责region server的负载均衡

3.发现失效的region server并重新分配其上的region

4.GFS上的垃圾文件回收

5.处理schema更新请求

Region Server

1.Region server维护Master分配给它的region，处理对这些region的IO请求

2.Region server负责切分在运行过程中变得过大的region

Zookeeper

1.保证任何时候，集群中只有一个master

2.存贮所有Region的寻址入口。

3.实时监控Region Server的状态，将Region server(管理区域服务器)的上线和下线信息实时通知给Master

4.存储Hbase的schema,包括有哪些table，每个table有哪些column family

ZooKeeper 是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。