今天布置了有关hadoop分布式与伪分布式的作业，经过资料的查询，了解了很多概念，以下为整理的相关信息。

概念的理解：
（1）分布式
利用分而治之的思想：
随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统（HDFS）。

(2)伪分布式
Hadoop的伪分布式：
伪分布式就是假分布式，假就假在只有一台机器而不是多台机器来完成一个任务,但是模拟了分布式的这个过程，所以伪分布式下Hadoop也就是虽然在一个机器上配置了hadoop的所有节点，但伪分布式完成了所有分布式所必须的事件。伪分布式Hadoop和单机版*大区别就在于需要配置HDFS。

Hadoop伪分布式模式是指在一台机器上同时启动NameNode，DataNode, JobTracker, TaskTracker等进程（一般都是1个），并没有真正分布到集群内的不同机器上，所以这种模式叫伪分布式模式。

NameNode的组成：
Namenode整个内存结构大致可以分成四大部分:Namespace、BlockManger、NerworkTopology及其他；Namespace是维护整个文件系统的目录树结构及目录树上的状态变化；BlockManger维护整个文件系统中与数据块相关的信息及数据块的状态变化；NetworkTopology维护机架拓扑及Datanode信息，机架感知的基础；其他部分包括用以实现读写互斥同步的LeaseManger、支持集中式缓存管理的CacheManager、用于数据备份，回滚的SnapshotManager、管理HDFS安全访问的DelegationTokenSecretManager等。

如图：即为NameNode的有关组成部分：
————————————————
%title插图%num

NameNode的介绍：
（1）是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。
（2）文件包括：
fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。
edits:操作日志文件。
fstime:保存*近一次checkpoint的时间
（3）以上这些文件是保存在linux的文件系统中。

（4）、NameNode是主节点，存储文件的元数据，如文件名，文件目录结构，文件属性（生成事件，副本数，文件权限），以及每个文件的块列表和块所在的DataNode信息等等。

（5）、Namenode是一个中心服务器，单一节点，负责管理文件系统的名字空间，以及客户端对文件的访问。文件操作，NameNode负责文件元数据的操作，DataNode负责处理文件内容的读写请求，跟文件内容相关的数据流不经过NameNode，只会询问它跟那个DataNode联系，否则NameNode会成为系统的瓶颈。副本存放在那些DataNode上由NameNode来控制，根据全局情况做出块放置决定，读取文件时候NameNode尽量让用户先读取*近的副本，降低带块消耗和读取延时。NameNode全权管理数据块的复制。它周期性的从集群中每个DataNode接受心跳信号和块状态报告（Blocreport）。接受到心跳信号意味着该DataNode节点正常工作。块状态报告包含一个该DataNode上所有数据块的列表。
NameNode工作特点：
（1）Namenode始终在内存中保存metedata，用于处理“读请求”
（2）到有“写请求”到来时，namenode会首先写editlog到磁盘，即向edits文件中写日志，成功返回后，才会修改内存，并且向客户端返回
（3）Hadoop会维护一个fsimage文件，也就是namenode中metedata的镜像，但是fsimage不会随时与namenode内存中的metedata保持一致，而是每隔一段时间通过合并edits文件来更新内容。Secondary namenode就是用来合并fsimage和edits文件来更新NameNode的metedata的。

DataNode的介绍：
DataNode是以块的形式存储数据，默认为128M。

（1）提供真实文件数据的存储服务。
（2）文件块（block）：*基本的存储单位。对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。HDFS默认Block大小是128MB，以一个256MB文件，共有256/128=2个Block.
dfs.block.size
（3）不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间
（4）Replication。多复本。默认是三个。hdfs-site.xml的dfs.replication属性。

（5）、DataNode在本地文件系统存储文件块数据，以及块数据的校验和。

（6）、DataNode，一个数据块在DataNode以文件存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。DataNode启动后NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或者删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。集群运行中可以安全加入和退出一些机器。

以下为我的一些整理：
一、Hadoop分布式下Namenode和Datanode的分布
Namenode整个内存结构大致可以分成四大部分:Namespace、BlockManger、NerworkTopology及其他；Namespace是维护整个文件系统的目录树结构及目录树上的状态变化；BlockManger维护整个文件系统中与数据块相关的信息及数据块的状态变化；NetworkTopology维护机架拓扑及Datanode信息，机架感知的基础；其他部分包括用以实现读写互斥同步的LeaseManger、支持集中式缓存管理的CacheManager、用于数据备份，回滚的SnapshotManager、管理HDFS安全访问的DelegationTokenSecretManager等；Namenode常驻内存，主要被Namespase和BlockManager使用，其他部分内存开销较小且相对固定。
Datanode以块的形式存储数据，一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，另一个是元数据（包括数据块的长度，块数据的校验和，时间戳）；
Namenode周期性的从集群中的每个datanode接受心跳信号和块状态报告。而datanode会周期性的向namenode上报所有的块信息。
Namenode和Datanode以管理结点-工作结点模式运行，一个namenode结点和多个datanode结点，其中客户端（client）用户通过与namenode和datanode交互来访问整个文件系统，客户端提供了一些列的文件系统接口。
其中NameNode和secondary namemode、jobtracker运行在Master节点上，而DataNode和TaskTracker在Slave节点上。

二、Hadoop伪分布式下Namenode和Datanode的分布：
伪分布式就是一个机器既当namenode又当datanode；
Namenode、Datanode和JobTracker、TaskTracker等进程在一台机器上同时启动，并没有真正分布到集群内的不同机器上。
————————————————