3.1 分布式文件系统

1. 多节点构成的计算机集群
2. ​通常是主从架构，一主多从，主节点也成名称节点（NameNode），从节点也称数据节点（DataNode）

3.2 HDFS简介

1. 块
2. ​基本策略： 分块冗余存储，块的大小比较大 HDFS1.x 块的默认大小64MB， HDFS2.x 块的默认大小128MB
3. ​优点：
4. ​支持大规模文件存储

1. ​简化系统设计
2. ​适合数据备份

dfs.replication 1

1. 名称节点和数据节点

1. NameNode，名称节点，主节点，通常是一个，负责存储HDFS文件系统的元数据
2. ​DataNode，数据节点，从节点，通常是多个，负责存储文件的副本块、响应客户端的数据读写请求
3. SecondaryNameNode，第二名称节点，辅助节点，配合NameNode完成HDFS文件系统元数据的管理（课本P54页）
   • FsImage，核心数据结构，存储某个时间点的文件系统元数据信息的快照​
   • ​Editlog，记录上次快照后对文件系统元数据信息的更新操作

注意：HDFS文件系统元数据通常在GB级，而且在工作是要求常驻内存

3.3HDFS体系结构

一、HDFS体系结构概述

HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群包括一个名称节点（NameNode）和若干个数据节点（DataNode）（如图所示）。名称节点作为中心服务器，负责管理文件系统的命名空间及客户端对文件的访问。集群中的数据节点一般是一个节点运行一个数据节点进程，负责处理文件系统客户端的读/写请求，在名称节点的统一调度下进行数据块的创建、删除和复制等操作。每个数据节点的数据实际上是保存在本地。

二、HDFS的命名空间管理

一个命名空间，与普通文件系统类似（包括目录、块、文件）

三、通信协议

网络使用的是TCP/IP协议，节点间通过RPC实现通信

四、客户端

客户端两种：hdfs shell 、Java API

hadoop fs –

mkdir ls put get cat rm cp mv

五、HDFS体系结构的局限性

HDFS只设置唯一一个名称节点，这样做虽然大大简化了系统设计，但也带来了一些明显的局限性，具体如下：

• 命名空间的限制：名称节点是保存在内存中的，因此，名称节点能够容纳的对象（文件、块）的个数会受到内存空间大小的限制。
• 性能的瓶颈：整个分布式文件系统的吞吐量，受限于单个名称节点的吞吐量。
• 隔离问题：由于集群中只有一个名称节点，只有一个命名空间，因此，无法对不同应用程序进行隔离。
• 集群的可用性：一旦这个唯一的名称节点发生故障，会导致整个集群变得不可用。 HA(高可用)

注意：HDFS适合存储大文件，不适合存储大量的小文件

六、HDFS与其他的分布式文件系统的区别

启用了机架感知机制

3.4HDFS 存储原理

1. 冗余数据存储
   • 作为一个分布式文件系统，为了保证系统的容错性和可用性，HDFS采用了多副本方式对数据进行冗余存储，通常一个数据块的多个副本会被分布到不同的数据节点上，如图所示，数据块1被分别存放到数据节点A和C上，数据块2被存放在数据节点A和B上。这种多副本方式具有以下几个优点：
     • 保证数据可靠性
     • 加快数据传输速度
     • 容易检查数据错误
2. 数据存放策略
   • 第一个副本，如果是集群内提交，则存放在本机节点，如果是集群外提交，随机选取集群中磁盘不太满的、CPU不太忙的的节点 效率
   • 第二个副本，存放到与第1个副本不同的机架上的主机节点 安全
   • 第三个副本，存放到与第一个副本相同的机架上的主机节点
   • 如果还有其他副本，则随机存取。
3. 读取策略 — 计算向数据靠拢
   • HDFS提供了一个API可以确定一个数据节点所属的机架ID，客户端也可以调用API获取自己所属的机架ID
   • 当客户端读取数据时，从名称节点获得数据块不同副本的存放位置列表，列表中包含了副本所在的数据节点，可以调用API来确定客户端和这些数据节点所属的机架ID，当发现某个数据块副本对应的机架ID和客户端对应的机架ID相同时，就优先选择该副本读取数据，如果没有发现，就随机选择一个副本读取数据
4. 数据错误与恢复
   • 名称节点出错
     •   名称节点保存了所有的元数据信息，其中，最核心的两大数据结构是FsImage和Editlog，如果这两个文件发生损坏，那么整个HDFS实例将失效。因此，HDFS设置了备份机制，把这些核心文件同步复制到备份服务器SecondaryNameNode上。当名称节点出错时，就可以根据备份服务器SecondaryNameNode中的FsImage和Editlog数据进行恢复。
     • 实际应用中，名称节点和第二名称节点部署到不同的主机上
   • 数据节点出错 心跳机制
     • 每个数据节点会定期向名称节点发送“心跳”信息，向名称节点报告自己的状态
     • 当数据节点发生故障，或者网络发生断网时，名称节点就无法收到来自一些数据节点的心跳信息，这时，这些数据节点就会被标记为“宕机”，节点上面的所有数据都会被标记为“不可读”，名称节点不会再给它们发送任何I/O请求这时，有可能出现一种情形，即由于一些数据节点的不可用，会导致一些数据块的副本数量小于冗余因子，名称节点会定期检查这种情况，一旦发现某个数据块的副本数量小于冗余因子，就会启动数据冗余复制，为它生成新的副本
     • HDFS和其它分布式文件系统的最大区别就是可以调整冗余数据的位置
   • 数据出错
     • 网络传输和磁盘错误等因素，都会造成数据错误客户端在读取到数据后，会采用md5和sha1对数据块进行校验，以确定读取到正确的数据在文件被创建时，客户端就会对每一个文件块进行信息摘录，并把这些信息写入到同一个路径的隐藏文件里面当客户端读取文件的时候，会先读取该信息文件，然后，利用该信息文件对每个读取的数据块进行校验，如果校验出错，客户端就会请求到另外一个数据节点读取该文件块，并且向名称节点报告这个文件块有错误，名称节点会定期检查并且重新复制这个块
     • 数据块存储时 会生成校验码存放在块文件相同的位置

3.5HDFS 数据读写过程

一、读数据

二、写数据