关于DataNode的运行机制和副本规则

关于DataNode的运行机制和副本规则

DataNode的一些笔记。

A、DataNode默认的三个副本的创建规则

1,首先,先在本机创建一个副本
2,再在另外一个机架上存放一个副本
3,再在本机所在的机架上存放一个副本

B、副本数量的配置优先级
1,服务端 hdfs-site.xml 可以配置
2,在客户端指定dfs.replication的值
客户端所指的值优先级更高,因为你是客户端传输数据

C、DataNode定期向NemaNode回报存储的blocl信息
虽然元数据的确是在NameNode上,但是难免会发生DataNode上的数据会发生变化,如损坏或移动、丢失等,所以需要定期向NameNode发送数据已确保数据的保证性

D、心跳机制
发送数据,以确保DataNode和NameNode通信正常


如果您觉得本文章对您有用,也为了更好的运营博客,您可以点击这里捐助

评论 抢沙发

昵称 (必填) 邮箱 (必填)
表情