数据节点处理方法、系统和名称节点技术方案

本公开提供了一种数据节点处理方法、系统和名称节点，涉及大数据处理领域。该方法包括：增设功能节点数据集合，其中，功能节点数据集合包括支持预定功能的数据节点信息；向功能节点数据集合中的数据节点发送与预定功能相关的任务指令。本公开使得名称节点每次下发任务都能够将任务下发到符合要求的数据节点中。

【技术实现步骤摘要】
数据节点处理方法、系统和名称节点
本公开涉及大数据处理领域，尤其涉及一种数据节点处理方法、系统和名称节点。
技术介绍
随着HADOOP成为大数据处理的一个基础组件之后，各大公司都使用HADOOP做大数据平台的底层。但是随着集群规模的增长与业务量的激增，HDFS(HadoopDistributedFileSystem，Hadoop分布式文件系统)整体存储成本增加的非常快。以常用的三副本存储策略为例，实际占用存储空间是实际数据容量的3倍，直接增加了存储的硬件成本。为了解决以上问题，HADOOP3.0基线引入了EC(ErasureCoding，纠删码)存储策略，来优化HDFS存储成本问题。以常用的ECRS-6-3-1024k存储策略为例，理想情况下，例如，小文件占比小，实际占用存储空间是实际数据容量的1.5倍，可以直接比三副本存储节省一半的存储硬件成本。
技术实现思路
但EC存储策略不支持前向兼容，使用前需要把所有DataNode(数据节点)和NameNode(名称节点)升级到3.0以上的版本。否则，由于名称节点在下发任务时，并不会考虑数本文档来自技高网...

【技术保护点】
1.一种数据节点处理方法，包括：/n增设功能节点数据集合，其中，所述功能节点数据集合包括支持预定功能的数据节点信息；/n向所述功能节点数据集合中的数据节点发送与所述预定功能相关的任务指令。/n

【技术特征摘要】
1.一种数据节点处理方法，包括：
增设功能节点数据集合，其中，所述功能节点数据集合包括支持预定功能的数据节点信息；
向所述功能节点数据集合中的数据节点发送与所述预定功能相关的任务指令。


2.根据权利要求1所述的数据节点处理方法，其中，所述预定功能包括纠删码数据恢复功能，其中，发送与所述预定功能相关的任务指令包括：
发送纠删码数据恢复任务指令。


3.根据权利要求2所述的数据节点处理方法，其中，增设功能节点数据集合包括：
根据数据节点在注册时携带的标识信息，判断所述数据节点是否为支持纠删码数据恢复功能的数据节点；
若所述数据节点为支持纠删码数据恢复功能的数据节点，则将所述数据节点添加到所述功能节点数据集合。


4.根据权利要求3所述的数据节点处理方法，其中，所述标识信息包括版本号，其中，判断所述数据节点是否为支持纠删码数据恢复功能的数据节点包括：
若所述数据节点的版本号满足预设版本号，则确定所述数据节点为支持纠删码数据恢复功能的数据节点。


5.根据权利要求1-4任一所述的数据节点处理方法，其中，
在下发纠删码数据恢复任务指令时，将任务指令发送至属...

【专利技术属性】
技术研发人员：吴维伟，毛宝龙，郭雷，杨秀冰，黄涛，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11