数据操作方法、装置和分布式存储系统制造方法及图纸

本发明专利技术公开了一种数据操作方法、装置和分布式存储系统，涉及分布式存储技术领域。数据操作方法包括：名字节点获取纠删码操作对应的一个或多个可执行命令；名字节点生成包括一个或多个可执行命令的纠删码操作指令，其中，纠删码操作指令是基于通用指令基类实现的对象；名字节点将纠删码操作指令发送给数据节点，以便数据节点解析纠删码操作指令，并执行解析结果中的可执行命令以实现纠删码操作。本发明专利技术的实施例实现了纠删码功能与数据节点的解耦、以及名字节点与数据节点的解耦，从而能够提高系统的上线效率。

【技术实现步骤摘要】
数据操作方法、装置和分布式存储系统
本专利技术涉及分布式存储
，特别涉及一种数据操作方法和系统。
技术介绍
纠删码(ErasureCoding，简称EC)技术为解决分布式文件系统Hadoop(HadoopDistributedFileSystem，简称：HDFS)中数据的备份占用过多存储空间而设计。纠删码技术通过为原始文件创建冗余校验数据，可以在数据丢失时通过剩余数据重新构建出源文件信息。
技术实现思路
专利技术人经过分析后发现，如果将纠删码转换工具添加到HDFS系统中，在大规模及超大规模Hadoop集群上进行迭代上线时，会产生很大的时延，本专利技术实施例所要解决的一个技术问题是：如何提高Hadoop集群进行迭代上线的效率。根据本专利技术一些实施例的第一个方面，提供一种数据操作方法，包括：名字节点获取纠删码操作对应的一个或多个可执行命令；名字节点生成包括一个或多个可执行命令的纠删码操作指令，其中，纠删码操作指令是基于通用指令基类实现的对象；名字节点将纠删码操作指令发送给数据节点，以便数据节点解析纠删码操本文档来自技高网...

【技术保护点】
1.一种数据操作方法，包括：/n名字节点获取纠删码操作对应的一个或多个可执行命令；/n名字节点生成包括所述一个或多个可执行命令的纠删码操作指令，其中，所述纠删码操作指令是基于通用指令基类实现的对象；/n名字节点将所述纠删码操作指令发送给数据节点，以便数据节点解析所述纠删码操作指令，并执行解析结果中的可执行命令以实现纠删码操作。/n

【技术特征摘要】
1.一种数据操作方法，包括：
名字节点获取纠删码操作对应的一个或多个可执行命令；
名字节点生成包括所述一个或多个可执行命令的纠删码操作指令，其中，所述纠删码操作指令是基于通用指令基类实现的对象；
名字节点将所述纠删码操作指令发送给数据节点，以便数据节点解析所述纠删码操作指令，并执行解析结果中的可执行命令以实现纠删码操作。


2.根据权利要求1所述的数据操作方法，其中，纠删码操作指令还包括环境变量、外部数据地址中的至少一种。


3.根据权利要求1所述的数据操作方法，其中，名字节点生成包括所述一个或多个可执行命令、以及环境变量的纠删码操作指令，所述可执行命令包括用于进行环境变量配置的可执行命令。


4.根据权利要求1所述的数据操作方法，其中，名字节点生成包括所述一个或多个可执行命令、以及动态库地址的纠删码操作指令，所述可执行命令包括用于下载的可执行命令。


5.根据权利要求1所述的数据操作方法，其中，在增加了新的纠删码操作的情况下，名字节点生成包括所述一个或多个可执行命令、以及新的纠删码操作对应的执行脚本的地址的纠删码操作指令，所述可执行命令包括下载命令。


6.根据权利要求1所述的数据操作方法，其中，名字节点根据获取的纠删码操作对应的纠删码操作策略，生成一个或多个可执行命令。


7.根据权利要求6所述的数据操作方法，其中，
所述操作策略为纠删码转换策略，所述纠删码转换策略的参数包括用于表示原始数据备份数的第一数量、以及表示校验数据备份数的第二数量；
所述一个或多个可执行命令包括：
读命令，用于读取原始数据；
数据划分命令，用于将读取的原始数据划分为第一数量个数据单元；
校验数据生成命令，用于根据读取的原始数据生成校验数据；
数据拷贝命令，用于分别将第一数量个数据单元中的每一个存储到第一数量个数据节点，将校验数据存储到第二数量个数据节点。


8.根据权利要求6所述的数据操作方法，...

【专利技术属性】
技术研发人员：刘强，毛宝龙，张林，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11