一种基于任务负载感知的纠删码归档方法及系统技术方案

本发明专利技术公开了一种基于任务负载感知的纠删码归档方法及系统，属于计算机存储技术领域。本发明专利技术方法首先获取纠删码集群中归档条带的每个节点任务数和每个节点上含有的当前归档条带数据分块个数；之后选取任务数最小且含有当前归档条带数据分块较多的一个存储节点作为编码节点，并更新编码节点的任务数；然后根据任务数最小原则和供给节点选取规则，依次选取所有数据分块的供给节点，并且更新其任务数；最后编码节点通过供给节点提供的数据分块进行编码计算，生成校验分块，完成归档任务。本发明专利技术还实现了一种基于任务负载感知的纠删码归档系统。本发明专利技术解决了现有归档方法中将大量归档任务集中分配到某个数据节点而导致的归档任务不均衡问题。

【技术实现步骤摘要】
一种基于任务负载感知的纠删码归档方法及系统
本专利技术属于计算机存储
，更具体地，涉及一种基于任务负载感知的纠删码归档方法及系统。
技术介绍
为了保障集群数据的可靠性和提高计算并行度，现有的分布式存储集群(HDFS,GFS)大多使用副本形式保存数据，即每个数据块在分布式集群中保存两个或者三个副本。副本形式的数据存储，虽然可以提高数据可靠性和并行度，但是存储开销较大，空间利用率不高。针对数据一次写多次读的集群环境，通过纠删码归档不经常被访问的数据，可以降低数据的存储开销，提高存储空间的利用率。在随机布局归档过程中，负载不均衡是影响归档性能的重要因素。在现有的随机布局归档中，一般都采用集中式数据归档和分布式数据归档。归档以条带为单位，条带主节点从条带从节点获取源数据,编码出校验数据。主节点还可以同时作为从节点，从本地磁盘获取源数据。在集中式数据归档中，随机选择存储集群中的一个节点作为所有条带的编码节点，编码节点磁盘上的数据块，直接以随机读的方式从磁盘获取，编码需要但是不在编码节点磁盘上的数据块则通过网络传输的方式从其他节点上获取。在分布式数据归档中，针对归档的每一个条带，根据数据局本文档来自技高网...

【技术保护点】
一种基于任务负载感知的纠删码归档方法，其特征在于，该方法包括以下步骤：(1)选取编码节点：获取当前归档条带每个存储节点的任务数和每个存储节点所含有本条带数据分块的个数，选取任务数最小且含有当前条带数据分块最多的一个存储节点作为编码节点，编码节点的任务数更新为任务数加纠删码的校验分块数；(2)选取供给节点：依次获取当前条带中各个数据分块的供给节点，并更新供给节点的任务数；(3)编码计算分配：编码节点获取所有供给节点中的数据分块进行编码计算，得到校验分块，并将校验分块传输给其他非供给节点；(4)循环编码分配：判断是否还有其他条带没有进行归档，若有则选定该条带返回步骤(1)；否则结束归档。

【技术特征摘要】
1.一种基于任务负载感知的纠删码归档方法，其特征在于，该方法包括以下步骤：(1)选取编码节点：获取当前归档条带每个存储节点的任务数和每个存储节点所含有本条带数据分块的个数，选取任务数最小且含有当前条带数据分块最多的一个存储节点作为编码节点，编码节点的任务数更新为任务数加纠删码的校验分块数；(2)选取供给节点：依次获取当前条带中各个数据分块的供给节点，并更新供给节点的任务数；(3)编码计算分配：编码节点获取所有供给节点中的数据分块进行编码计算，得到校验分块，并将校验分块传输给其他非供给节点；(4)循环编码分配：判断是否还有其他条带没有进行归档，若有则选定该条带返回步骤(1)；否则结束归档。2.根据权利要求1所述的一种基于任务负载感知的纠删码归档方法，其特征在于，所述步骤(2)包括以下子步骤：(21)获取当前数据分块所在的所有存储节点，选取任务数最小的存储节点作为候选节点；(22)候选节点中若有编码节点，则选编码节点同时作为当前数据分块的供给节点；(23)候选节点中若无编码节点，则任选一个候选节点作为供给节点；供给节点任务数加1，编码节点任务数加1；(24)判断是否还有其他数据分块没有选取供给节点，若有则选定该数据分块返回子步骤(21)；否则结束供给节点的选择。3.根据权利要求1或2所述的一种基于任务负载感知的纠删码归档方法，其特征在于，所述步骤(3)包括以下子步骤：(31)每个供给节点从本地磁盘中读取相应的数据分块；非编码节点的供给节点通过网络将数据分块发送给编码节点；(32)编码节点根据所有供给节点提供的数据分块进行编码计算，获取校验分块；(33)编码节点通过网络将生成的校验分块传输给存储集群中的非供给节点。4.一种基于任务负载感知的纠删码归档系统，其特征在于，该系统包括以下部...

【专利技术属性】
技术研发人员：黄建忠，曹强，谢长生，夏杰，周盼萍，王艳群，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42