数据段单元传输差异化管理方法和分布式块存储系统技术方案

本发明专利技术公开了一种数据段单元传输差异化管理方法，包括以下步骤：S1、将若干数据段单元分组，所分的组的数量在[M/20]和[M/10]之间，且为整数，其中，M是一个组内所能管理的数据段单元的数量的最大值；S2、将一个数据段单元归入其所属的组，S3、如果步骤S2中的数据段单元所属的组内的元数据的总量大于C，则对该组进行再次分组，C是上报给信息管理服务节点的最大数据包的大小；S4、如果两个组内的元数据分别大于C/20且小于C/5，则将两组合并；S5、将数据段单元以组为单位上报给信息管理服务节点。本发明专利技术可以更好地利用网络资源，同时也能解决现有技术中网络拥堵的问题。本发明专利技术还提供一种分布式块存储系统，用于实现上述的数据段单元传输差异化管理方法。

【技术实现步骤摘要】
数据段单元传输差异化管理方法和分布式块存储系统
本专利技术属于计算机信息安全领域，更具体地说，涉及一种数据段单元传输差异化管理方法和分布式块存储系统。
技术介绍
在DBS（DistributedBlockStorage，分布式块存储系统）中，所有数据段单元segmentunit的元数据信息需要统一上报给信息管理服务节点，信息管理服务节点收集所有的数据段单元segmentunit的信息进行分析整理过滤然后展示给用户。现有技术中，所有数据段单元segmentunit的元数据信息定时地上报给信息管理服务节点，这样存在的问题是：一方面网络负载压力较大，容易造成网络拥堵；另一方面信息管理服务节点需要不停地处理所有的数据段单元segmentunit的元数据信息，信息管理服务节点会面临极大的处理压力。授权公告日为2017年3月22日，授权公告号为CN104967639B，专利名称为一种信息上报方法、装置及数据节点服务器的中国专利公开了一种技术方案，用以降低大量元数据信息上报给元数据服务器带来的负担。该技术方案包括：当需要向元数据服务器上报数据块的元数本文档来自技高网...

【技术保护点】
1.一种数据段单元传输差异化管理方法，其特征在于：包括以下步骤：/nS1、将若干数据段单元分组，所分的组的数量在[M/20]和[M/10]之间，且为整数，其中，M是一个组内所能管理的数据段单元的数量的最大值；/nS2、将一个数据段单元归入其所属的组；/nS3、如果步骤S2中的数据段单元所属的组内的元数据的总量大于C，则对该组进行再次分组，C是上报给信息管理服务节点的最大数据包的大小；/nS4、如果两个组内的元数据分别大于C/20且小于C /5，则将该两组合并成一个组；/nS5、将数据段单元以组为单位上报给信息管理服务节点。/n

【技术特征摘要】
1.一种数据段单元传输差异化管理方法，其特征在于：包括以下步骤：
S1、将若干数据段单元分组，所分的组的数量在[M/20]和[M/10]之间，且为整数，其中，M是一个组内所能管理的数据段单元的数量的最大值；
S2、将一个数据段单元归入其所属的组；
S3、如果步骤S2中的数据段单元所属的组内的元数据的总量大于C，则对该组进行再次分组，C是上报给信息管理服务节点的最大数据包的大小；
S4、如果两个组内的元数据分别大于C/20且小于C/5，则将该两组合并成一个组；
S5、将数据段单元以组为单位上报给信息管理服务节点。


2.根据权利要求1所述的数据段单元传输差异化管理方法，其特征在于：在进行数据段单元的上报时，还包括以下步骤：
S21、将当前组内所有的数据段单元内的元数据进行哈希变换得到哈希值，将每一个数据段单元的哈希值和上一次上报的该数据段单元的哈希值进行比较；
S22、若两次哈希值相等，则只上报当前组内的数据段单元的ID给信息管理服务节点；
S23、若两次哈希值不相等，则将哈希值不相等的数据段单元内的元数据全部上报给信息管理服务节点。


3.根据权利要求2所述的数据段单元传输差异化管理方法，其特征在于：如果当前组的元数据为第一次上报，则将数据段单元内的元数据进行哈希变换后得到的哈希值和G进行比较，其中G为非正整数。


4.根据权利要求1、2或3任一权利要求所述的数据段单元传输差异化管理方法，其特征在于：所述步骤S2具体...

【专利技术属性】
技术研发人员：冯钦，童颖睿，陈靓，
申请(专利权)人：南京鹏云网络科技有限公司，
类型：发明
国别省市：江苏;32