一种用于分布式存储系统中的数据完整性校验方法及系统技术方案

本发明专利技术属于计算机存储技术领域，具体涉及一种用于分布式存储系统中的数据完整性校验方法及系统，通过以分布式存储系统中的数据为基础划分子数据块和获取子数据块的头、中、尾部分的字节，设定校验值的初始值设置为零，对数据进行校验计算；选择子数据块的头部N字节采用校验算法计算出校验值一；选择子数据块的尾部N字节，以校验值一作为初始值采用校验算法计算出校验值二；随机选择子数据块的中间位置的中部N字节，以校验值二作为初始值采用校验算法计算出校验值三，结合了分布式存储系统的数据特征，保证数据完整性的同时，也加快完整性校验的速度，降低CPU资源消耗，提高系统的整体性能。

【技术实现步骤摘要】

本专利技术属于计算机存储，具体涉及一种用于分布式存储系统中的数据完整性校验方法及系统。

技术介绍

1、随着数据量的爆炸式的增长，对分布式存储系统提出新的要求。不仅要求数据在传输过程中保证完整性，又要求提供极致的数据传输效率。在目前现有的分布式存储系统中，常用的方法是：在应用层计算出数据的校验值(如：cyclic redundancy check)，将该校验值和数据一同发送到对端。对端收到后，重新计算校验值，和之前的校验值进行比较，如果相同表示数据正确，如果不同表示数据错误。

2、但是，这种方法存在着一些不足。因为在分布式存储系统中，节点数量庞大，每在节点间传递一次，都需要在发送端、接受端分别计算一次校验值。这样便会让计算量成倍的增加，对cpu带来沉重的负担，极大的消耗cpu资源。同时，由于对校验值的计算工作处于io流程中，会增加处理的时延，最终降低系统性能。

技术实现思路

1、本专利技术的目的在于提供一种用于分布式存储系统中的数据完整性校验方法，保证数据完整性的同时，也加快完整性校验的速度，降低c本文档来自技高网...

【技术保护点】

1.一种用于分布式存储系统中的数据完整性校验方法，其特征在于，以分布式存储系统中的数据为基础划分子数据块和获取所述子数据块的头、中、尾部分的字节，包括：

2.根据权利要求1所述的一种用于分布式存储系统中的数据完整性校验方法，其特征在于，所述以分布式存储系统中的数据为基础划分子数据块和获取所述子数据块的头、中、尾部分的字节，包括：

3.根据权利要求2所述的一种用于分布式存储系统中的数据完整性校验方法，其特征在于，所述M组子数据块的大小均为4K的整数倍，所述头部字节、中部字节以及尾部字节的数量N均为4个字节的整数倍。

4.根据权利要求1所述的一种用于分布式...

【技术特征摘要】

1.一种用于分布式存储系统中的数据完整性校验方法，其特征在于，以分布式存储系统中的数据为基础划分子数据块和获取所述子数据块的头、中、尾部分的字节，包括：

2.根据权利要求1所述的一种用于分布式存储系统中的数据完整性校验方法，其特征在于，所述以分布式存储系统中的数据为基础划分子数据块和获取所述子数据块的头、中、尾部分的字节，包括：

3.根据权利要求2所述的一种用于分布式存储系统中的数据完整性校验方法，其特征在于，所述m组子数据块的大小均为4k的整数倍，所述头部字节、中部字节以及尾部字节的数量n均为4个字节的整数倍。

4.根据权利要求1所述的一种用于分布式存储系统中的数据完整性校验方法，其特征在于，在s5中，如计算出的校验值三为所述数据中的最后一组所述子数据块产生的，则校验值三为最终的校验值...

【专利技术属性】
技术研发人员：马建庭，刘啸滨，张宗全，王珺，代怀刚，杨朝辉，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：