System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 两段数据的crc合并方法、装置、设备及介质制造方法及图纸_技高网

两段数据的crc合并方法、装置、设备及介质制造方法及图纸

技术编号:41212090 阅读:2 留言:0更新日期:2024-05-09 23:35
本公开涉及一种两段数据的crc合并方法、装置、设备及介质,该方法包括:获取待合并的两段数据;将所述数据切分为多个组块;分别地计算每个所述组块的crc码;当合并两段数据时,按照所述数据中所述组块的切分顺序,对两段数据中所述组块的所述crc码进行合并。本公开能够提高CPU处理效率和对数据的读写效率。

【技术实现步骤摘要】

本公开涉及计算机,尤其涉及一种两段数据的crc合并方法、装置、设备及介质


技术介绍

1、对于crc(cyclic redundancy check,循环冗余校验)等当前主流校验算法,在计算数据的校验时,要求数据是连续计算。两段数据合并后需要增加一次从底层重新读取数据以及重新计算新的crc,然后再写入存储系统。因此,在有大量的数据需要进行合并且需要校验crc的场景下,需要频繁读取数据并计算crc,验证影响系统的cpu处理效率。


技术实现思路

1、为了解决上述技术问题,本公开提供了一种两段数据的crc合并方法、装置、设备及介质。

2、本公开提供了一种两段数据的crc合并方法,包括:

3、获取待合并的两段数据;

4、将所述数据切分为多个组块;

5、分别地计算每个所述组块的循环冗余校验crc码;

6、当合并两段数据时,按照所述数据中所述组块的切分顺序,对两段数据中所述组块的所述crc码进行合并。

7、在一种实施例中,所述将所述数据切分为多个组块,包括:

8、根据crcchunksize设置规则,将所述数据切分为多个组块。

9、在一种实施例中,所述方法还包括:

10、按照所述组块的切分顺序,对各所述crc码依次进行计算和校验。

11、在一种实施例中,所述方法应用于分布式daos存储系统。

12、在一种实施例中,所述方法还包括:

13、在将两段数据写入所述分布式daos存储系统时,以分片的方式对各所述组块进行crc32校验和运算以得到校验和。

14、本公开还提供了一种两段数据的crc码合并装置,包括:

15、数据获取模块,用于获取待合并的两段数据;

16、数据切分模块,用于将所述数据切分为多个组块;

17、crc码计算模块,用于分别地计算每个所述组块的循环冗余校验crc码;

18、crc码合并模块,用于当合并两段数据时,按照所述数据中所述组块的切分顺序,对两段数据中所述组块的所述crc码进行合并。

19、在一种实施例中,所述数据切分模块还用于:

20、根据crcchunksize设置规则,将所述数据切分为多个组块。

21、在一种实施例中,所述装置还包括:

22、校验模块,用于按照所述组块的切分顺序,对各所述crc码依次进行计算和校验。

23、本公开还提供了一种电子设备,所述电子设备包括:

24、处理器;

25、用于存储所述处理器可执行指令的存储器;

26、所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述两段数据的crc合并方法。

27、本公开还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述两段数据的crc合并方法。

28、本公开实施例提供的技术方案与现有技术相比具有如下优点:

29、本公开实施例提供的技术方案包括:获取待合并的两段数据;将数据切分为多个组块;分别地计算每个组块的crc码;当合并两段数据时,按照数据中组块的切分顺序,对两段数据中组块的crc码进行合并。以上提供的自适应的两段数据的crc合并处理方案,通过将数据切分为多个组块,使得只针对每个组块单独地进行crc计算,避免了在现有技术中需要重复读取数据和重新计算crc的过程,提高了cpu处理效率和对数据的读写效率。

本文档来自技高网...

【技术保护点】

1.一种两段数据的crc合并方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述数据切分为多个组块,包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述方法应用于分布式Daos存储系统。

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.一种两段数据的crc码合并装置,其特征在于,包括:

7.根据权利要求6所述的装置,其特征在于,所述数据切分模块还用于:

8.根据权利要求6所述的装置,其特征在于,所述装置还包括:

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备实现如权利要求1-5中任一所述的方法。

【技术特征摘要】

1.一种两段数据的crc合并方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述数据切分为多个组块,包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述方法应用于分布式daos存储系统。

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.一种两段数据的crc...

【专利技术属性】
技术研发人员:王英徐治平
申请(专利权)人:中电云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1