数据处理方法及装置制造方法及图纸

本说明书实施例提供数据处理方法及装置，其中所述数据处理方法包括：将待处理数据切分为多个数据块；根据预设校验算法的计算规则，将所述多个数据块划分为至少两个数据块集合；根据所述至少两个数据块集合中相邻的数据块集合确定数据块组；根据所述预设校验算法对所述数据块组进行处理，获得所述数据块组的初始校验块；根据所述初始校验块确定所述待处理数据的目标校验块。从而保证了待处理数据的安全性。并且基于目标校验块实现后续能够对初始校验块进行恢复，保证了初始校验块的安全性；同时，降低了校验块数据的数据冗余比，进一步降低了数据的存储成本。低了数据的存储成本。低了数据的存储成本。

【技术实现步骤摘要】
数据处理方法及装置


[0001]本说明书实施例涉及数据处理
，特别涉及一种数据处理方法。

技术介绍

[0002]随着计算机技术的发展，为了保证数据的可靠性以及较低的存储成本，因此，能够在保证数据可靠性的前提下，最小化系统的存储开销的纠删码技术，被广泛地应用在数据存储
例如，在数据以多AZ(可用区)方式存储时，每个AZ为独立管理的物理数据中心，通过纠删码技术为用户数据配置对应的纠删码数据，并将用户数据以及纠删码数据存储到多个单独的数据中心中，从而保证当单个AZ遇到机房故障或网络设备故障等问题，导致用户数据丢失时，仍旧能够通过纠删码数据进行恢复，从而保证了用户数据的安全性。
[0003]但是，为了在机房和机器异常的情况下能够保证纠删码数据的安全性，所设计的纠删码数据往往有着较高的数据冗余比，这一定程度上提高了数据的存储成本。

技术实现思路

[0004]有鉴于此，本说明书施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置，一种计算设备，一种计算机可读存储介质，一种计算机程序，以解决现有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：将待处理数据切分为多个数据块；根据预设校验算法的计算规则，将所述多个数据块划分为至少两个数据块集合；根据所述至少两个数据块集合中相邻的数据块集合确定数据块组；根据所述预设校验算法对所述数据块组进行处理，获得所述数据块组的初始校验块；根据所述初始校验块确定所述待处理数据的目标校验块。2.根据权利要求1所述的数据处理方法，所述根据所述至少两个数据块集合中相邻的数据块集合确定数据块组，包括：将所述至少两个数据块集合中至少两个相邻的数据块集合确定为一个数据块组。3.根据权利要求2所述的数据处理方法，所述预设校验算法为第一校验算法；相应地，所述根据所述预设校验算法对所述数据块组进行处理，获得所述数据块组的初始校验块，包括：确定每个数据块组中的数据块集合；根据所述第一校验算法对所述每个数据块组中的每个数据块集合进行处理，获得所述每个数据块组中的每个数据块集合的初始校验块。4.根据权利要求3所述的数据处理方法，所述根据所述第一校验算法对所述每个数据块组中的每个数据块集合进行处理，获得所述每个数据块组中的每个数据块集合的初始校验块，包括：确定所述第一校验算法的矩阵参数，并根据所述矩阵参数构建第一校验矩阵；根据所述第一校验矩阵对所述每个数据块组中的每个数据块集合进行计算，获得所述每个数据块组中的每个数据块集合的初始校验块。5.根据权利要求3所述的数据处理方法，所述根据所述初始校验块确定所述待处理数据的目标校验块，包括：根据第二校验算法对所述每个数据块组中的每个数据块集合的初始校验块进行处理，获得所述每个数据块组的目标校验块。6.根据权利要求5所述的数据处理方法，所述根据第二校验算法对所述每个数据块组中的每个数据块集合的初始校验块进行处理，获得所述每个数据块组的目标校验块，包括：确定第二校验算法的矩阵参数，根据所述矩阵参数构建第二校验矩阵；根据所述第二校验矩阵对所述每个数据块组中的每个数据块集合的初始校验块进行计算，获得所述每个数据块组的目标校验块。7.根据权利要求1所述的数据处理方法，所述根据所述至少两个数据块集合中相邻的数据块集合确定数据块组，包括：确定所述至少两个数据块集合中至少两个相邻的数据块集合，以及所述至少两个相邻的数据块集合中的数据块的位置信息；根据所述至少两个相邻的数据块集合中的数据块的...

【专利技术属性】
技术研发人员：魏舒展，赵亚飞，顾隽清，陈亮，董元元，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：