一种数据处理方法及装置制造方法及图纸

本申请涉及数据处理方法和装置，所述方法包括：接收待处理数据；所述待处理数据至少包括第一数据单元的数据以及第二数据单元的数据；所述第一数据单元与所述第二数据单元相邻；获取与所述第二数据单元的数据关联存储的第一关联值，以及，使用第一方法对接收的所述第一数据单元的数据进行运算得到第一验证关联值；比较所述第一关联值与所述第一验证关联值是否一致；若所述第一关联值与所述第一验证关联值不一致，确定数据传输发生错误。本申请可以有效提高数据验证效率，降低系统资源的消耗，减少对源端数据库的调用，不影响线上业务的进行，还能够有效提高数据验证的准确性，有效保障数据传输的一致性。

A method and device for data processing

The invention relates to a method and device for data processing, the method comprises: receiving data to be processed; the data processing includes at least a first data unit data and second data unit data; the first data unit and the second adjacent data unit; the first access to data storage and Association Association of the second data unit the value and method of using the first data received by the first data unit are calculated to obtain the first verification of correlation value; comparing the first correlation value is consistent with the association of the first verification value; if the first correlation value is not consistent with the association of the first verification value, determining the data transmission error occurred. This application can effectively improve the efficiency of data validation, reduce the consumption of system resources, reduce the call to the source database, do not affect the online business, but also improve the accuracy of data validation, and effectively ensure the consistency of data transmission.

【技术实现步骤摘要】
一种数据处理方法及装置
本申请涉及数据处理
，尤其涉及一种数据处理方法及装置。
技术介绍
随着大数据时代的来临，如何实现数据的准确传输、备份，以便对数据进行统计、分析、应用成为了一个值得关注的问题。在现有技术中，在传输数据时，通常存在两种方式：一种是直接将数据从源端同步到目的端，这种方式需要频繁读取源端数据库，严重影响线上业务的进行；一种是将源端数据同步到一级目的端，再从一级目的端分发给多个二级目的端，这种方式可以减少对源端数据库的频繁调用，但在一级目的端同步数据到二级目的端的过程中，会增加数据不一致的风险。为了保证源端数据与多个目的端数据的一致性，通常需要对目的端数据进行一致性验证。现有技术中存在两种数据一致性验证的方法，一种是将目的端数据与源端数据进行全文比对，这种方式计算量大、极其耗费资源，同时会导致对源端数据的二次读取，影响线上业务的进行。另外一种方式是在目的端进行抽样数据比对，这种方式无法保证数据本身的正确性，也不能保证数据顺序的正确性，存在准确率不高的缺陷。
技术实现思路
本申请的目的是，提供一种数据处理方法和装置，可以对待处理数据进行验证，有效提高数据验证的准确性和效本文档来自技高网...

【技术保护点】
一种数据处理系统，其特征在于，所述系统包括数据接收端和数据发送端，其中：所述数据发送端被配置用于获取待处理数据中第一数据单元的数据；使用第一方法对所述第一数据单元的数据进行运算得到第一关联值；将所述第一关联值与第二数据单元的数据关联存储；其中，所述第二数据单元为与所述第一数据单元相邻的数据单元；以及，向所述数据接收端发送所述第一数据单元的数据、第二数据单元的数据以及与第二数据单元的数据关联存储的所述第一关联值；所述数据接收端被配置用于接收至少包括第一数据单元的数据以及第二数据单元的数据的待处理数据；所述第一数据单元与所述第二数据单元相邻；获取与所述第二数据单元的数据关联存储的第一关联值，以及，...

【技术特征摘要】
1.一种数据处理系统，其特征在于，所述系统包括数据接收端和数据发送端，其中：所述数据发送端被配置用于获取待处理数据中第一数据单元的数据；使用第一方法对所述第一数据单元的数据进行运算得到第一关联值；将所述第一关联值与第二数据单元的数据关联存储；其中，所述第二数据单元为与所述第一数据单元相邻的数据单元；以及，向所述数据接收端发送所述第一数据单元的数据、第二数据单元的数据以及与第二数据单元的数据关联存储的所述第一关联值；所述数据接收端被配置用于接收至少包括第一数据单元的数据以及第二数据单元的数据的待处理数据；所述第一数据单元与所述第二数据单元相邻；获取与所述第二数据单元的数据关联存储的第一关联值，以及，使用第一方法对接收的所述第一数据单元的数据进行运算得到第一验证关联值；比较所述第一关联值与所述第一验证关联值是否一致；若所述第一关联值与所述第一验证关联值不一致，确定数据传输发生错误。2.一种数据处理方法，其特征在于，所述方法包括：获取待处理数据中第一数据单元的数据；使用第一方法对所述第一数据单元的数据进行运算得到第一关联值；将所述第一关联值与第二数据单元的数据关联存储；其中，所述第二数据单元为与所述第一数据单元相邻的数据单元；向数据接收端发送至少包括所述第一数据单元的数据、第二数据单元的数据以及与第二数据单元的数据关联存储的所述第一关联值的待处理数据。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：使用第二方法对所述第一数据单元的数据进行运算得到第一校验值；将所述第一校验值与所述第一数据单元的数据关联存储。4.根据权利要求3所述的方法，其特征在于，所述使用第二方法对所述第一数据单元的数据进行运算得到第一校验值包括：使用第二方法，对所述第一数据单元的数据以及所述第一关联值进行运算得到第一校验值；或者，使用第二方法，对所述第一数据单元的数据以及与所述第一数据单元的数据关联存储的第二关联值进行运算得到第一校验值；其中，所述第二关联值通过对第三数据单元的数据运算得到；所述第三数据单元为与所述第一数据单元相邻、但与所述第二数据单元不同的数据单元。5.根据权利要求1所述的方法，其特征在于，所述获取待处理数据中第一数据单元的数据包括：若所述待处理数据为结构化数据，获取所述结构化数据的一基础数据单元的数据作为第一数据单元的数据；若所述待处理数据为非结构化数据，获取所述非结构化数据的起始标识符和结束标识符之间的数据作为第一数据单元的数据。6.一种数据处理方法，其特征在于，所述方法包括：接收待处理数据；所述待处理数据至少包括第一数据单元的数据以及第二数据单元的数据；所述第一数据单元与所述第二数据单元相邻；获取与所述第二数据单元的数据关联存储的第一关联值，以及，使用第一方法对接收的所述第一数据单元的数据进行运算得到第一验证关联值；比较所述第一关联值与所述第一验证关联值是否一致；若所述第一关联值与所述第一验证关联值不一致，确定数据传输发生错误。7.根据权利要求65所述的方法，其特征在于，所述方法还包括：若所述第一关联值与所述第一验证关联值一致，至少确定所述第一数据单元和所述第二数据单元的数据传输顺序正确。8.根据权利要求6所述的方法，其特征在于，所述方法还包括：获取与接收的所述第一数据单元的数据关联存储的第一校验值，以及，使用第二方法对所述第一数据单元的数据进行运算得到第一验证校验值；比较所述第一校验值与所述第一验证校验值是否一致；若所述第一校验值与所述第一验证校验值不一致，确定所述第一数据单元的数据发生错误。9.根据权利要求8所述的方法，其特征在于，所述使用第二方法对所述第一数据单元的数据进行运算得到第一验证校验值包括：使用第二方法，对所述第一数据单元的数据以及所述第一关联值进行运算得到第一验证校验值；或者，使用第二方法，对所述第一数据单元的数据以及与所述第一数据单元的数据关联存储的第三关联值进行运算得到第一验证校验值；其中，所述第三关联值通过对第三数据单元的数据...

【专利技术属性】
技术研发人员：杨剑，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY