一种交易数据的一致性检测方法及装置制造方法及图纸

本发明专利技术提供了一种交易数据的一致性检测方法及装置，涉及在线交易技术领域。方法包括：获取待检测的多份数据表，并获取各数据表的表结构以及待检测的数据项；根据各数据表的表结构，确定各数据表中待检测的数据项中的每个度量以及度量所涉及的共有的维度和具有上下层级关系的维度，生成临时表；根据各数据表的分区信息和索引信息，确定向所述临时表插入数据的过程，并将各数据表中的待检测的数据通过上述过程插入到所述临时表的各列中，各数据表生成的数据中维度插入临时表中相同的维度列，度量插入临时表中不同的度量列；汇总后逐行对各数据表对应的待检测列进行检测，以确定临时表每行的待检测列从不同数据表获取的数据的一致性。

【技术实现步骤摘要】
一种交易数据的一致性检测方法及装置
本专利技术涉及在线交易
，尤其涉及一种交易数据的一致性检测方法及装置。
技术介绍
当前，在线交易系统中的交易明细以一份为准，但是根据业务延伸出的不同的子平台根据业务需求，会使用交易明细的延伸出的汇总数据，例如常见的月报、财务报表等功能。在这种情况下，交易明细和汇总数据之间的数据一致性检测就变得非常重要。目前，检测不同平台系统间的数据一致性的方法有很多，例如方法一：该方法是获取多个副本数据中每个副本数据所在数据分片的二进制日志文件，依据对二进制日志文件的判断结果确定各个数据分片中的副本数据是否一致。但是，方法一要求多个副本的数据结构完全一样，对于异构数据则无法采用此种方法一。另一种方法二是数据交易时进行检测，在一个平台生成信息交互，然后将信息同步到多个平台上，保证数据再多个平台的一致性。然而方法二的过程会影响交易的效率，并且不适合大批量数据的检测。可见，当前如何实现一种高效，大批量，且能够适用于异构数据的交易数据的一致性检测，成为了一个亟待解决的问题。
技术实现思路
本专利技术的实施例提供一种交易数据的一致性检测方法及装置，以解决当前现有技术缺乏一种高效，大批量，且能够适用于异构数据的交易数据的一致性检测的方法的问题。为达到上述目的，本专利技术采用如下技术方案：一种交易数据的一致性检测方法，包括：获取待检测的多份数据表，并从所述多份数据表中获取各数据表的表结构以及待检测的数据项；所述待检测的数据项由一至多个度量组成；根据各数据表的表结构，确定各数据表中待检测的数据项中的每个度量所涉及的共有的维度和具有上下层级关系的维度；根据待检测的数据项之中的每个度量以及度量所涉及的共有的维度和具有上下层级关系的维度，生成临时表；根据各数据表的分区信息和索引信息，确定向所述临时表插入数据的过程，并将各数据表中的待检测的数据项的数据通过上述过程插入到所述临时表的各列中，各数据表生成的数据中维度插入临时表中相同的维度列，度量插入临时表中不同的度量列，最后完成汇总；汇总后逐行对各数据表对应的待检测度量进行检测，以确定临时表每行的待检测列从不同数据表获取的数据的一致性。具体的，所述根据待检测的数据项之中的每个度量以及度量所涉及的共有的维度和具有上下层级关系的维度，生成临时表，包括：将待检测的数据项之中的共有度量作为临时表中的度量；根据待检测的数据项之中的具有上下层级关系的维度，生成一虚拟维度表，并确定所述虚拟维度表中各具有上下层级关系的维度列的最高层级维度；将所述最高层级维度作为临时表中的维度列。具体的，根据各数据表的分区信息和索引信息，确定向所述临时表插入数据的过程，包括：确定临时表中的维度列中是否存在与所述分区信息相关的维度列，若存在，则根据分区信息向所述临时表插入数据，形成向所述临时表插入数据的过程的第一部分；确定数据表中是否有包含临时表中的维度列的索引，若存在，则根据索引向所述临时表插入数据，形成向所述临时表插入数据的过程的第二部分；将所述过程的第一部分和所述过程的第二部分进行合并，整合为向所述临时表插入数据的过程。具体的，将各数据表中的待检测的数据项的数据通过上述过程插入到所述临时表的各列中，包括：将各数据表中的待检测的数据项中的相同含义的检测维度插入到临时表的不同行同一列中；将各数据表中的待检测的数据项中的各待检测度量插入到临时表的不同行不同列中，最后将不同数据表中同一对象对应的检测多行数据合并为一行。一种交易数据的一致性检测装置，包括：数据表获取单元，用于获取待检测的多份数据表，并从所述多份数据表中获取各数据表的表结构以及待检测的数据项；所述待检测的数据项由一至多个度量列组成；结构分析单元，用于根据各数据表的表结构，确定各数据表中待检测的数据项中的每个度量所涉及的共有的维度和具有上下层级关系的维度；临时表生成单元，用于根据待检测的数据项之中的每个度量以及度量所涉及的共有的维度和具有上下层级关系的维度，生成临时表；数据插入单元，用于根据各数据表的分区信息和索引信息，确定向所述临时表插入数据的过程，并将各数据表中的待检测的数据项的数据通过上述过程插入到所述临时表的各列中，各数据表生成的数据中维度插入临时表中相同的维度列，度量插入临时表中不同的度量列，最后完成汇总；一致性检测单元，用于汇总后逐行对各数据表对应的待检测度量进行检测，以确定临时表每行的待检测列从不同数据表获取的数据的一致性。另外，所述临时表生成单元，具体用于：将待检测的数据项之中的共有度量作为临时表中的度量；根据待检测的数据项之中的具有上下层级关系的维度，生成一虚拟维度表，并确定所述虚拟维度表中各具有上下层级关系的维度列的最高层级维度；将所述最高层级维度作为临时表中的维度列。另外，所述数据插入单元，具体用于：确定临时表中的维度列中是否存在与所述分区信息相关的维度列，若存在，则根据分区信息向所述临时表插入数据，形成向所述临时表插入数据的过程的第一部分；确定数据表中是否有包含临时表中的维度列的索引，若存在，则根据索引向所述临时表插入数据，形成向所述临时表插入数据的过程的第二部分；将所述过程的第一部分和所述过程的第二部分进行合并，整合为向所述临时表插入数据的过程。进一步的，所述数据插入单元，具体还用于：将各数据表中的待检测的数据项中的相同含义的检测维度插入到临时表的不同行同一列中；将各数据表中的待检测的数据项中的各待检测度量插入到临时表的不同行不同列中，最后将不同数据表中同一对象对应的检测多行数据合并为一行。一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：获取待检测的多份数据表，并从所述多份数据表中获取各数据表的表结构以及待检测的数据项；所述待检测的数据项由一至多个度量组成；根据各数据表的表结构，确定各数据表中待检测的数据项中的每个度量所涉及的共有的维度和具有上下层级关系的维度；根据待检测的数据项之中的每个度量以及度量所涉及的共有的维度和具有上下层级关系的维度，生成临时表；根据各数据表的分区信息和索引信息，确定向所述临时表插入数据的过程，并将各数据表中的待检测的数据项的数据通过上述过程插入到所述临时表的各列中，各数据表生成的数据中维度插入临时表中相同的维度列，度量插入临时表中不同的度量列，最后完成汇总；汇总后逐行对各数据表对应的待检测度量进行检测，以确定临时表每行的待检测列从不同数据表获取的数据的一致性。一种计算机设备，包括存储器、处理器及存储在存储上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：获取待检测的多份数据表，并从所述多份数据表中获取各数据表的表结构以及待检测的数据项；所述待检测的数据项由一至多个度量组成；根据各数据表的表结构，确定各数据表中待检测的数据项中的每个度量所涉及的共有的维度和具有上下层级关系的维度；根据待检测的数据项之中的每个度量以及度量所涉及的共有的维度和具有上下层级关系的维度，生成临时表；根据各数据表的分区信息和索引信息，确定向所述临时表插入数据的过程，并将各数据表中的待检测的数据项的数据通过上述过程插入到所述临时表的各列中，各数据表生成的数据中维度插入临时表中相同的维度列，度量插入临时表中不同的度量列，最后完成汇总；汇总后逐行对各数据表对应本文档来自技高网...

【技术保护点】
一种交易数据的一致性检测方法，其特征在于，包括：获取待检测的多份数据表，并从所述多份数据表中获取各数据表的表结构以及待检测的数据项；所述待检测的数据项由一至多个度量组成；根据各数据表的表结构，确定各数据表中待检测的数据项中的每个度量所涉及的共有的维度和具有上下层级关系的维度；根据待检测的数据项之中的每个度量以及度量所涉及的共有的维度和具有上下层级关系的维度，生成临时表；根据各数据表的分区信息和索引信息，确定向所述临时表插入数据的过程，并将各数据表中的待检测的数据项的数据通过上述过程插入到所述临时表的各列中，各数据表生成的数据中维度插入临时表中相同的维度列，度量插入临时表中不同的度量列，最后完成汇总；汇总后逐行对各数据表对应的待检测度量进行检测，以确定临时表每行的待检测列从不同数据表获取的数据的一致性。

【技术特征摘要】
1.一种交易数据的一致性检测方法，其特征在于，包括：获取待检测的多份数据表，并从所述多份数据表中获取各数据表的表结构以及待检测的数据项；所述待检测的数据项由一至多个度量组成；根据各数据表的表结构，确定各数据表中待检测的数据项中的每个度量所涉及的共有的维度和具有上下层级关系的维度；根据待检测的数据项之中的每个度量以及度量所涉及的共有的维度和具有上下层级关系的维度，生成临时表；根据各数据表的分区信息和索引信息，确定向所述临时表插入数据的过程，并将各数据表中的待检测的数据项的数据通过上述过程插入到所述临时表的各列中，各数据表生成的数据中维度插入临时表中相同的维度列，度量插入临时表中不同的度量列，最后完成汇总；汇总后逐行对各数据表对应的待检测度量进行检测，以确定临时表每行的待检测列从不同数据表获取的数据的一致性。2.根据权利要求1所述的交易数据的一致性检测方法，其特征在于，所述根据待检测的数据项之中的每个度量以及度量所涉及的共有的维度和具有上下层级关系的维度，生成临时表，包括：将待检测的数据项之中的共有度量作为临时表中的度量；根据待检测的数据项之中的具有上下层级关系的维度，生成一虚拟维度表，并确定所述虚拟维度表中各具有上下层级关系的维度列的最高层级维度；将所述最高层级维度作为临时表中的维度列。3.根据权利要求2所述的交易数据的一致性检测方法，其特征在于，根据各数据表的分区信息和索引信息，确定向所述临时表插入数据的过程，包括：确定临时表中的维度列中是否存在与所述分区信息相关的维度列，若存在，则根据分区信息向所述临时表插入数据，形成向所述临时表插入数据的过程的第一部分；确定数据表中是否有包含临时表中的维度列的索引，若存在，则根据索引向所述临时表插入数据，形成向所述临时表插入数据的过程的第二部分；将所述过程的第一部分和所述过程的第二部分进行合并，整合为向所述临时表插入数据的过程。4.根据权利要求3所述的交易数据的一致性检测方法，其特征在于，将各数据表中的待检测的数据项的数据通过上述过程插入到所述临时表的各列中，包括：将各数据表中的待检测的数据项中的相同含义的检测维度插入到临时表的不同行同一列中；将各数据表中的待检测的数据项中的各待检测度量插入到临时表的不同行不同列中，最后将不同数据表中同一对象对应的检测多行数据合并为一行。5.一种交易数据的一致性检测装置，其特征在于，包括：数据表获取单元，用于获取待检测的多份数据表，并从所述多份数据表中获取各数据表的表结构以及待检测的数据项；所述待检测的数据项由一至多个度量列组成；结构分析单元，用于根据各数据表的表结构，确定各数据表中待检测的数据项中的每个度量所涉及的共有的维度和具有上下层级关系的维度；临时表生成单元，用于根据待检测的数据项之中的每个度量以及度量所涉及的共有的维度和具有上下层级关系的维度，生成临时表；数据插入单元，用于根据各数据表的分区信息和索引信息，确定向所述临时表插入数据的过程，并将各数据表中的待检测的数据项的数据通过上述过程插入到所述临时表的各列中，各数据表生成的数据中维度插入临时表中相同的维度列，度量插入临时表中不同的度量列，最后完成汇总；一致性检测单元，用于汇总后逐行对各数据表对应的待检测度...

【专利技术属性】
技术研发人员：李丁一，张苑苑，陈伟，强华盛，沈滨，王彤，
申请(专利权)人：中体彩科技发展有限公司，
类型：发明
国别省市：北京,11