一种数据纠错方法、系统、装置、设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据纠错方法、系统、装置、设备和存储介质，该方法包括：获取业务交互过程中系统生成的流水数据，基于不同的业务类型对所述流水数据进行数据处理，生成跨系统对账数据以及自纠错对账数据通过设置的跨系统纠错对账模块对所述跨系统对账数据进行数据纠错处理，通过设置的自纠错对账模块对所述自纠错对账数据进行数据纠错处理。本方案通过在传统的业务对账方案中引入了自纠错对账，将传统的双向对账方案扩展为跨系统对账与自纠错对账，从而在满足跨系统数据对账的基础上，在数据源自身发生错乱时实现自行纠错对账，保障数据的一致性。

【技术实现步骤摘要】
一种数据纠错方法、系统、装置、设备和存储介质
本申请实施例涉及计算机领域，尤其涉及一种数据纠错方法、系统、装置、设备和存储介质。
技术介绍
分布式系统是建立在网络之上的软件系统，基于软件的特性，分布式系统具有高度的内聚性和透明性。但是，其在处理跨系统边界进行数据交互的业务时，可能出现数据不一致的情况，由于分布式系统实例间的物理距离长，系统交互复杂，导致在分布式系统中难以实现数据强一致性。在CAP原则(一致性、可用性和分区容错性三个要素最多只能同时满足两点，三者不可得兼)的限制下，通常优先保证分布式系统的可用性与分区容错性，一致性的优先度较低。但是在一些对数据比较敏感的业务中，则需要优先保证一致性，例如在支付业务等金融场景下，用户对账户等数据信息较为敏感，为了保障用户的体验，需要优先保证数据的一致性。当前，传统的业务对账方案中，如在线准实时对账或离线对账的方案，其只针对跨系统业务双方，在数据源自身发生错乱时，无法实现高效的数据纠错以保障数据的一致性。
技术实现思路
本专利技术实施例提供了一种数据纠错方法、装置、设备、系统和存储介质，通过在传统的业务对账方案中引入了自纠错对账，将传统的双向对账方案扩展为跨系统对账与自纠错对账，从而在满足跨系统数据对账的基础上，在数据源自身发生错乱时实现自行纠错对账，保障数据的一致性。第一方面，本专利技术实施例提供了一种数据纠错方法，该方法包括：获取业务交互过程中系统生成的流水数据；基于不同的业务类型对所述流水数据进行数据处理，生成跨系统对账数据以及自纠错对账数据；通过设置的跨系统纠错对账模块对所述跨系统对账数据进行数据纠错处理，通过设置的自纠错对账模块对所述自纠错对账数据进行数据纠错处理。第二方面，本专利技术实施例提供了一种数据纠错系统，该系统包括：数据准备模块，用于获取业务交互过程中系统生成的流水数据，基于不同的业务类型对所述流水数据进行数据处理，生成跨系统对账数据以及自纠错对账数据；纠错处理模块，用于通过设置的跨系统纠错对账模块对所述跨系统对账数据进行数据纠错处理，通过设置的自纠错对账模块对所述自纠错对账数据进行数据纠错处理；结果展示模块，用于对所述跨系统对账数据以及所述自纠错对账数据的数据纠错处理结果进行展示。第三方面，本专利技术实施例提供了一种数据纠错装置，该装置包括：数据获取模块，用于获取业务交互过程中系统生成的流水数据；数据生成模块，用于基于不同的业务类型对所述流水数据进行数据处理，生成跨系统对账数据以及自纠错对账数据；数据纠错模块，用于通过设置的跨系统纠错对账模块对所述跨系统对账数据进行数据纠错处理，通过设置的自纠错对账模块对所述自纠错对账数据进行数据纠错处理。第四方面，本专利技术实施例提供了一种数据纠错设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的一种数据纠错方法。第五方面，本专利技术实施例提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的一种数据纠错方法。本专利技术实施例中，首先获取业务交互过程中系统生成的流水数据，之后，基于不同的业务类型对所述流水数据进行数据处理，生成跨系统对账数据以及自纠错对账数据，最后，通过设置的跨系统纠错对账模块对所述跨系统对账数据进行数据纠错处理，通过设置的自纠错对账模块对所述自纠错对账数据进行数据纠错处理。该方案通过在传统的业务对账方案中引入了自纠错对账，将传统的双向对账方案扩展为跨系统对账与自纠错对账，从而在满足跨系统数据对账的基础上，在数据源自身发生错乱时实现自行纠错对账，保障数据的一致性。附图说明图1为本专利技术实施例提供的一种数据纠错方法的流程图。图2为本专利技术实施例提供的另一种数据纠错方法的流程图。图3为本专利技术实施例提供的另一种数据纠错方法的流程图。图4为本专利技术实施例提供的另一种数据纠错方法的流程图。图5为本专利技术实施例提供的一种数据纠错系统的结构框图。图6为本专利技术实施例提供的一种数据纠错装置的结构框图。图7为本专利技术实施例提供的一种数据纠错设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术实施例，而非对本专利技术实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术实施例相关的部分而非全部结构。图1为本专利技术实施例提供的一种数据纠错方法的流程图，本实施例可适用于对跨系统类型、非事务性系统类型的业务或者其他多种类型的业务数据进行纠错，该方法可以由计算设备如服务器来执行，具体包括如下步骤：步骤S101、获取业务交互过程中系统生成的流水数据。在一个实施例中，业务交互可以是业务在用户终端和主机之间实现双向信息交换过程，也可以是业务在用户终端和用户终端之间实现双向信息交换的过程。示例性的，用户通过手机APP向银行服务器发送查询账户余额的信息，银行服务器将账户余额的信息返回到用户的手机APP，此过程即是业务交互的过程。流水数据是指数据内容会随着业务流程的变化而发生变化的数据，在分布式系统中，任何操作都可以形成流水记录并进行储存。在一个实施例中，流水数据可以是账户余额数据、账户积分数据等。示例性的，用户在手机APP上对游戏账号进行充值，服务器中游戏账号的余额发生变化的数据即为流水数据。示例性的，用户通过手机APP对商家进行商品支付，手机APP记录有相应的支付流水数据和余额等支付相关的数据信息，相应的和手机APP相连的银行支付系统和/或商家系统也记录有相应的支付数据，如商家系统记录有用户账户余额和每次的消费记录数据，银行支付系统记录有账户信息每次变动的流水数据。步骤S102、基于不同的业务类型对所述流水数据进行数据处理，生成跨系统对账数据以及自纠错对账数据。业务类型是指根据业务需要处理的事务的不同，将业务划分为不同种类。在一个实施例中，业务类型可以是跨系统业务类型、事务业务类型或者是非事务业务类型等。在一个实施例中，对流水数据进行数据处理可以对流水数据进行归一化，将流水数据归一化为跨系统对账数据以及自纠错对账数据，生成跨系统对账数据的目的是为了进行跨系统对账，而生成自纠错对账数据的目的是为了进行自纠错对账。其中，归一化的过程中可以按照一定的规则对流水数据进行归一化，示例性的，根据不同业务类型将流水数据进行归一化特定结构的顺序数据，从而得到跨系统对账数据以及自纠错对账数据。在一个实施例中，跨系统对账数据中包含有不同系统所生成的流水数据，而自纠错对账数据中包括有单个系统所生成的流水数据。例如，对于产生业务交互的A系统和B系统，跨系统对账数据中包含有A系统所生成的流水数据以及B系统所生成的流水数据，而在自纠错对账数据中，只包含有单一数据源生成的流水本文档来自技高网...

【技术保护点】
1.一种数据纠错方法，其特征在于，包括：/n获取业务交互过程中系统生成的流水数据；/n基于不同的业务类型对所述流水数据进行数据处理，生成跨系统对账数据以及自纠错对账数据；/n通过设置的跨系统纠错对账模块对所述跨系统对账数据进行数据纠错处理，通过设置的自纠错对账模块对所述自纠错对账数据进行数据纠错处理。/n

【技术特征摘要】
1.一种数据纠错方法，其特征在于，包括：
获取业务交互过程中系统生成的流水数据；
基于不同的业务类型对所述流水数据进行数据处理，生成跨系统对账数据以及自纠错对账数据；
通过设置的跨系统纠错对账模块对所述跨系统对账数据进行数据纠错处理，通过设置的自纠错对账模块对所述自纠错对账数据进行数据纠错处理。


2.根据权利要求1所述的数据纠错方法，其特征在于，在基于不同的业务类型对所述流水数据进行数据处理之前，还包括：
对所述流水数据中的关键字段数据进行提取；
相应的，所述基于不同的业务类型对所述流水数据进行数据处理，包括：
基于不同的业务类型对所述关键字段数据进行数据处理。


3.根据权利要求2所述的数据纠错方法，其特征在于，所述业务类型包括跨系统业务类型，其中，基于不同的业务类型对所述关键字段数据进行数据处理生成跨系统对账数据，包括：
如果当前流水数据对应的业务类型为跨系统业务类型，则根据所述关键字段数据中的订单编号以及用户标识进行排序生成跨系统对账数据。


4.根据权利要求2所述的数据纠错方法，其特征在于，所述业务类型包括非事务业务类型，其中，基于不同的业务类型对所述关键字段数据进行数据处理生成自纠错对账数据，包括：
如果当前流水数据对应的业务类型为非事务业务类型，则根据所述关键字段数据中的用户标识以及时间戳数据进行排序生成自纠错对账数据。


5.根据权利要求1所述的数据纠错方法，其特征在于，所述通过设置的跨系统纠错对账模块对所述跨系统对账数据进行数据纠错处理，包括：
获取所述跨系统对账数据中的不一致数据；
确定所述不一致数据的错误类型，根据所述错误类型对所述不一致数据进行数据纠错处理。


6.根据权利要求5所述的数据纠错方法，其特征在于，所述错误类型包括数据错误，所述根据所述错误类型对所述不一致数据进行数据纠错处理，包括：
当所述错误类型为数据错误时，确定所述跨系统对账数据中的基准数据；
根据所述基准数据对相应的不一致数据进行修改。


7.根据权利要求1所述的数据纠错方法，其特征在于，所述通过设置的跨系统纠错对账模块对所述跨系统对账数据进行数据纠错处理，包括：
确定当前跨系统对账数据的映射关系；
如果所述映射关系为一对一映射组，则进行一对一数据比对；
如果所述映射关系为非一对一映射组，则确定每个映射组中的核心对账数据，进行核心对账数据的比对。


8.根据权利要求1所述的数据纠错方法，其特征在于，通过设置的自纠错对账模块对所述自纠错对账数据进行数据纠错处理，包括：
确定所述自...

【专利技术属性】
技术研发人员：林志勇，
申请(专利权)人：广州市网星信息技术有限公司，
类型：发明
国别省市：广东;44