全链路对账方法和系统技术方案

本发明专利技术公开了一种全链路对账方法，主要包括：各子系统分别实时获取交易数据；对交易数据进行子系统间对账，生成边对账结果；将边对账结果汇总，生成链路对账结果。本发明专利技术提供的全链路对账方案，不仅能够使得各子系统对账结果可以汇总成为全链路对账结果，还缩短了交易数据获取时间、降低了存储空间、使得各子系统中字段名称不同的数据可以互相识别、提供了对账异常结果的修正、降低各子系统间对账实施的困难、能够实现各场景下系统组成的设定、增加了异常报警功能。使全链路对账用户友好、易于使用，对账效率提高，适用场景更灵活，使得本方法和系统具有较高的易用性和扩展性。

Full link Reconciliation Method and system

The invention discloses a full link reconciliation method, which mainly includes: each subsystem obtains transaction data in real time; reconciles transaction data among subsystems to generate reconciliation results at the same time; summarizes reconciliation results at the same time to generate link reconciliation results. The full link reconciliation scheme provided by the invention not only enables the reconciliation results of each subsystem to be summarized into the reconciliation results of the whole link, but also shortens the acquisition time of transaction data, reduces the storage space, enables the data with different field names in each subsystem to be identified with each other, provides the correction of abnormal reconciliation results, reduces the difficulty of reconciliation implementation among all subsystems, and can Realize the setting of system composition in each scene and add the abnormal alarm function. It makes the whole link reconciliation user-friendly and easy to use, improves the reconciliation efficiency, and makes the application scenarios more flexible, which makes the method and system more easy to use and extensible.

【技术实现步骤摘要】
全链路对账方法和系统
本专利技术涉及大数据处理
，特别是涉及一种数据全链路对账方法和系统。
技术介绍
随着在线交易的爆发性增长，每天会产生海量的交易数据，在此情况下，如何对交易系统产生的交易数据进行高效率的处理，从而满足银行对账需求是目前亟待解决的问题。分布式场景下，一笔交易要经过多个子系统处理才能完成；中间有可能会有数据不一致，发生差错帐的时候，传统对账系统只能发现两系统之间的差错，不能从全链路的视角来对账。因此，提出面向分布式环境的实时交易的全链路对账处理方法，这是一套完备的处理方法，可及时发现实时交易链路中出现的差错帐和异常情况的具体系统和差错类型等详细信息，并推送报警信息。最接近现有技术为CN201811153706中提到的对账方法和系统，此对账系统在获取数据时，基于滑动窗口和滑动步长从分布式消息队列中读取交易系统产生的交易数据。为保证最终对账结果的可靠性和时效性，可以对交易流水数据的等待次数、潜伏期和最大潜伏期等关键指标建立相应的CheckPoint。从交易流水数据中提取待对账的数据字段值，并转换为预设的标准数据格式。获取交易标识信息，根据交易标识信息进行分组。在各分组中，根据交易金额和交易状态对所述待对账的交易数据进行对账处理。然而该方法和系统具有如下几点局限性：(1)滑动窗口、滑动步长、交易流水数据的等待次数、潜伏期和最大潜伏期等关键指标会因实际发生交易流水的系统性能状况不同而不同，取值大小决定着可靠性和时效性。对于交易数据的实时获取，该专利技术中没有明确的定义和取值，因此缺乏实现交易数据实时获取的理论依据和参考意义。(2)同时采用滑动窗口的机制不可避免地产生重复计算的过程，浪费资源和时间。(3)待对账的数据字段值没有明确从哪些字段获取，对于不同的系统，数据字段名称一般不同，因此无法从数据字段名称不同的子系统取值。(4)缺少对账结果补偿模块，无法对对账异常结果进行修正。(5)缺少配置化参数页面模块，导致实施困难。(6)缺少链路场景识别模块，因此无法设置不同场景下的系统组成，无法设定对账时各子系统间的触发条件和关联关系，也无法判断缺失哪些系统的流水记录。(7)缺少异常结果报警模块，无法及时推送对账异常的报警信息。
技术实现思路
本专利技术的目的在于提供一种全链路对账方法，使得各子系统对账结果可以汇总成为全链路对账结果，解决了现有技术中数据获取时间长、存储空间占用大、各子系统难以识别字段名称不同的数据、无法对对账异常结果进行修正、各子系统间对账实施困难、无法设定各场景下系统组成、缺少异常报警功能的问题，提高对账效率及准确率，提升用户体验。实现本专利技术本目的，专利技术提供解决方案如下：一方面提供一种全链路对账方法，包括：各子系统分别实时获取交易数据；对交易数据进行所述各子系统间对账，生成边对账结果；将边对账结果汇总，生成全链路对账结果。另一方面，本专利技术提供一种全链路对账系统，包括：接收模块，用于各子系统实时接收交易数据；对账模块，用于将所述交易数据进行所述各子系统间对账处理，生成边对账结果；统计模块，用于汇总所述边对账结果，生成全链路对账结果。优选地，该系统还包括：配置模块，用于为不同场景配置相应参数；识别模块，用于识别出交易数据所处的交易场景；预处理模块，用于预处理交易数据，用于将交易数据标准化，将交易数据进行去重。上文所涉及到名称解释如下：系统边：系统之间由系统边连接，即两系统之间的连接逻辑。一个边包含2个系统，一个边同时包含多个对账检查条件。边对账结果：即两个系统之间的业务逻辑对账结果，比如消金启明星放款场景的消金后台系统与账管系统的对账结果。链路对账结果：即一个交易链路的某个场景的对账结果，由该场景的多个系统边的对账结果汇总得来。综上所述，本专利技术提供的全链路对账方案，不仅能够使得各子系统对账结果可以汇总成为全链路对账结果，还缩短了交易数据获取时间、降低了存储空间、使得各子系统中字段名称不同的数据可以互相识别、提供了对账异常结果的修正、降低各子系统间对账实施的困难、能够实现各场景下系统组成的设置、能够设定对账时系统间的触发条件和关联关系、能够判断缺失流水记录的系统、增加了异常报警功能。使全链路对账用户友好、易于使用，对账效率提高，适用场景更灵活，使得本方法和系统具有较高的易用性和扩展性。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例1中全链路对账的流程示意图；图2为本专利技术实施例2中全链路对账系统的架构示意图；具体实施方式下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。实施例1本实施例提供一种全链路对账方法，如图1所示，所述方法包括：步骤001，各子系统分别实时获取交易数据；实时获取包括：主动拉取和被动接收，其中主动拉取指，定时从服务器中获取交易数据和拉取业务系统的日志文件，包括：从Kafka队列中获取交易的JSON数据和拉取业务系统的日志文件，解析交易的日志文件；被动接受指，每当有交易行为，交易数据自动同步至对账流程，包括：用Canal从业务系统的MySQL同步表结构和实时数据。步骤002，对所述交易数据进行子系统间对账，生成边对账结果；通过配置化参数页面提前设置好的不同系统的对账条件、交易金额及交易状态进行对账处理，使得该方法在分布式系统环境下采用两两子系统间对账的处理方式，进而为全链路对账提供数据准备。步骤003，将所述边对账结果汇总，生成链路对账结果。解析各个子系统的对账结果，逐个检查节点状态、每个边对账结果；记录子系统关系中的异常和错误的信息。(1)根据每两个子系统间的边对账结果，汇总生成一条链的对账结果。(2)保存对账汇总结果到数据库，所述对账汇总结果包括对账链、场景、结果码等信息。对所述两两子系统间产生的对账结果进行汇总统计，形成全链路对账结果，实现宏观监控全链路对账结果的效果。进一步地，该方法还包括：为不同场景配置参数；配置时，检查指定数据库、表，是否包含特定的数据，通过执行动态表达式过滤属性的预期值找出相关的数据，例如：在transactionsystem库union_loan_order表中查询tranCode＝＝'0'并且productId＝＝'MSTAR'本文档来自技高网...

【技术保护点】
1.一种全链路对账方法，其特征在于，包括：/n各子系统分别实时获取交易数据；/n对所述交易数据进行所述各子系统间对账，生成边对账结果；/n将所述边对账结果汇总，生成全链路对账结果。/n

【技术特征摘要】
1.一种全链路对账方法，其特征在于，包括：
各子系统分别实时获取交易数据；
对所述交易数据进行所述各子系统间对账，生成边对账结果；
将所述边对账结果汇总，生成全链路对账结果。


2.根据权利要求1所述的全链路对账方法，其特征在于，该方法还包括：
为不同场景配置参数；
根据所述参数对交易进行场景识别，根据识别出的场景调取相应子系统；
对所述交易数据预处理，将所述子系统的对账参数标准化、将所述交易数据进行去重。


3.根据权利要求2所述的全链路对账方法，其特征在于，所述对所述交易数据预处理，包括：
通过对所述交易参数的关键属性进行字段映射，将所述各子系统的账务流水根据数据映射规则，转化为具有标准结构的账务流水；
根据所述数据映射规则生成全局流水号；
将所述全局流水号对应的流水数据集合转换为标准流水数据集合，保存到缓存中。


4.根据权利要求3所述的全链路对账方法，其特征在于，所述场景识别包括：
根据所述标准流水数据集合的属性字段循环遍历已设置的链路判定表达式集合，找到满足判定表达式的链路；
在所述满足表达式的链路中，根据所述标准流水数据集合的属性字段循环遍历已设置的场景判定表达式集合，找到满足判定表达式的场景；
根据所述满足判定表达式的场景，获取该场景的多个子系统和所述多个子系统间的关系。


5.根据权利要求1～4任一项所述的全链路对账方法，其特征在于，该方法还包括：
对所述边对账结果进行补偿，生成补偿后的边对账结果，其中，所述补偿指在所述边对账前对该组数据进行前置检查，所述前置检查指检查一些记录的交易状态，如果所述交易状态显示为“中间态”，则暂时搁置所述边对账，将所述交易数据暂存在缓存中，待所述全局流水号号对应的流水再次出现时，再从所述缓存中调取所述交易数据，进行所述边对账；
若所述全链路对账结果出现异常，则进行异常报警。


6.一种全链路对账系统，其特征在于，所述系统包括：
接收模块，用于各子系统实时接收交易数据...

【专利技术属性】
技术研发人员：徐博文，杨弋，宋志新，郝建国，李强，
申请(专利权)人：中信百信银行股份有限公司，
类型：发明
国别省市：北京;11