对账方法和系统技术方案

本申请涉及大数据技术领域，提供了一种对账方法和系统。其中的方法包括：业务系统服务器将增量业务数据发送至分布式数据库服务器；分布式数据库服务器将接收到的增量业务数据存储至分布式数据库的分布式存储节点；数据处理服务器轮询分布式存储节点并通过调用预先封装的数据处理层从分布式存储节点中获取增量业务数据并发送至分布式消息队列服务器；支付系统服务器将增量支付数据发送至分布式消息队列服务器；对账系统服务器在监听到当前流处理窗口内分布式消息队列服务器接收的目标增量业务数据及目标增量支付数据，获取该目标增量业务数据及目标增量支付数据，并按照当前对账类型对应的预设对账逻辑执行对账操作。

Reconciliation Method and system

【技术实现步骤摘要】
对账方法和系统
本申请涉及计算机
，特别是涉及一种对账方法和系统。
技术介绍
随着互联网的迅速发展，越来越多的人在理财平台上进行理财，例如购买基金、股票，投资P2P产品等，由于涉及到金钱交易，理财平台的后台经常要进行资金对账。传统技术中，通常都是通过T+1的方式批处理对业务系统及支付系统的数据进行对账，对账时效性差，无法及时发现各个系统之间的数据不一致问题。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够及时发现各个系统之间的数据不一致问题的对账方法和系统。一种对账方法，包括：业务系统服务器实时扫描业务系统数据库的第一日志文件，对所述第一日志文件进行解析，得到增量业务数据，将所述增量业务数据发送至分布式数据库服务器；所述分布式数据库服务器将接收到的所述增量业务数据存储至分布式数据库的分布式存储节点；数据处理服务器轮询所述分布式存储节点并通过调用预先封装的数据处理层从所述分布式存储节点中获取增量业务数据，将获取到的所述增量业务数据发送至分布式消息队列服务器；其中，所述数本文档来自技高网...

【技术保护点】
1.一种对账方法，所述方法包括：/n业务系统服务器实时扫描业务系统数据库的第一日志文件，对所述第一日志文件进行解析，得到增量业务数据，将所述增量业务数据发送至分布式数据库服务器；/n所述分布式数据库服务器将接收到的所述增量业务数据存储至分布式数据库的分布式存储节点；/n数据处理服务器轮询所述分布式存储节点并通过调用预先封装的数据处理层从所述分布式存储节点中获取增量业务数据，将获取到的所述增量业务数据发送至分布式消息队列服务器；其中，所述数据处理层根据预设的数据处理逻辑进行封装得到；/n支付系统服务器实时扫描支付系统数据库的第二日志文件，对所述第二日志文件进行解析，得到增量支付数据，将所述增量支...

【技术特征摘要】
1.一种对账方法，所述方法包括：
业务系统服务器实时扫描业务系统数据库的第一日志文件，对所述第一日志文件进行解析，得到增量业务数据，将所述增量业务数据发送至分布式数据库服务器；
所述分布式数据库服务器将接收到的所述增量业务数据存储至分布式数据库的分布式存储节点；
数据处理服务器轮询所述分布式存储节点并通过调用预先封装的数据处理层从所述分布式存储节点中获取增量业务数据，将获取到的所述增量业务数据发送至分布式消息队列服务器；其中，所述数据处理层根据预设的数据处理逻辑进行封装得到；
支付系统服务器实时扫描支付系统数据库的第二日志文件，对所述第二日志文件进行解析，得到增量支付数据，将所述增量支付数据发送至所述分布式消息队列服务器；
对账系统服务器监听当前流处理窗口内所述分布式消息队列服务器接收的目标增量业务数据及目标增量支付数据，当成功监听到目标增量业务数据及目标增量支付数据时，从所述分布式消息队列服务器中获取所述目标增量业务数据及目标增量支付数据，并按照当前对账类型对应的预设对账逻辑执行对账操作。


2.根据权利要求1所述的方法，其特征在于，所述数据处理服务器轮询所述分布式存储节点并通过调用预先封装的数据处理层从所述分布式存储节点中获取增量业务数据，将获取到的所述增量业务数据发送至分布式消息队列服务器，包括：
所述数据处理服务器获取预先创建的主键信息表；所述主键信息表用于存储从分布式存储节点中抽取并且成功发送至分布式消息队列的增量业务数据的主键；
所述数据处理服务器将所述主键信息表中的主键与所述分布式存储节点中的目标数据表的主键进行比对，将比对不一致的主键确定为第一目标主键；
所述数据处理服务器从所述分布式存储节点中抽取与所述第一目标主键对应的增量业务数据，对抽取的增量业务数据进行清洗和转换，并发送至所述分布式消息队列服务器中；
所述数据处理服务器获取发送成功的增量业务数据对应的第二目标主键，将所述第二目标主键回写至所述主键信息表中，以对所述主键信息表进行更新。


3.根据权利要求1所述的方法，其特征在于，所述从所述分布式消息队列服务器中获取所述目标增量业务数据及目标增量支付数据，并按照当前对账类型对应的预设对账逻辑执行对账操作，包括：
所述对账系统服务器获取目标业务数据表对应的唯一键配置信息，所述唯一键配置信息中包括至少一个目标字段；
所述对账系统服务器将所述目标增量业务数据中所述目标字段对应的字段值与对账数据库中所述目标字段对应的字段值进行比对；
当存在比对一致的字段值时，所述对账系统服务器将比对一致的字段值对应的数据从所述目标增量业务数据中过滤掉，将剩下的目标增量业务数据加载至所述对账数据库中；
当不存在比对一致的字段值时，所述对账系统服务器将所有目标增量业务数据加载至所述对账数据库中。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述数据处理服务器获取目标配置文件；
所述数据处理服务器对所述目标配置文件进行解析，得到可执行代码文件；
所述数据处理服务器根据所述可执行代码文件更新所述预先封装的数据处理层。


5.根据权利要求1所述的方法，其特征在于，当所述当前对账类型为预设对账类型时，所述按照当前对账类型对应的预设对账逻辑执行对账操作，包括：
对账系统服务器将获取的所述目标增量业务数据及目标增量支付数据分别保存在内存中的两个临时数据表中；
对账系统服务器将两个临时数据表进行关联操作，对关联...

【专利技术属性】
技术研发人员：封韫清，孙锋，罗洪超，朱志云，
申请(专利权)人：上海陆家嘴国际金融资产交易市场股份有限公司，
类型：发明
国别省市：上海;31