一种基于分布式数据节点的对账系统技术方案

本发明专利技术提出一种基于分布式数据节点的对账系统包括：用于对接各交易方支付系统的分布式节点，分布式节点上设有：文件获取模块，用于下载或读取各渠道的对账文件；文件解析模块，用于创建不同的解析模板，根据渠道和文件类型获取对应的解析模板进行解析；对账处理模块，用于对账的业务逻辑处理；差错处理模块，处理差错池中的订单。该系统能确保数据的真实透明可追溯，提升了对账的时效性与准确度。提升了对账的时效性与准确度。提升了对账的时效性与准确度。

【技术实现步骤摘要】
一种基于分布式数据节点的对账系统


[0001]本专利技术涉及财务管理系统
，具体涉及一种基于分布式数据节点的对账系统。

技术介绍

[0002]传统的对账是指核对账目，是指在会计核算中，为保证账簿记录正确可靠，对账簿中的有关数据进行检查和核对的工作。在银行或者第三方支付公司中，对账是对一定周期内的交易进行双方确认的过程，一般都是在第二天对前一日交易进行清分，生成对账单供平台商户下载，并将应结算款结算给平台商户。再往下一层，在互联网金融行业或者电商行业中，对账是确认在固定周期内和支付提供方(银行和第三方支付公司)的交易、资金的正确性，保证双方的交易、资金一致正确。
[0003]广义地来说，所有跨应用的数据交互理论上都应该进行对账。所以对账也可以分为信息流对账，资金流对账。信息流对账一般用在自己内部系统的对账，比如支付系统的支付数据和业务系统的业务数据进行对账，保证资金交易和业务交易的一致性。资金流对账也就是支付系统和银行或者第三方支付系统之间的资金交易对账。
[0004]现有的对账技术主要存在以下缺点：
[0005]1、合作行无法实时了解到引发备付金账户变动的贷款借还交易明细信息；
[0006]2、合作行无法及时了解到账务是否不平；
[0007]3、合作行需要自己开发对账系统；
[0008]4、缺乏统一全面的信息视图；
[0009]5、对账过程中查询相关数据，如果数据量巨大，对数据库性能影响较大，而且对账逻辑扩展极为麻烦；
[0010]6、逐行比对算法效率较低，但算法上并无好的优化余地，如果采用数据库INTERSECT、MINUS，对数据库压力也高；
[0011]7、在业务量大的情况下，如有上百家上游渠道需要对，每家都有几十万条交易记录，对账服务器及数据库服务器负荷较高，即便采用读写分离，对账时候使用读库，压力一样很大；
[0012]8、导入批量文件，逐行入库效率较为低下，每一次都需要建立网络连接、关闭连接。
[0013]针对以上缺点，本专利技术的目的即在于提出一种能够解决以上问题的对账系统。

技术实现思路

[0014]为克服现有技术的不足，本专利技术提出一种基于分布式数据节点的对账系统，能确保数据的真实透明可追溯，提升了对账的时效性与准确度。
[0015]为实现上述目的，本专利技术的一种基于分布式数据节点的对账系统，一种基于分布式数据节点的对账系统，包括：用于对接各交易方支付系统的分布式节点，分布式节点上设
有：
[0016]文件获取模块，用于下载或读取各渠道的对账文件；
[0017]文件解析模块，用于创建不同的解析模板，根据渠道和文件类型获取对应的解析模板进行解析；
[0018]对账处理模块，用于对账的业务逻辑处理；
[0019]差错处理模块，处理差错池中的订单。
[0020]进一步地，文件获取模块的文件获取方式包括主动获取、对方推送和人工上传，主动获取通过定时任务在每天的固定时间点触发下载文件的操作，主动获取具备重试机制，在下载文件失败的情况下会进行重新下载文件的操作。
[0021]进一步地，文件解析模块解析的文件类型包括且不限于EXCEL、TXT和CVC，文件解析模块将不同渠道的账单数据、订单数据解析后统一转化并存入通用的账单数据表中，账单数据表对不同的数据端进行定义并赋予相应的字段并填入表中，账单数据表采用GlusterFS文件存储，账单数据表存储在Postgresql数据库上。
[0022]进一步地，对账处理模块在获取账单数据表后对账单数据和支付订单数据进行比对，对账处理模块将账单数据、支付订单数据分别清洗到账单待对账中间表和订单待对账中间表中，然后将两张中间表进行SQL full join操作得到一个集合全量，集合包括一个交集、两个补集，处于交集部分的数据集进行订单金额的比对一致则说明无差错，对平的数据集按照结算数据要求取账单数据结合平台订单数据业务字段全集，直接生成对账明细表，不一致的则需要生成差错数据并记入对账差错数据表移入差错池。
[0023]进一步地，对账处理模块处理后的对账数据采用TIDB分布式关系型数据库存储。
[0024]进一步地，差错信息表根据差错类型记录该笔差错的详细信息，包括不限于渠道类型、金额、交易时间，并会对差错进行分类，定义特定的差错类型编码，根据不同情况将差错分为：长款、短款、金额错误。
[0025]进一步地，对于长款差错的处理包括人工合账、平账，或自动处理。
[0026]进一步地，分布式节点运行的系统采用开源系统，采用GlusterFS作为存储系统，交易各方通过HTTPS将交易流水、资金流水上传。
[0027]本专利技术的一种基于分布式数据节点的对账系统利用分布式多信任节点技术将备付金交易信息分支节点，确保数据的真实透明可追溯，解决支付系统与合作方的对账问题，降低了合作方的人力和时间成本，提升了对账的时效性与准确度，非常适用于金融行业的交易数据同步和对账等场景，解决传统“批量文件对账”模式长久以来未能解决的问题。
附图说明
[0028]下面结合附图对本专利技术作进一步描写和阐述。
[0029]图1是本专利技术首选实施方式的一种基于分布式数据节点的对账系统的系统框图；
[0030]图2是一种基于分布式数据节点的对账系统的流程图；
[0031]图3是长款差错消除的流程图；
[0032]图4是短款差错消除的流程图。
具体实施方式
[0033]下面将结合附图、通过对本专利技术的优选实施方式的描述，更加清楚、完整地阐述本专利技术的技术方案。
[0034]如图1所示，本专利技术的一种基于分布式数据节点的对账系统，包括：用于对接各交易方支付系统的分布式节点，分布式节点上设有：
[0035]文件获取模块，用于下载或读取各渠道的对账文件，文件获取模块的文件获取方式包括主动获取、对方推送和人工上传，主动获取通过定时任务在每天的固定时间点触发下载文件的操作，主动获取具备重试机制，在下载文件失败的情况下会进行重新下载文件的操作；
[0036]文件解析模块，用于创建不同的解析模板，根据渠道和文件类型获取对应的解析模板进行解析，文件解析模块解析的文件类型包括且不限于EXCEL、TXT和CVC，文件解析模块将不同渠道的账单数据、订单数据解析后统一转化并存入通用的账单数据表中，账单数据表对不同的数据端进行定义并赋予相应的字段并填入表中，账单数据表采用GlusterFS文件存储，账单数据表存储在Postgresql数据库上；
[0037]对账处理模块，用于对账的业务逻辑处理，对账处理模块在获取账单数据表后对账单数据和支付订单数据进行比对，对账处理模块将账单数据、支付订单数据分别清洗到账单待对账中间表和订单待对账中间表中，然后将两张中间表进行SQL full join操作得到一个集合全量，集合包括一个交集、两个补集，处于交集部分的数据集进行订单金额的比对一致则说明无差错，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式数据节点的对账系统，其特征在于，包括：用于对接各交易方支付系统的分布式节点，所述分布式节点上设有：文件获取模块，用于下载或读取各渠道的对账文件；文件解析模块，用于创建不同的解析模板，根据渠道和文件类型获取对应的解析模板进行解析；对账处理模块，用于对账的业务逻辑处理；差错处理模块，处理差错池中的订单。2.根据权利要求1所述的一种基于分布式数据节点的对账系统，其特征在于，所述文件获取模块的文件获取方式包括主动获取、对方推送和人工上传，所述主动获取通过定时任务在每天的固定时间点触发下载文件的操作，所述主动获取具备重试机制，在下载文件失败的情况下会进行重新下载文件的操作。3.根据权利要求2所述的一种基于分布式数据节点的对账系统，其特征在于，所述文件解析模块解析的文件类型包括且不限于EXCEL、TXT和CVC，所述文件解析模块将不同渠道的账单数据、订单数据解析后统一转化并存入通用的账单数据表中，所述账单数据表对不同的数据端进行定义并赋予相应的字段并填入表中，所述账单数据表采用GlusterFS文件存储，所述账单数据表存储在Postgresql数据库上。4.根据权利要求3所述的一种基于分布式数据节点的对账系统，其特征在于，所述文件获取模块上具有防重复机制，所述防重复机制用于在下载对账文件的过程中判断是否存在重复下载和入库的情况。5.根据权利要求3所述的一种基于分布式数据节...

【专利技术属性】
技术研发人员：李伟山，
申请(专利权)人：江苏点石乐投科技有限公司，
类型：发明
国别省市：