对账方法、设备、系统及计算机可读存储介质技术方案

本发明专利技术公开了一种对账方法，该方法包括：实时读取交易系统产生的交易流水数据；从所述交易流水数据中提取待对账的交易数据；从提取到的所述待对账的交易数据中获取交易标识信息，根据所述交易标识信息对提取到的所述待对账的交易数据进行分组，所述交易标识信息用于唯一标识一笔交易；对各分组中的所述待对账的交易数据进行对账处理。本发明专利技术还公开了一种对账设备、系统和一种计算机可读存储介质。本发明专利技术提高了交易对账的实时性。

【技术实现步骤摘要】
对账方法、设备、系统及计算机可读存储介质
本专利技术涉及大数据处理
，尤其涉及对账方法、设备、系统及计算机可读存储介质。
技术介绍
随着大数据时代的到来，大数据相关应用呈现出爆发式增长，尤其对于大型交易系统，每天都要处理海量的交易数据，在此情况下，如何对交易系统产生的交易数据进行分析处理，从而满足交易对账需求是目前亟待解决的问题。现有的金融网络中，交易系统对账方案主要是对离线交易数据进行批处理对账，比如“T+1”日模式，通过头天采集交易数据，次日才能够对交易数据进行对账，这种对账方式的缺陷在于，对账的时效性不高，若有金融交易出现问题，要等到对账时才发现，容易导致损失。
技术实现思路
本专利技术的主要目的在于提出一种对账方法、设备、系统及计算机可读存储介质，旨在提高交易对账的实时性。为实现上述目的，本专利技术提供一种对账方法，所述对账方法包括如下步骤：实时读取交易系统产生的交易流水数据；从所述交易流水数据中提取待对账的交易数据；从提取到的所述待对账的交易数据中获取交易标识信息，根据所述交易标识信息对提取到的所述待对账的交易数据进行分组，所述交易标识信息用于唯一标识一笔交易；对各分组中的所述待对账的交易数据进行对账处理。优选地，所述实时读取交易系统产生的交易流水数据的步骤包括：从预设的消息采集节点实时读取交易系统产生的交易流水数据，其中消息采集节点用于实时采集交易系统产生的交易流水数据；或者，从分布式消息队列中实时读取交易系统产生的交易流水数据，其中分布式消息队列用于缓存所述消息采集节点发送的交易流水数据。优选地，所述交易流水数据由消息采集节点从交易系统对应的数据中心节点的从节点中同步交易日志文件，并对交易日志文件进行解析和标准化处理得到。优选地，所述从分布式消息队列中实时读取交易系统产生的交易流水数据的步骤包括：创建一个滑动窗口，并设置所述滑动窗口的滑动步长；基于所述滑动窗口和所述滑动步长从分布式消息队列中读取交易系统产生的交易流水数据，其中每个滑动窗口用于采集预设时长内交易系统产生的交易流水数据。优选地，所述基于所述滑动窗口和所述滑动步长从分布式消息队列中读取交易系统产生的交易流水数据的步骤之后，还包括：在所述滑动窗口滑动过程中，通过预设的检查点记录所述交易流水数据的数据潜伏期和数据等待次数；当所述数据潜伏期达到预设的最大潜伏期时，执行步骤：从所述交易流水数据中提取待对账的交易数据；当所述数据等待次数达到预设的最大潜伏期时，删除所述检查点；其中，所述数据潜伏期和所述最大潜伏期以计数的方式进行表示。优选地，所述从所述交易流水数据中提取待对账的交易数据的步骤包括：将所述交易流水数据转换为分布式数据集；按照所述交易流水数据来源的数据库表对所述分布式数据集进行拆分，得到若干个子分布式数据集；从所述子分布式数据集中提取待对账的数据字段值，并将提取到的所述数据字段值转换为预设的标准数据格式；对转换为标准数据格式后的数据字段值进行去重处理，得到与预设的最终交易状态对应的数据字段值；对各子分布式数据集中去重处理后的数据字段值进行汇总，得到一个新的分布式数据集，将所述新的分布式数据集中的数据作为待对账的交易数据。优选地，所述对各分组中的所述待对账的交易数据进行对账处理的步骤包括：在各分组中，根据交易金额和交易状态对所述待对账的交易数据进行对账处理。此外，为实现上述目的，本专利技术还提供一种对账设备，所述对账设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的对账程序，所述对账程序被所述处理器执行时实现如上所述的对账方法的步骤。此外，为实现上述目的，本专利技术还提供一种对账系统，所述对账系统包括对账设备和消息采集节点，其中：所述对账设备为上述的对账设备；所述消息采集节点，用于实时采集交易系统产生的交易流水数据，以供对账设备通过所述消息采集节点读取交易系统产生的交易流水数据。优选地，所述消息采集节点，还用于同步交易系统的数据中心节点中的从节点产生的交易日志文件，所述交易日志文件中记录了交易系统产生的交易流水数据；解析并标准化所述交易日志文件中的交易流水数据，将解析并标准化后的所述交易流水数据存储至本地存储区或者发送至分布式消息队列，以供对账设备从消息采集节点或者所述分布式消息队列读取交易系统产生的交易流水数据。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有对账程序，所述对账程序被处理器执行时实现如上所述的对账方法的步骤。本专利技术实时读取交易系统产生的交易流水数据；从所述交易流水数据中提取待对账的交易数据；从提取到的所述待对账的交易数据中获取交易标识信息，根据所述交易标识信息对提取到的所述待对账的交易数据进行分组，所述交易标识信息用于唯一标识一笔交易；对各分组中的所述待对账的交易数据进行对账处理。由于本专利技术实时读取交易流水数据，且由于交易标识信息用于唯一标识一笔交易，因而通过上述方式，本专利技术能够实现对交易系统产生的每一笔交易进行实时对账，提高了交易对账的实时性。附图说明图1是本专利技术实施例方案涉及的硬件运行环境的设备结构示意图；图2为本专利技术对账方法第一实施例的流程示意图；图3为图2中步骤S20的细化步骤示意图；图4为本专利技术实施例中通过滑动窗口采集交易流水数据的示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例的主要解决方案是：实时读取交易系统产生的交易流水数据；从所述交易流水数据中提取待对账的交易数据；从提取到的所述待对账的交易数据中获取交易标识信息，根据所述交易标识信息对提取到的所述待对账的交易数据进行分组，所述交易标识信息用于唯一标识一笔交易；对各分组中的所述待对账的交易数据进行对账处理。现有的金融网络中，交易系统对账方案主要是对离线交易数据进行批处理对账，比如“T+1”日模式，通过头天采集交易数据，次日才能够对交易数据进行对账，这种对账方式的缺陷在于，对账的时效性不高，若有金融交易出现问题，要等到对账时才发现，容易导致损失。本专利技术实时读取交易系统产生的交易流水数据；从所述交易流水数据中提取待对账的交易数据；从提取到的所述待对账的交易数据中获取交易标识信息，根据所述交易标识信息对提取到的所述待对账的交易数据进行分组，所述交易标识信息用于唯一标识一笔交易；对各分组中的所述待对账的交易数据进行对账处理。由于本专利技术实时读取交易流水数据，且由于交易标识信息用于唯一标识一笔交易，因而通过上述方式，本专利技术能够实现对交易系统产生的每一笔交易进行实时对账，提高了交易对账的实时性。如图1所示，图1是本专利技术实施例方案涉及的硬件运行环境的设备结构示意图。本专利技术实施例对账设备可以是服务器、PC机或虚拟机设备。如图1所示，该对账设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、本文档来自技高网...

【技术保护点】
1.一种对账方法，其特征在于，所述对账方法包括如下步骤：实时读取交易系统产生的交易流水数据；从所述交易流水数据中提取待对账的交易数据；从提取到的所述待对账的交易数据中获取交易标识信息，根据所述交易标识信息对提取到的所述待对账的交易数据进行分组，所述交易标识信息用于唯一标识一笔交易；对各分组中的所述待对账的交易数据进行对账处理。

【技术特征摘要】
1.一种对账方法，其特征在于，所述对账方法包括如下步骤：实时读取交易系统产生的交易流水数据；从所述交易流水数据中提取待对账的交易数据；从提取到的所述待对账的交易数据中获取交易标识信息，根据所述交易标识信息对提取到的所述待对账的交易数据进行分组，所述交易标识信息用于唯一标识一笔交易；对各分组中的所述待对账的交易数据进行对账处理。2.如权利要求1所述的对账方法，其特征在于，所述实时读取交易系统产生的交易流水数据的步骤包括：从预设的消息采集节点实时读取交易系统产生的交易流水数据，其中消息采集节点用于实时采集交易系统产生的交易流水数据；或者，从分布式消息队列中实时读取交易系统产生的交易流水数据，其中分布式消息队列用于缓存所述消息采集节点发送的交易流水数据。3.如权利要求2所述的对账方法，其特征在于，所述交易流水数据由消息采集节点从交易系统对应的数据中心节点的从节点中同步交易日志文件，并对交易日志文件进行解析和标准化处理得到。4.如权利要求2所述的对账方法，其特征在于，所述从分布式消息队列中实时读取交易系统产生的交易流水数据的步骤包括：创建一个滑动窗口，并设置所述滑动窗口的滑动步长；基于所述滑动窗口和所述滑动步长从分布式消息队列中读取交易系统产生的交易流水数据，其中每个滑动窗口用于采集预设时长内交易系统产生的交易流水数据。5.如权利要求4所述的对账方法，其特征在于，所述基于所述滑动窗口和所述滑动步长从分布式消息队列中读取交易系统产生的交易流水数据的步骤之后，还包括：在所述滑动窗口滑动过程中，通过预设的检查点记录所述交易流水数据的数据潜伏期和数据等待次数；当所述数据潜伏期达到预设的最大潜伏期时，执行步骤：从所述交易流水数据中提取待对账的交易数据；当所述数据等待次数达到预设的最大潜伏期时，删除所述检查点；其中，所述数据潜伏期和所述最大潜伏期以计数的方式进行表示。6.如权利要求1至5中任一项所述的对账方法，其特征在于，所述从所...

【专利技术属性】
技术研发人员：石祖恒，胡东东，殷凇，范瑞斌，万磊，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东,44