【技术实现步骤摘要】
本公开涉及数据处理技术，并且更具体地，涉及一种基于gemfire内存计算网格的分布式对账方法。
技术介绍
1、随着数字化转型的发展，其中一个非常典型的特征就是高速增长，涉及支付场景的线上业务不断丰富，网络支付规模急剧膨胀，产生海量账单数据。对于庞大的金融交易，对账系统的数据支持能力、处理效率都极为重要。目前各种对账系统采用将账单基于数据库通过表关联进行核对，在数据量较大的场景下，该方式主数据库无法扩展，磁盘io高，数据库内存占用大，处理效率下降，可能造成数据库宕机，影响应用整体的可用性。
2、现有的使用数据库表关联对账方法存在的不足之处在于：数据处理量较大时存在处理效率和可用性较低。
技术实现思路
1、因此，为了解决上述技术问题，本公开的实施例采用的技术方案如下：
2、一种基于gemfire内存计算网格的分布式对账方法，所述方法应用于一种基于gemfire内存计算网格的分布式对账系统，所述系统包括客户端和服务端，包括以下步骤：获取对账文件，所述对账文件通过服务端接收客户端发送的对账文件获得；生成多个分布式对账数据集合，所述分布式对账数据集合基于所述服务端对所述对账文件进行数据解析和数据划分获得；将所述多个分布式对账数据集合分区存储至所述服务端的多个服务节点，并基于所述多个服务节点进行对账数据核对，生成多个对账数据核对结果；将所述多个对账数据核对结果进行聚合，生成对账核对结果，并将所述对账核对结果通过所述服务端发送至所述客户端。
3、在一个实施例中
4、在一个实施例中，所述方法还包括：基于所述服务端对所述对账文件进行数据解析，获得对账数据集合；获取预设数据量阈值；根据所述预设数据量阈值对所述对账数据集合进行划分数量计算，并根据划分数量计算结果对所述对账数据集合进行数据划分，生成多个分布式对账数据集合，其中所述分布式对账数据集合带有序号标识。
5、在一个实施例中，所述方法还包括：获取数据存储唯一标识；基于所述数据存储唯一标识，结合一致性哈希算法将所述多个分布式对账数据集合分区存储至所述服务端的多个服务节点。
6、在一个实施例中，所述方法还包括：基于所述服务端获取数据核对函数；将所述数据核对函数路由到所述多个服务节点，并基于所述数据核对函数进行对账数据核对，生成多个对账数据核对结果。
7、在一个实施例中，所述方法还包括：基于所述序号标识对所述多个对账数据核对结果进行聚合，生成对账数据聚合结果；对所述对账数据聚合结果中的异常账目数据进行提取，生成对账核对结果。
8、一种基于gemfire内存计算网格的分布式对账系统，所述系统包括客户端和服务端，包括：对账文件获取模块，所述对账文件获取模块用于获取对账文件，所述对账文件通过服务端接收客户端发送的对账文件获得；对账数据分布式缓存模块，所述对账数据分布式缓存模块用于生成多个分布式对账数据集合，所述分布式对账数据集合基于所述服务端对所述对账文件进行数据解析和数据划分获得；对账数据分布式核对模块，所述对账数据分布式核对模块用于将所述多个分布式对账数据集合分区存储至所述服务端的多个服务节点，并基于所述多个服务节点进行对账数据核对，生成多个对账数据核对结果；对账核对结果生成模块，所述对账核对结果生成模块用于将所述多个对账数据核对结果进行聚合，生成对账核对结果，并将所述对账核对结果通过所述服务端发送至所述客户端。
9、由于采用了上述技术方法，本公开相对于现有技术来说，取得的技术进步有如下几点：
10、(1)可以解决现有的使用数据库表关联对账方法在数据处理量较大时存在处理效率和可用性较低的技术问题，通过获取对账文件，所述对账文件通过服务端接收客户端发送的对账文件获得；生成多个分布式对账数据集合，所述分布式对账数据集合基于所述服务端对所述对账文件进行数据解析和数据划分获得；将所述多个分布式对账数据集合分区存储至所述服务端的多个服务节点，并基于所述多个服务节点进行对账数据核对，生成多个对账数据核对结果；将所述多个对账数据核对结果进行聚合，生成对账核对结果，并将所述对账核对结果通过所述服务端发送至所述客户端。可以提高对账数据处理的效率和可用性。
11、(2)基于gemfire集群部署，通过client-server拓扑结构进行数据共享及事件分发，路由数据执行行为到多个server计算节点本地缓存并行处理，执行完成后将结果聚合到客户端节点，保证了计算节点的高可用高吞吐。基于内存的分布式计算使得核对效率成倍提升，对于海量数据也可达到秒级处理效率。
本文档来自技高网...【技术保护点】
1.一种基于GemFire内存计算网格的分布式对账方法，其特征在于，所述方法应用于一种基于GemFire内存计算网格的分布式对账系统，所述系统包括客户端和服务端，包括：
2.如权利要求1所述的方法，其特征在于，所述客户端和所述服务端基于GemFire以集群形式部署构建，且通过Client-Server拓扑结构通信连接。
3.如权利要求1所述的方法，其特征在于，所述基于所述服务端对所述对账文件进行数据解析和数据划分，还包括：
4.如权利要求1所述的方法，其特征在于，所述将所述多个分布式对账数据集合分区存储至所述服务端的多个服务节点，还包括：
5.如权利要求1所述的方法，其特征在于，所述并基于所述多个服务节点进行对账数据核对，还包括：
6.如权利要求3所述的方法，其特征在于，所述将所述多个对账数据核对结果进行聚合，生成对账核对结果，还包括：
7.一种基于GemFire内存计算网格的分布式对账系统，其特征在于，用于执行权利要求1-6中所述的一种基于GemFire内存计算网格的分布式对账方法中任意一项的方法的步骤，所
...【技术特征摘要】
1.一种基于gemfire内存计算网格的分布式对账方法，其特征在于，所述方法应用于一种基于gemfire内存计算网格的分布式对账系统，所述系统包括客户端和服务端，包括：
2.如权利要求1所述的方法，其特征在于，所述客户端和所述服务端基于gemfire以集群形式部署构建，且通过client-server拓扑结构通信连接。
3.如权利要求1所述的方法，其特征在于，所述基于所述服务端对所述对账文件进行数据解析和数据划分，还包括：
4.如权利要求1所述的方法，其特征在于，所述将所述...
【专利技术属性】
技术研发人员：刘浩宇，戴渝，张智，
申请(专利权)人：中信银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。