银行内存数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种银行内存数据处理方法及装置，其中方法包括：日志加工节点获得银行内存数据和增量操作日志；日志加工节点对所述银行内存数据进行镜像备份处理；日志加工节点根据镜像备份处理后的银行内存数据和所述增量操作日志，确定数据全量镜像文件；日志加工节点向日志备份节点发送所述数据全量镜像文件和增量操作日志。本发明专利技术可以在保证交易性能和大并发的同时，达到内存数据的高可靠性，避免因数据不一致或者数据丢失等问题，给银行资产造成严重损失。

【技术实现步骤摘要】
银行内存数据处理方法及装置
本专利技术涉及银行内存数据
，尤其涉及银行内存数处理方法及装置。
技术介绍
随着银行应用系统交易量的日益快速增长，分布式架构逐步成为新应用系统的主流架构，分布式技术中的内存数据库或分布式缓存框架也逐渐在银行应用系统中开始应用，越来越多银行数据通过这些开源框架存放在内存中，提高了数据访问性能和吞吐量的同时，因为内存掉电不可恢复，给存放在内存的数据带来了可靠性的问题。目前开源框架中解决内存数据可靠性的方案包括：在修改内存数据的同时，将修改后的数据同步保存在硬盘里，进行持久化，以保证内存数据的可靠性，以及通过双活模式，同时启动两个节点，保证一台机器出现故障后，另一台机器提供服务两种方法，但是上述方法无法在保证交易性能和大并发的同时，达到内存数据的高可靠性。并且，因为复杂的设计导致应用系统的开发和设计异常复杂，稍有遗漏，就会导致数据不一致或者数据丢失，给银行资产造成严重损失。
技术实现思路
本专利技术实施例提供一种银行内存数据处理方法，用以在保证交易性能和大并发的同时，达到内存数据的高可靠性，避免因数据不一致或者数据丢失等问题，给银行资产造成严重损失，该方法包括：日志加工节点获得银行内存数据和增量操作日志；日志加工节点对所述银行内存数据进行镜像备份处理；日志加工节点根据镜像备份处理后的银行内存数据和所述增量操作日志，确定数据全量镜像文件；日志加工节点向日志备份节点发送所述数据全量镜像文件和增量操作日志。本专利技术实施例提供一种银行内存数据处理装置，用以在保证交易性能和大并发的同时，达到内存数据的高可靠性，避免因数据不一致或者数据丢失等问题，给银行资产造成严重损失，该装置包括：数据获得模块，用于获得银行内存数据和增量操作日志；备份处理模块，用于对所述银行内存数据进行镜像备份处理；文件确定模块，用于根据镜像备份处理后的银行内存数据和所述增量操作日志，确定数据全量镜像文件；文件发送模块，用于向日志备份节点发送所述数据全量镜像文件和增量操作日志。本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述银行内存数据处理方法。本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述银行内存数据处理方法的计算机程序。本专利技术实施例通过日志加工节点获得银行内存数据和增量操作日志；日志加工节点对所述银行内存数据进行镜像备份处理；日志加工节点根据镜像备份处理后的银行内存数据和所述增量操作日志，确定数据全量镜像文件；日志加工节点向日志备份节点发送所述数据全量镜像文件和增量操作日志。本专利技术实施例通过日志加工节点对银行内存数据进行镜像备份处理然后确定数据全量镜像文件，并在日志备份节点中进行备份，将内存数据读写访问和内存数据的硬盘备份进行了有效分离，有效的降低了间隔时间内，日志的处理量，在保证交易性能和大并发的同时，达到内存数据的高可靠性，避免因数据不一致或者数据丢失等问题，给银行资产造成严重损失。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1为本专利技术实施例银行内存数据处理方法示意图；图2为本专利技术实施例银行内存数据处理架构图；图3为本专利技术实施例银行内存数据处理方法修改内存数据流程图；图4为本专利技术实施例银行内存数据处理方法备份日志加工合并流程图；图5为本专利技术实施例银行内存数据处理方法备份日志恢复内存数据的流程图；图6为本专利技术实施例银行内存数据处理装置结构图；图7为本专利技术实施例银行内存数据处理装置结构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。首先，对本专利技术实施例中涉及的名词进行介绍：银行数据高可靠性：商业银行处理业务的过程中，汇率、利率、账户余额等等数据都是至关重要的信息，一旦因为系统问题造成丢失或者不一致，则会给银行造成重大损失，因此，应用系统设计过程中，银行数据高可靠性是至关重要的考虑因素。节点：分布式体系中，一个系统由多台X86计算机组成，物理上看，每一台计算机可以理解成为一个节点，如果几台计算机组成一个可以对外提供统一功能服务的整体，从逻辑架构上看，它们也可以称为一个节点。内存数据访问：随着技术发展，以及X86计算机内存的成本不断下降，出现了内存数据库、分布式缓存等以内存为主要存储部件的数据访问技术，这些技术将通常存储在硬盘上的数据全部存储在内存中，因为内存的读写速度要远远高于硬盘，因此，内存数据访问极大提高了交易性能和交易的并发度。持久化：简单的说就是数据写硬盘的过程。因为内存的物理特性，它只能暂时保存数据，机器一旦重启或断电，内存数据将全部丢失，只有写入硬盘的数据，可以在机器断电后还能长期存在，因此，数据写硬盘的过程称之为持久化。如前所述，目前开源框架中解决内存数据可靠性的方案包括：在修改内存数据的同时，将修改后的数据同步保存在硬盘里，进行持久化，以保证内存数据的可靠性，以及通过双活模式，同时启动两个节点，保证一台机器出现故障后，另一台机器提供服务两种方法。对于第一种方法，存在如下两个问题：1、性能问题：一般考虑放置在内存中的数据，一定是被频繁访问或者被频繁修改的数据，以便达到大幅度提高性能和并发度的目的。对于那些高频率被访问，低频率被修改的数据(比如银行的基础码表：机构表、核算码表、行号表等等)，通过此方案，可在实现提高访问性能的同时，实现内存数据的可靠性。但是，对于高频率被访问被修改的数据(比如热点账户余额表、总账发生额等等)，因为同步写硬盘(被修改的内存数据需要等待硬盘写入完成后才能接受再次修改的请求)会大幅降低并发和性能，数据放置在内存中的意义和作用将不复存在。2、一致性问题：在修改内存数据的同时修改硬盘数据，无论是修改内存还是修改硬盘，只要其中一个修改失败，便会造成内存和硬盘数据不一致。为了保证这两步修改的数据一致性，应用程序的设计和逻辑都会异常复杂。设计开发稍有不慎，便会造成很严重的后果。对于第二种方法，存在如下两个问题：1、一致性问题：类似于内存和硬盘同时修改的状况，同时启动两个内存存储节点双活，就需要对被修改的数据在两个节点之间进行同步，只要其中任意一个节点修改失败，便会造成数据不一致。另外，节点间数据同步是通过网络完成，这必然有一定的时延，在这段同步时延内，两个节点的数据存在不一致的情况。2、内存临时性问题：启动再多的存储节点，都只是相对单节点提高本文档来自技高网...

【技术保护点】
1.一种银行内存数据处理方法，其特征在于，包括：/n日志加工节点获得银行内存数据和增量操作日志；/n日志加工节点对所述银行内存数据进行镜像备份处理；/n日志加工节点根据镜像备份处理后的银行内存数据和所述增量操作日志，确定数据全量镜像文件；/n日志加工节点向日志备份节点发送所述数据全量镜像文件和增量操作日志。/n

【技术特征摘要】
1.一种银行内存数据处理方法，其特征在于，包括：
日志加工节点获得银行内存数据和增量操作日志；
日志加工节点对所述银行内存数据进行镜像备份处理；
日志加工节点根据镜像备份处理后的银行内存数据和所述增量操作日志，确定数据全量镜像文件；
日志加工节点向日志备份节点发送所述数据全量镜像文件和增量操作日志。


2.如权利要求1所述的银行内存数据处理方法，其特征在于，日志加工节点根据镜像备份处理后的银行内存数据和所述增量操作日志，确定数据全量镜像文件，包括：日志加工节点将镜像备份处理后的银行内存数据和所述增量操作日志进行合并处理，根据合并处理结果确定数据全量镜像文件。


3.如权利要求1所述的银行内存数据处理方法，其特征在于，所述银行内存数据根据预设时间间隔参数生成。


4.如权利要求1所述的银行内存数据处理方法，其特征在于，还包括：日志备份节点接收日志加工节点发送的所述数据全量镜像文件和增量操作日志。


5.一种银行内存数据处理装置，其特征在于，包括：
数据获得模块，用于获得银行内存数据和增量操作日志；
备份处理模块，用于对...

【专利技术属性】
技术研发人员：范啸风，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京;11