高并发数据处理方法、装置及计算机可读存储介质制造方法及图纸

本申请提供了一种高并发数据处理方法、装置及计算机可读存储介质，该方法包括将从外部接口获取的源数据缓存在第一类数据库中；对源数据进行处理，得到实现业务功能使用的过程数据，且将过程数据缓存在第二类数据库中；对过程数据进行处理，得到实现业务功能直接使用的结果数据，且通过将结果数据缓存在内存数据库或者应用服务器内存中，将源数据缓存在第一类数据库中，将过程数据缓存在第二类数据库中，将结果数据缓存在内存数据库或者应用服务器内存中，得以形成三级缓存机制，进而保证在高变化场景依旧能高速处理信息，以解决现有技术中内存数据库或应用服务器内存可支持数据量非常小的问题。非常小的问题。非常小的问题。

【技术实现步骤摘要】
高并发数据处理方法、装置及计算机可读存储介质


[0001]本申请涉及数据处理
，具体而言，涉及一种高并发数据处理方法、装置及计算机可读存储介质

技术介绍

[0002]WEB应用开发中，通常仅涉及数据库缓存进行数据库访问加速、Redis等内存数据库或应用服务器内存进行轻量计算和会话保持。
[0003]内存数据库及应用服务器内存，普遍存在可支持数据量非常小、可支持数据加工及操作非常轻量以及缓存定位笼统导致数据出库后所有的操作均在内存数据库或应用服务器内存中处理，带来系统稳定性、时效性方面的隐患。
[0004]在如今信息系统数据量日益庞大、数据应用场景日益复杂的背景下，面临对接口中复杂计算支持有限的问题。当接口中需要进行排序、去重、数据关联等计算时，现有技术面对巨大挑战，比如，内存数据库面临应对大量数据进行排序的可操作性及性能问题、多中心间内存数据库同步及故障切换问题。

技术实现思路

[0005]本申请的主要目的在于提供一种高并发数据处理方法、装置及计算机可读存储介质，以解决现有技术中内存数据库或应用服务器内存可支持数据量非常小的问题。
[0006]为了实现上述目的，根据本申请的一个方面，提供了一种高并发数据处理方法，该方法包括：将从外部接口获取的源数据缓存在第一类数据库中；对所述源数据进行处理，得到实现业务功能使用的过程数据，且将所述过程数据缓存在第二类数据库中；对所述过程数据进行处理，得到实现所述业务功能直接使用的结果数据，且将所述结果数据缓存在内存数据库或者应用服务器内存中。
[0007]进一步地，对所述过程数据进行处理包括以下至少之一：对多种所述过程数据进行集成处理，所述集成处理是指将源自于不同的原数据库的所述过程数据进行汇集加工；对多种所述过程数据进行关联计算，所述关联计算是指将源自于不同的所述原数据库的所述过程数据，根据数据关系进行关联；对多种所述过程数据进行去重，所述去重是指由于数据迁移使得所述过程数据发生变化，通过去重，获取最新状态数据的过程。
[0008]进一步地，对所述过程数据进行处理，包括以下至少之一：按照实现所述业务功能的时间先后顺序对多种所述过程数据进行排序；对多种所述过程数据进行分页查询，所述分页查询是指采用分页查询规则进行查询，所述分页查询规则包括以下之一：oracle分页规则、mysql分页规则、sqlserver分页规则。
[0009]进一步地，对多种所述过程数据进行分页查询包括：获取应用服务请求中的分页规则和访问页码，所述分页规则是指应用请求的分页的每页条数；根据所述分页规则和所述访问页码，提取出目标页的所述过程数据。
[0010]进一步地，根据所述分页规则和所述访问页码，提取出目标页的所述过程数据之
后，所述方法还包括：根据所述应用请求中的所述访问页码、所述每页条数和查询条件，在所述第二类数据库中对所述过程数据进行预定处理，得到所述结果数据，所述预定处理包括至少以下之一：集成处理、关联计算、去重、排序。
[0011]进一步地，在将所述结果数据缓存在内存数据库或者应用服务器内存中之后，所述方法还包括：从所述内存数据库或者应用服务器内存中提取出所述结果数据；基于所述结果数据实现所述业务功能。
[0012]进一步地，所述业务功能包括至少以下之一：数据更新、数据迁移、数据镜像。
[0013]根据本申请的另一方面，还提供了一种高并发数据处理装置，该装置包括：获取单元、第一处理单元和第二处理单元，获取单元用于将从外部接口获取的源数据缓存在第一类数据库中；第一处理单元用于对所述源数据进行处理，得到实现业务功能使用的过程数据，且将所述过程数据缓存在第二类数据库中；第二处理单元用于对所述过程数据进行处理，得到实现所述业务功能直接使用的结果数据，且将所述结果数据缓存在内存数据库或者应用服务器内存中。
[0014]根据本申请的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述方法中任意一项所述的方法。
[0015]应用本申请的技术方案，将从外部接口获取的源数据缓存在第一类数据库中；对所述源数据进行处理，得到实现业务功能使用的过程数据，且将所述过程数据缓存在第二类数据库中；对所述过程数据进行处理，得到实现所述业务功能直接使用的结果数据，且将所述结果数据缓存在内存数据库或者应用服务器内存中，以解决现有技术中内存数据库或应用服务器内存可支持数据量非常小的问题。
附图说明
[0016]构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0017]图1示出了本申请实施例的高并发数据处理方法的流程图；
[0018]图2示出了本申请实施例的高并发数据处理装置的示意图；
[0019]图3示出了根据现有技术数据处理的逻辑图；
[0020]图4示出了本申请实施例的高并发数据处理的逻辑图。
具体实施方式
[0021]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0022]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0023]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0024]应该理解的是，当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时，该元件可直接在该另一元件上，或者也可存在中间元件。而且，在说明书以及权利要求书中，当描述有元件“连接”至另一元件时，该元件可“直接连接”至该另一元件，或者通过第三元件“连接”至该另一元件。
[0025]为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：
[0026]oracle：指数据库的组成，工作过程与原理，以及数据在数据库中的组织与管理机制，优点是oracle能在所有主流平台上运行，完全支持所有工业标准用ODBC、JDBC、OCI等网络客户连接，获得最高认证级别的ISO标准认证，性能最高，使用风险低；缺点是对硬件要求很高、价格比较昂贵、管理维护麻烦、操作比较复杂、需要技术含量较高。...

【技术保护点】

【技术特征摘要】
1.一种高并发数据处理方法，其特征在于，包括：将从外部接口获取的源数据缓存在第一类数据库中；对所述源数据进行处理，得到实现业务功能使用的过程数据，且将所述过程数据缓存在第二类数据库中；对所述过程数据进行处理，得到实现所述业务功能直接使用的结果数据，且将所述结果数据缓存在内存数据库或者应用服务器内存中。2.根据权利要求1所述的方法，其特征在于，对所述过程数据进行处理，包括以下至少之一：对多种所述过程数据进行集成处理，所述集成处理是指将源自于不同的原数据库的所述过程数据进行汇集加工；对多种所述过程数据进行关联计算，所述关联计算是指将源自于不同的所述原数据库的所述过程数据，根据数据关系进行关联；对多种所述过程数据进行去重，所述去重是指由于数据迁移使得源数据在多个源头存在，且迁移后的数据发生状态变化，在查询聚合多个源头数据的场景下，通过业务主键或技术主键等规则进行去重，获取源数据的最新状态数据的过程。3.根据权利要求2所述的方法，其特征在于，对所述过程数据进行处理，包括以下至少之一：按照实现所述业务功能的时间先后顺序对多种所述过程数据进行排序；对多种所述过程数据进行分页查询，所述分页查询是指采用分页查询规则进行查询，所述分页查询规则包括以下之一：oracle分页规则、mysql分页规则、sqlserver分页规则。4.根据权利要求3所述的方法，其特征在于，对多种所述过程数据进行分页查询，包括：获取应用服务请求中的分页规则和访问页码，所述分页规则是指应用请求的分页的每页条数；根据所述分页规则和所述访问页码，提...

【专利技术属性】
技术研发人员：牛新庄，耿献朋，万文博，朱建设，
申请(专利权)人：中国邮政储蓄银行股份有限公司，
类型：发明
国别省市：