数据解析分发装置及高并发数据处理方法制造方法及图纸

本说明书实施例公开了一种数据解析分发装置及高并发数据处理方法，所述装置包括一个或者多个父线程、缓存队列管理器、缓存队列以及各缓存队列对应的子线程，所述缓存队列的数目与所述数据解析分发装置对应的下游系统应用数目相同，且各缓存队列与所述下游系统应用一一对应。所述父线程用于并列从上游服务器捞取待处理交易数据，并放入所述缓存队列中。所述子线程用于从对应的缓存队列中捞取待处理交易数据，并逻辑加工处理成相应下游系统应用接口格式的数据，以及将逻辑加工处理后的数据发送给相应的下游系统应用。利用本说明书各个实施例，可以稳定高效的实现异构系统间的高并发数据传输。

Data Analysis Distribution Device and High Concurrent Data Processing Method

The embodiment of this specification discloses a data parsing and distributing device and a high concurrent data processing method. The device includes one or more parent threads, a buffer queue manager, a buffer queue and sub-threads corresponding to each buffer queue. The number of buffer queues is the same as the number of downstream system applications corresponding to the data parsing and distributing device, and each buffer queue is said to be the same. Downstream system applications are one-to-one correspondence. The parent thread is used to retrieve the transaction data to be processed from the upstream server in parallel and put into the cache queue. The sub-threads are used to retrieve the transaction data to be processed from the corresponding buffer queue, process the data in the corresponding downstream system application interface format by logical processing, and send the data processed by logical processing to the corresponding downstream system application. Using the various embodiments of this specification, high concurrent data transmission between heterogeneous systems can be achieved stably and efficiently.

【技术实现步骤摘要】
数据解析分发装置及高并发数据处理方法
本说明书实施例涉及计算机数据处理
，特别地，涉及一种数据解析分发装置及高并发数据处理方法。
技术介绍
随着银行IT系统功能的不断扩展，各种异构系统不断涌现，各系统之间的交互也越来越多，交易数据量翻倍增长，对交易数据处理实时性的要求也越来越高。提升硬件性能能够缓解这个需求，但是考虑到各项成本，不可能无限度的提高硬件配置。目前，基于MQ中间件的消息解析处理应用基本都是集中式的部署在小型机上，很难同时具备可分布式部署，易扩展、高性能、可动态配置，不能够有效的支持传统应用系统与大数据系统等异构系统间的高效通信。随着业务和数据的急剧增长，特别是大数据技术的兴起，急切需要一种新高并发处理机制，以稳定高效的实现高并发消息的解析处理。
技术实现思路
本说明书实施例的目的是提供一种数据解析分发装置及高并发数据处理方法，可以稳定高效的实现异构系统间的高并发数据传输。本说明书提供一种数据解析分发装置及高并发数据处理方法是包括如下方式实现的：一种数据解析分发装置，所述装置包括一个或者多个父线程、缓存队列管理器、缓存队列以及各缓存队列对应的子线程，其中，所述父线程用于并列从上游服务器捞取待处理交易数据；所述缓存队列管理器与所述父线程一一对应，用于设置各缓存队列对应的子线程数目，以及将父线程捞取的待处理交易数据放入所述缓存队列中；所述缓存队列的数目与所述数据解析分发装置对应的下游系统应用数目相同，且各缓存队列与所述下游系统应用一一对应；所述子线程用于从对应的缓存队列中捞取待处理交易数据，并逻辑加工处理成相应下游系统应用接口格式的数据，以及将逻辑加工处理后的数据发送给相应的下游系统应用。本说明书提供的所述装置的另一个实施例中，所述父线程以及子线程的数目根据数据解析分发处理装置布设的服务器的硬件配置及资源使用情况进行动态调整。本说明书提供的所述装置的另一个实施例中，所述缓存队列及子线程中的数据根据预设资源动态释放机制进行清空处理，所述预设资源动态释放机制包括根据服务器内存使用情况及数据发送次数进行数据清空处理。本说明书提供的所述装置的另一个实施例中，所述缓存队列管理器用于将父线程捞取的待处理交易数据根据预设策略放入所述缓存队列中，所述预设策略包括根据上游服务器参数及缓存队列存储空间动态调整放入缓存队列中的数据量。另一方面，本说明书还提供一种基于上述任意一个实施例所述的数据解析分发装置的高并发数据处理方法，包括：利用所述父线程并列从上游服务器捞取待处理交易数据，并通过所述缓存队列管理器将所述待处理交易数据放入缓存队列；所述缓存队列的子线程从所述缓存队列中读取待处理交易数据，并将待处理交易数据进行逻辑加工处理，获得所述缓存队列对应的下游系统应用接口格式的数据；所述缓存队列的子线程将逻辑加工处理后的数据根据数据的接口格式发送给对应的下游系统应用。本说明书提供的所述方法的另一个实施例中，所述方法还包括：根据预设资源动态释放机制对所述缓存队列或子线程的缓存对象中的数据进行清空处理，所述预设资源动态释放机制包括根据服务器内存使用情况及数据发送次数进行数据清空处理。本说明书提供的所述方法的另一个实施例中，所述方法还包括：根据服务器的硬件配置以及资源使用情况动态调整所述父线程或者子线程的个数。本说明书提供的所述方法的另一个实施例中，所述将所述待处理交易数据放入缓存队列，包括：所述缓存队列管理器将所述待处理交易数据根据预设策略放入所述缓存队列中，所述预设策略包括根据上游服务器参数及缓存队列存储空间动态调整放入缓存队列中的数据量。另一方面，本说明书还提供一种高并发数据处理装置，所述装置包括：数据捞取模块，用于利用父线程并列从上游服务器捞取待处理交易数据，并通过父线程对应的缓存队列管理器将所述待处理交易数据放入缓存队列，所述缓存队列与下游系统应用一一对应；数据解析模块，用于所述缓存队列的子线程从所述缓存队列中读取待处理交易数据，并将待处理交易数据进行逻辑加工处理，获得所述缓存队列对应的下游系统应用接口格式的数据；数据发送模块，用于所述缓存队列的子线程将逻辑加工处理后的数据根据数据的接口格式发送给对应的下游系统应用。本说明书提供的所述高并发数据处理装置的另一个实施例中，所述装置还包括：数据清空模块，用于根据预设资源动态释放机制对所述缓存队列或子线程的缓存对象中的数据进行清空处理，所述预设资源动态释放机制包括根据服务器内存使用情况及数据发送次数进行数据清空处理。本说明书提供的所述高并发数据处理装置的另一个实施例中，所述装置还包括：参数动态调整模块，用于根据服务器的硬件配置以及资源使用情况动态调整所述父线程或者子线程的个数。另一方面，本说明书还提供一种服务器，所述服务器包括布设在所述服务器上的一个或者多个如上述任意一个实施例所述的数据解析分发装置，其中，所述数据解析分发装置的父线程从上游服务器捞取待处理交易数据，并通过所述父线程对应的缓存队列管理器将所述待处理交易数据放入缓存队列；所述缓存队列的子线程从所述缓存队列中读取待处理交易数据，并将待处理交易数据加工处理，获得所述缓存队列对应的下游系统接口格式的数据；所述缓存队列的子线程将逻辑加工处理后的数据根据数据的接口格式发送给对应的下游系统应用。另一方面，本说明书还提供一种高并发数据处理系统，所述系统包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现上述任意一个实施例所述方法的步骤。本说明书一个或多个实施例提供的数据解析分发装置及高并发数据处理方法，可以通过父线程并发从上游服务器捞取数据，然后将捞取的数据放入缓存队列中。缓存队列与下游系统应用一一对应，且同一个缓存队列对应的子线程组中的业务逻辑相同，不同缓存队列对应的子线程组间相互独立解耦。子线程可以生成相应下游系统应用接口格式的数据，以根据接口格式将处理后的数据发送给相应的下游系统应用。从而稳定高效的实现异构系统间的高并发数据传输。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：图1为本说明书提供的一种数据解析分发装置实施例的结构示意图；图2为本说明书提供的一种高并发数据处理方法实施例的流程示意图；图3为本说明书提供的一种高并发数据处理装置实施例的模块结构示意图；图4为本说明书提供的一种高并发数据处理系统实施例的结构示意图。具体实施方式为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是说明书一部分实施例，而不是全部的实施例。基于说明书一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书实施例方案保护的范围。随着银行IT系统功能的不断扩展，各种异构系统不断涌现，各系统之间的交互也越来越多，交易数据量翻倍增长，对交易数据处理实时性的要求也越来越高。提升硬件性能能够缓解这本文档来自技高网...

【技术保护点】
1.一种数据解析分发装置，其特征在于，所述装置包括一个或者多个父线程、缓存队列管理器、缓存队列以及各缓存队列对应的子线程，其中，所述父线程用于并列从上游服务器捞取待处理交易数据；所述缓存队列管理器与所述父线程一一对应，用于设置各缓存队列对应的子线程数目，以及将父线程捞取的待处理交易数据放入所述缓存队列中；所述缓存队列的数目与所述数据解析分发装置对应的下游系统应用数目相同，且各缓存队列与所述下游系统应用一一对应；所述子线程用于从对应的缓存队列中捞取待处理交易数据，并逻辑加工处理成相应下游系统应用接口格式的数据，以及将逻辑加工处理后的数据发送给相应的下游系统应用。

【技术特征摘要】
1.一种数据解析分发装置，其特征在于，所述装置包括一个或者多个父线程、缓存队列管理器、缓存队列以及各缓存队列对应的子线程，其中，所述父线程用于并列从上游服务器捞取待处理交易数据；所述缓存队列管理器与所述父线程一一对应，用于设置各缓存队列对应的子线程数目，以及将父线程捞取的待处理交易数据放入所述缓存队列中；所述缓存队列的数目与所述数据解析分发装置对应的下游系统应用数目相同，且各缓存队列与所述下游系统应用一一对应；所述子线程用于从对应的缓存队列中捞取待处理交易数据，并逻辑加工处理成相应下游系统应用接口格式的数据，以及将逻辑加工处理后的数据发送给相应的下游系统应用。2.根据权利要求1所述的数据解析分发装置，其特征在于，所述父线程以及子线程的数目根据数据解析分发处理装置布设的服务器的硬件配置及资源使用情况进行动态调整。3.根据权利要求1所述的数据解析分发装置，其特征在于，所述缓存队列及子线程中的数据根据预设资源动态释放机制进行清空处理，所述预设资源动态释放机制包括根据服务器内存使用情况及数据发送次数进行数据清空处理。4.根据权利要求1所述的数据解析分发装置，其特征在于，所述缓存队列管理器用于将父线程捞取的待处理交易数据根据预设策略放入所述缓存队列中，所述预设策略包括根据上游服务器参数及缓存队列存储空间动态调整放入缓存队列中的数据量。5.一种基于权利要求1-4任一项所述的数据解析分发装置的高并发数据处理方法，其特征在于，包括：利用所述父线程并列从上游服务器捞取待处理交易数据，并通过所述缓存队列管理器将所述待处理交易数据放入缓存队列；所述缓存队列的子线程从所述缓存队列中读取待处理交易数据，并将待处理交易数据进行逻辑加工处理，获得所述缓存队列对应的下游系统应用接口格式的数据；所述缓存队列的子线程将逻辑加工处理后的数据根据数据的接口格式发送给对应的下游系统应用。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：根据预设资源动态释放机制对所述缓存队列或子线程的缓存对象中的数据进行清空处理，所述预设资源动态释放机制包括根据服务器内存使用情况及数据发送次数进行数据清空处理。7.根据权利要求5所述的方法，其特征在于，所述方法还包括：根...

【专利技术属性】
技术研发人员：梁磊，陈琦，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京,11