数据处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及数据处理，提供了一种数据处理方法、装置、电子设备及存储介质。该方法将预设的进程池划分为输入输出操作的第一进程池及计算操作的第二进程池，分别创建对应的第一工作队列及第二工作队列，当接收到数据处理请求时，判断待处理数据是否完整，若是，将待处理数据封装为计算任务存储至第二工作队列，判断第二进程池中是否存在空闲进程，若存在，利用该空闲进程从第二工作队列中读取计算任务后执行计算处理得到计算结果，之后，将计算结果存储至第一工作队列，判断第一进程池中是否存在空闲进程，若存在，利用该空闲进程从第一工作队列中读取计算结果。利用本发明专利技术可以提供充分的并行处理能力，减少系统资源的消耗。减少系统资源的消耗。减少系统资源的消耗。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本专利技术涉及数据处理，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]目前的计算服务中间件系统，其数据的输入输出与计算处于同一个进程或者线程当中，输入输出操作、计算操作以及待计算数据的获取都在同一个进程或者线程中处理。
[0003]由于输入输出与计算所使用的资源是共享，当输入输出端的性能不对称时，将导致输入输出处理消耗大量的计算资源，降低了系统的处理能力，且由于输入输出与计算的共享，当有大量的输入输出在单位时间内需要处理时，输入输出使用的资源占比将远大于计算所使用的资源，在大并发时，会导致系统分配更多的资源来协调进程或者线程的切换。

技术实现思路

[0004]鉴于以上内容，本专利技术提供一种数据处理方法、装置、电子设备及存储介质，其目的在于解决现有技术中输入输出操作和计算操作在同一个进程中处理，导致系统资源消耗大的技术问题。
[0005]为实现上述目的，本专利技术提供一种数据处理方法，该方法包括：
[0006]创建步骤：将预设的进程池划分为输入输出操作的第一进程池及计算操作的第二进程池，分别创建所述第一进程池对应的第一工作队列，及所述第二进程池对应的第二工作队列；
[0007]接收步骤：接收客户端发出的数据处理的请求，获取所述请求中的待处理数据，基于预先配置的数据协议判断所述待处理数据是否完整，当所述待处理数据完整时，将所述待处理数据封装为计算任务，并将所述计算任务存储至所述第二工作队列；
[0008]处理步骤：判断所述第二进程池中是否存在空闲进程，当判断所述第二进程池中存在空闲进程时，利用该空闲进程从所述第二工作队列中读取所述计算任务，基于预设的处理规则对所述计算任务执行计算处理得到计算结果，并将所述计算结果存储至所述第一工作队列；及
[0009]反馈步骤：判断所述第一进程池中是否存在空闲进程，当判断所述第一进程池中存在空闲进程时，利用该空闲进程从所述第一工作队列中读取所述计算结果，并将所述计算结果反馈至所述客户端。
[0010]优选的，所述接收步骤还包括：
[0011]当判断所述待处理数据不完整时，判断所述第一进程池中是否存在空闲进程，当判断所述第一进程池中不存在空闲进程时，将所述待处理数据存储至所述第一工作队列，当判断所述第一进程池中存在空闲进程时，利用该空闲进程接收所述待处理数据对应的不完整数据。
[0012]优选的，在所述反馈步骤之后，所述方法还包括：
[0013]判断所述第一工作队列是否存储有待处理数据或待反馈的计算结果，当判断所述
第一工作队列均未存储有待处理数据及待反馈的计算结果时，将所述第一进程池中的空闲进程设为预设状态。
[0014]优选的，在所述处理步骤之后，所述方法还包括：
[0015]判断所述第二工作队列是否存储有待处理的计算任务，当判断所述第二工作队列未存储有待处理的计算任务时，将所述第二进程池中的空闲进程设为预设状态；
[0016]当判断所述第二工作队列存储有待处理的计算任务时，基于所述第二进程池中的空闲进程从所述第二工作队列中读取所述待处理的计算任务，并对该计算任务执行计算处理。
[0017]优选的，所述反馈步骤还包括：
[0018]当判断所述第一进程池中不存在空闲进程时，将所述计算结果封装成传输任务，将所述传输任务存储至所述第一工作队列，直至所述第一进程池中存在空闲进程时对所述传输任务执行传输操作。
[0019]优选的，所述基于预设的处理规则对所述计算任务执行计算处理得到计算结果包括：
[0020]获取所述计算任务的标识，基于所述标识从预先配置的映射关系表中查找所述计算任务对应的计算处理规则，基于所述计算处理规则对所述计算任务执行计算处理得到计算结果。
[0021]为实现上述目的，本专利技术还提供一种数据处理装置，其特征在于，所述装置包括：
[0022]创建模块：将预设的进程池划分为输入输出操作的第一进程池及计算操作的第二进程池，分别创建所述第一进程池对应的第一工作队列，及所述第二进程池对应的第二工作队列；
[0023]接收模块：接收客户端发出的数据处理的请求，获取所述请求中的待处理数据，基于预先配置的数据协议判断所述待处理数据是否完整，当所述待处理数据完整时，将所述待处理数据封装为计算任务，并将所述计算任务存储至所述第二工作队列；
[0024]处理模块：判断所述第二进程池中是否存在空闲进程，当判断所述第二进程池中存在空闲进程时，利用该空闲进程从所述第二工作队列中读取所述计算任务，基于预设的处理规则对所述计算任务执行计算处理得到计算结果，并将所述计算结果存储至所述第一工作队列；及
[0025]反馈模块：判断所述第一进程池中是否存在空闲进程，当判断所述第一进程池中存在空闲进程时，利用该空闲进程从所述第一工作队列中读取所述计算结果，并将所述计算结果反馈至所述客户端。
[0026]优选的，所述接收模块还包括：
[0027]当判断所述待处理数据不完整时，判断所述第一进程池中是否存在空闲进程，当判断所述第一进程池中不存在空闲进程时，将所述待处理数据存储至所述第一工作队列，当判断所述第一进程池中存在空闲进程时，利用该空闲进程接收所述待处理数据对应的不完整数据。
[0028]为实现上述目的，本专利技术还提供一种电子设备，其特征在于，所述电子设备包括：
[0029]至少一个处理器；以及，
[0030]与所述至少一个处理器通信连接的存储器；其中，
[0031]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如如上所述数据处理方法中的任意步骤。
[0032]为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中包括数据处理程序，所述数据处理程序被处理器执行时，实现如上所述数据处理方法中的任意步骤。
[0033]本专利技术提出的数据处理方法、装置、电子设备及存储介质，将输入输出操作与计算操作分别存储至预先划分的进程池，进行异步化的处理，提供充分的并行处理能力，充分利用现代处理器的多核并行处理能力，消除进程池获取处理任务以及存储任务时由于并发需要引入的锁，减少由于锁的争抢引起的系统资源的消耗。
附图说明
[0034]图1为本专利技术实现数据处理方法的电子设备较佳实施例的示意图；
[0035]图2为本专利技术数据处理装置较佳实施例的模块示意图；
[0036]图3为本专利技术数据处理方法较佳实施例的流程图；
[0037]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0038]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，应用于电子设备，其特征在于，所述方法包括：创建步骤：将预设的进程池划分为输入输出操作的第一进程池及计算操作的第二进程池，分别创建所述第一进程池对应的第一工作队列，及所述第二进程池对应的第二工作队列；接收步骤：接收客户端发出的数据处理的请求，获取所述请求中的待处理数据，基于预先配置的数据协议判断所述待处理数据是否完整，当所述待处理数据完整时，将所述待处理数据封装为计算任务，并将所述计算任务存储至所述第二工作队列；处理步骤：判断所述第二进程池中是否存在空闲进程，当判断所述第二进程池中存在空闲进程时，利用该空闲进程从所述第二工作队列中读取所述计算任务，基于预设的处理规则对所述计算任务执行计算处理得到计算结果，并将所述计算结果存储至所述第一工作队列；及反馈步骤：判断所述第一进程池中是否存在空闲进程，当判断所述第一进程池中存在空闲进程时，利用该空闲进程从所述第一工作队列中读取所述计算结果，并将所述计算结果反馈至所述客户端。2.如权利要求1所述的数据处理方法，其特征在于，所述接收步骤还包括：当判断所述待处理数据不完整时，判断所述第一进程池中是否存在空闲进程，当判断所述第一进程池中不存在空闲进程时，将所述待处理数据存储至所述第一工作队列，当判断所述第一进程池中存在空闲进程时，利用该空闲进程接收所述待处理数据对应的不完整数据。3.如权利要求2所述的数据处理方法，其特征在于，在所述反馈步骤之后，所述方法还包括：判断所述第一工作队列是否存储有待处理数据或待反馈的计算结果，当判断所述第一工作队列均未存储有待处理数据及待反馈的计算结果时，将所述第一进程池中的空闲进程设为预设状态。4.如权利要求1所述的数据处理方法，其特征在于，在所述处理步骤之后，所述方法还包括：判断所述第二工作队列是否存储有待处理的计算任务，当判断所述第二工作队列未存储有待处理的计算任务时，将所述第二进程池中的空闲进程设为预设状态；当判断所述第二工作队列存储有待处理的计算任务时，基于所述第二进程池中的空闲进程从所述第二工作队列中读取所述待处理的计算任务，并对该计算任务执行计算处理。5.如权利要求1所述的数据处理方法，其特征在于，所述反馈步骤还包括：当判断所述第一进程池中不存在空闲进程时，将所述计算结果封装成传输任务，将所述传输任务存储至所述第一工作队...

【专利技术属性】
技术研发人员：张俊克，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：