一种数据处理方法、装置及存储介质制造方法及图纸

本发明专利技术公开一种数据处理方法、装置及存储介质，涉及数据处理技术领域，能够高效且有序地处理并发多任务对应的数据，从而提高数据的传输效率。具体方案包括：接收多个第一任务，每个第一任务包括第一任务标识和第一数据组；创建各个第一任务对应的第一队列和第一线程，各个第一队列用于有序存储对应的第一任务包括的第一数据组，各个第一线程用于处理对应的第一任务包括的第一数据组，第一队列的队列标识、第一线程的线程标识分别与第一任务标识相对应；将各个所述第一任务的第一数据组有序的存储在对应的第一队列中；采用各个所述第一线程处理对应的第一队列中的第一数据组。程处理对应的第一队列中的第一数据组。程处理对应的第一队列中的第一数据组。

【技术实现步骤摘要】
一种数据处理方法、装置及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理方法、装置及存储介质。

技术介绍

[0002]线程池是一种多线程处理形式，处理过程中将任务添加到队列，然后在创建线程后自动启动这些任务。在具体应用过程中，在并发处理多任务对应的数据分多次进行传输，且每个任务对应的数据有先后处理顺序时，线程池只能根据先后处理顺序对相应的数据进行处理。但是，这样导致数据处理速度较慢、以及数据发生混乱。

技术实现思路

[0003]本专利技术提供一种数据处理方法、装置及存储介质，能够高效且有序地处理并发多任务对应的数据，从而提高数据的传输效率。
[0004]为达到上述目的，本专利技术采用如下技术方案：
[0005]第一方面，本专利技术提供一种数据处理方法，该方法包括：
[0006]接收多个第一任务，每个第一任务包括第一任务标识和第一数据组；
[0007]响应于第一创建指令，创建各个第一任务对应的第一队列和第一线程，各个第一队列用于有序存储对应的第一任务包括的第一数据组，各个第一线程用于处理对应的第一任务包括的第一数据组，第一队列的队列标识、第一线程的线程标识分别与第一任务标识相对应；
[0008]将各个第一任务的第一数据组有序的存储在对应的第一队列中；
[0009]采用各个第一线程处理对应的第一队列中的第一数据组。
[0010]与现有技术相比，本专利技术提供的数据处理方法通过将接收到的每个第一任务中的第一数据组分别有序的存储在对应的第一队列中，保证了一个第一队列中只存储一个第一任务的数据，且每个第一队列中的第一数据组都是有序排列的。再采用与各个第一队列对应的第一线程处理其内存储的第一数据组，使得多个第一线程可以异步有序的处理对应的第一队列中第一数据组，保证能够高效且有序地处理并发多任务对应的数据，从而提高数据的传输效率。
[0011]在一种可能的实现方式中，上述第一数据组包括多个数据段。上述接收多个第一任务包括：
[0012]通过预先创建的第二队列有序的分次接收每个第一任务包括的第一数据组中的数据段，并有序存储每个第一数据组包括的多个数据段。
[0013]在一种可能的实现方式中，上述将各个第一任务的第一数据组有序存储在对应的第一队列中，包括：
[0014]通过预设的第二线程，将第二队列中的各个第一数据组的多个数据段分别有序的传输至对应的第一队列中，各个第一队列有序存储对应的第一数据组的多个数据段。
[0015]在一种可能的实现方式中，在上述创建各个任务对应的第一队列和第一线程之
后，上述数据处理方法还包括：
[0016]通过上述第二线程，将各个第一任务标识存储在预设的集合中，集合中的各个第一任务标识是唯一的。
[0017]在一种可能的实现方式中，在上述采用各个第一线程处理对应的第一队列中的第一数据组之后，上述数据处理方法还包括：
[0018]接收多个第二任务，每个第二任务包括第二任务标识和第二数据组；
[0019]确定集合中是否存在与第二任务标识相同的第一任务标识；
[0020]若存在，则将第二任务的第二数据组有序的存储在第一任务标识对应的第一队列中，并采用第一任务标识对应的第一线程处理第二任务包括的第二数据组；
[0021]若不存在，则响应于第二创建指令，创建各个第二任务对应的第三队列和第三线程，各个第三队列用于有序存储对应的第二任务包括的第二数据组，各个第三线程用于处理对应的第二任务包括的第二数据组，第三队列的队列标识、第三线程的线程标识分别与第二任务标识相对应；将各个第二任务的第二数据组有序存储在对应的第三队列中，并采用各个第三线程处理对应的第三队列中的第二数据组。
[0022]第二方面，本专利技术提供一种数据处理装置，该数据处理装置包括：
[0023]获取单元，用于接收多个第一任务，每个第一任务包括第一任务标识和第一数据组；
[0024]创建单元，用于响应于第一创建指令，创建各个第一任务对应的第一队列和第一线程，各个第一队列用于有序存储对应的第一任务包括的第一数据组，各个第一线程用于处理对应的第一任务包括的第一数据组，第一队列的队列标识、第一线程的线程标识分别与第一任务标识相对应；
[0025]存储单元，用于将各个第一任务的第一数据组有序的存储在对应的第一队列中；
[0026]处理单元，用于采用各个第一线程处理对应的第一队列中的第一数据组。
[0027]在一种可能的实现方式中，第一数据组包括多个数据段。上述获取单元，具体用于：
[0028]通过预先创建的第二队列有序的分次接收每个第一任务包括的第一数据组中的数据段，并有序存储每个第一数据组包括的多个数据段。
[0029]在一种可能的实现方式中，上述存储单元，具体用于：
[0030]通过预设的第二线程，将第二队列中的各个第一数据组的多个数据段分别有序的传输至对应的第一队列中，各个第一队列有序存储对应的第一数组的多个数据段。
[0031]在一种可能的实现方式中，上述存储单元，还用于通过第二线程，将各个第一任务标识存储在预设的集合中，集合中的各个第一任务标识是唯一的。
[0032]在一种可能的实现方式中，上述获取单元，还用于接收多个第二任务，每个第二任务包括第二任务标识和第二数据组；
[0033]上述数据处理装置还包括：
[0034]确定单元，用于确定集合中是否存在与第二任务标识相同的第一任务标识；若存在，则将第二任务的第二数据组有序存储在第一任务标识对应的第一队列中，并采用第一任务标识对应的第一线程处理第二任务包括的第二数据组；若不存在，则响应于第二创建指令，创建各个第二任务对应的第三队列和第三线程，各个第三队列用于有序存储对应的
第二任务包括的第二数据组，各个第三线程用于处理对应的第二任务包括的第二数据组，第三队列的队列标识、第三线程的线程标识分别与第二任务标识相对应；将各个第二任务的第二数据组有序存储在对应的第三队列中，并采用各个第三线程处理对应的第三队列中的第二数据组。
[0035]第三方面，本专利技术提供一种数据处理装置，该数据处理装置包括：处理器和存储器。存储器用于存储计算机程序代码，计算机程序代码包括计算机指令。当处理器执行计算机指令时，数据处理装置执行如第一方面及其任一种可能的实现方式的数据处理方法。
[0036]第四方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机指令，当计算机指令在数据处理装置上运行时，使得数据处理装置执行如第一方面或第一方面的可能的实现方式中任意一项的数据处理方法。
附图说明
[0037]图1为本专利技术实施例提供的数据处理装置的结构示意图之一；
[0038]图2为本专利技术实施例提供的数据处理方法的流程示意图之一；
[0039]图3为本专利技术实施例提供的数据处理方法的流程示意图之二；
[0040]图4为本专利技术实施例提供的数据处理方法的流本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：接收多个第一任务，每个第一任务包括第一任务标识和第一数据组；响应于第一创建指令，创建各个所述第一任务对应的第一队列和第一线程，各个所述第一队列用于有序存储对应的第一任务包括的第一数据组，各个所述第一线程用于处理对应的第一任务包括的第一数据组，所述第一队列的队列标识、所述第一线程的线程标识分别与所述第一任务标识相对应；将各个所述第一任务的第一数据组有序的存储在对应的第一队列中；采用各个所述第一线程处理对应的第一队列中的第一数据组。2.根据权利要求1所述的数据处理方法，其特征在于，所述第一数据组包括多个数据段；所述接收多个第一任务包括：通过预先创建的第二队列有序的分次接收每个第一任务包括的第一数据组中的数据段，并有序存储每个所述第一数据组包括的多个数据段。3.根据权利要求2所述的数据处理方法，其特征在于，所述将各个所述第一任务的第一数据组有序的存储在对应的第一队列中，包括：通过预设的第二线程，将所述第二队列中的各个第一数据组的多个数据段分别有序的传输至对应的第一队列中，各个所述第一队列有序存储对应的第一数据组的多个数据段。4.根据权利要求3所述的数据处理方法，其特征在于，在所述创建各个任务对应的第一队列和第一线程之后，所述数据处理方法还包括：通过所述第二线程，将各个第一任务标识存储在预设的集合中，所述集合中的各个第一任务标识是唯一的。5.根据权利要求4所述的数据处理方法，其特征在于，在所述采用各个所述第一线程处理对应的第一队列中的第一数据组之后，所述数据处理方法还包括：接收多个第二任务，每个第二任务包括第二任务标识和第二数据组；确定所述集合中是否存在与所述第二任务标识相同的第一任务标识；若存在，则将所述第二任务的第二数据组有序的存储在所述第一任务标识对应的第一队列中，并采用所述第一任务标识对应的第一线程处理所述第二任务包括的第二数据组；若不存在，则响应于第二创建指令，创建各个第二任务对应的第三队列和第三线程，各个所述第三队列用于有序存储对应的第二任务包括的第二数据组，各个所述第三线程用于处理对应的第二任务包括的第二数据组，所述第三队列的队列标识、所述第三线程的线程标识分别与所述第二任务标识相对应；将各个所述第二任务的第二数据组有序存储在对应的第三队列中，并采用各个...

【专利技术属性】
技术研发人员：邓毅博，孙威，童小敏，
申请(专利权)人：西安四叶草信息技术有限公司，
类型：发明
国别省市：