大数据处理方法、装置、服务器及可读存储介质制造方法及图纸

本发明专利技术实施例提供一种大数据处理方法、装置、服务器及可读存储介质。该方法包括：获取待处理的大数据处理任务；根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，所述任务类型包括串行任务和并行任务；按照所述任务类型的处理顺序，建立大数据处理列表；基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中。由此，能够将不同采集设备的处理任务分类处理，提高了处理效率，充分发挥多核处理器的优点，有效提高服务器的负载能力，从而承担更多的大数据处理任务。

Big data processing method, device, server and readable storage medium

The embodiment of the invention provides a large data processing method, device, server and readable storage medium. The method includes: acquiring a large data processing task to be processed; determining the task type of the large data processing task according to the device type of the large data acquisition device, the task type including serial tasks and parallel tasks; establishing a large data processing list according to the processing order of the task type; and based on the large data acquisition device type. Data processing list, each serial task is processed serially through the main thread, the same parallel task is allocated to each processor core of the server for parallel processing, and the task data after parallel processing is serially applied to the serial tasks in the next processing sequence. Therefore, it can classify the processing tasks of different acquisition devices, improve the processing efficiency, give full play to the advantages of multi-core processors, effectively improve the load capacity of the server, thus assuming more large data processing tasks.

【技术实现步骤摘要】
大数据处理方法、装置、服务器及可读存储介质
本专利技术涉及计算机
，具体而言，涉及一种大数据处理方法、装置、服务器及可读存储介质。
技术介绍
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临，大数据(Bigdata)也吸引了越来越多的关注。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。现有的大数据处理限于负载均衡的处理，无法将不同采集设备的处理任务分类处理，处理效率低。
技术实现思路
为了克服现有技术中的上述不足，本专利技术的目的在于提供一种大数据处理方法、装置、服务器及可读存储介质，能够将不同采集设备的处理任务分类处理，提高了处理效率，充分发挥多核处理器的优点，有效提高服务器的负载能力，从而承担更多的大数据处理任务。为了实现上述目的，本专利技术实施例采用的技术方案如下：本专利技术实施例提供一种大数据处理方法，应用于服务器，所述方法包括：获取待处理的大数据处理任务；根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，所述任务类型包括串行任务和并行任务；按照所述任务类型的处理顺序，建立大数据处理列表；基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中。可选地，所述服务器中预先配置有每个任务的处理策略，所述处理策略包括并行处理策略和串行处理策略，其中，所述并行处理策略表征该任务只与上个处理顺序的任务相关，所述串行处理策略表征该任务与其它采集设备的任务相关，所述根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型的步骤，包括：获取每个大数据处理任务的处理策略；根据所述处理策略确定每个大数据处理任务的任务类型。可选地，所述将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，包括：获取各个处理器核心的空闲率；根据每个处理器核心的空闲率，确定分配给每个处理器核心的同一并行任务的任务数量；将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心进行并行处理。可选地，所述根据每个处理器核心的占用率，确定分配给每个处理器核心的同一并行任务的任务数量，包括：计算每个处理器核心的空闲参数，其中，所述空闲参数为每个处理器核心的空闲率和所有处理器核心的总空闲率的比值；根据每个处理器核心的空闲参数和同一并行任务的任务总数量，确定分配给每个处理器核心的同一并行任务的任务数量。可选地，所述服务器中还配置有每个并行任务的任务级别与处理器核心的频率之间的对应关系，所述将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心进行并行处理，包括：将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心；获取所述并行任务的任务级别；根据所述任务级别对应调整所述处理器核心的频率，并控制每个所述处理器核心基于调整后的频率对分配的所述并行任务进行处理。第二方面，本专利技术实施例还提供一种大数据处理装置，应用于服务器，所述装置包括：获取模块，用于获取待处理的大数据处理任务；确定模块，用于根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，所述任务类型包括串行任务和并行任务；建立模块，用于按照所述任务类型的处理顺序，建立大数据处理列表；任务处理模块，用于基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中。第三方面，本专利技术实施例还提供一种服务器，所述服务器包括：存储介质；处理器；以及大数据处理装置，所述装置存储于所述存储介质中并包括由所述处理器执行的软件功能模块，所述装置包括：获取模块，用于获取待处理的大数据处理任务；确定模块，用于根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，所述任务类型包括串行任务和并行任务；建立模块，用于按照所述任务类型的处理顺序，建立大数据处理列表；任务处理模块，用于基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中。第四方面，本专利技术实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的大数据处理方法。相对于现有技术而言，本专利技术具有以下有益效果：本专利技术实施例提供一种大数据处理方法、装置、服务器及可读存储介质，通过获取待处理的大数据处理任务，根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，并按照所述任务类型的处理顺序，建立大数据处理列表，而后基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中。由此，通过基于采集设备的设备类型将不同采集设备的大数据处理任务分类处理，提高了处理效率，充分发挥多核处理器的优点，有效提高服务器的负载能力，从而承担更多的大数据处理任务。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。图1为本专利技术实施例提供的大数据处理方法的一种流程示意图；图2为图1中所示的步骤S220包括的各个子步骤的一种流程示意图；图3为图1中所示的步骤S230包括的各个子步骤的一种流程示意图；图4为本专利技术实施例提供的大数据处理装置的一种功能模块图；图5为本专利技术实施例提供的服务器的一种结构示意框图。图标：100-服务器；110-总线；120-处理芯片；130-存储介质；140-总线接口；150-网络适配器；160-用户接口；200-大数据处理装置；210-获取模块；220-确定模块；230-建立模块；240-任务处理模块。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。应注意到：本文档来自技高网...

【技术保护点】
1.一种大数据处理方法，应用于服务器，其特征在于，所述方法包括：获取待处理的大数据处理任务；根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，所述任务类型包括串行任务和并行任务；按照所述任务类型的处理顺序，建立大数据处理列表；基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中。

【技术特征摘要】
1.一种大数据处理方法，应用于服务器，其特征在于，所述方法包括：获取待处理的大数据处理任务；根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，所述任务类型包括串行任务和并行任务；按照所述任务类型的处理顺序，建立大数据处理列表；基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中。2.根据权利要求1所述的大数据处理方法，其特征在于，所述服务器中预先配置有每个任务的处理策略，所述处理策略包括并行处理策略和串行处理策略，其中，所述并行处理策略表征该任务只与上个处理顺序的任务相关，所述串行处理策略表征该任务与其它采集设备的任务相关，所述根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型的步骤，包括：获取每个大数据处理任务的处理策略；根据所述处理策略确定每个大数据处理任务的任务类型。3.根据权利要求1所述的大数据处理方法，其特征在于，所述将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，包括：获取各个处理器核心的空闲率；根据每个处理器核心的空闲率，确定分配给每个处理器核心的同一并行任务的任务数量；将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心进行并行处理。4.根据权利要求3所述的大数据处理方法，其特征在于，所述根据每个处理器核心的占用率，确定分配给每个处理器核心的同一并行任务的任务数量，包括：计算每个处理器核心的空闲参数，其中，所述空闲参数为每个处理器核心的空闲率和所有处理器核心的总空闲率的比值；根据每个处理器核心的空闲参数和同一并行任务的任务总数量，确定分配给每个处理器核心的同一并行任务的任务数量。5.根据权利要求3所述的大数据处理方法，其特征在于，所述服务器中还配置有每个并行任务的任务级别与处理器核心的频率之间的对应关系，所述将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心进行并行处理，包括：将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心；获取所述并行任务的任务级别；根据所述任务级别对应调整所述处理器核心的频率，并控制每个所述处理器核心基于调整后的频率对分配的所述并行任务进行处理。6.一种...

【专利技术属性】
技术研发人员：姜光植，严雪枫，谢川，黄瀚林，
申请(专利权)人：成都致云科技有限公司，
类型：发明
国别省市：四川,51