一种大数据处理方法、大数据处理系统以及电子设备技术方案

本发明专利技术公开了一种大数据处理方法、大数据处理系统及电子设备，该大数据处理方法包括如下步骤：获取待处理的大数据；根据数据拆分规则对大数据进行拆分；根据数据处理优先级规则将拆分后的数据分发给处理器处理；处理器根据数据处理规则对拆分数据进行处理，其中数据处理规则为：针对某一类数据，处理器将该类数据均匀分割成若干子数据包，并对若干子数据包中的部分子数据包进行同时处理直至其处理负荷达到额定负荷的n％，则下次同时处理的子数据包数量为m/n％，其中m为处理器的处理负荷达到额定负荷的n％时其同时处理的子数据包的数量，如此始终能够将处理器的控制在最大的处理能力上且不会超负荷运转，可以最大限度提高大数据的处理速度。数据的处理速度。数据的处理速度。

【技术实现步骤摘要】
一种大数据处理方法、大数据处理系统以及电子设备


[0001]本专利技术涉及电子通信领域，尤其涉及一种大数据处理方法、大数据处理系统以及电子设备。

技术介绍

[0002]CN108132970A公开了一种大大数据处理方法，其包括如下步骤：S1、接收输入文件，根据输入文件大小进行输入分片，将各个输入分片分配一个映射任务，输入分片存储分片长度以及记录数据的位置的数组；S2、通过预先编写的映射函数在数据存储节点上进行映射得到中间文件；S3、合并中间文件中的重复键值，以降低映射输出文件冗余；并对合并后的键值进行序列化得到映射缓存文件；自动获取各个计算节点的计算负载值，根据计算节点的计算负载值将各个映射缓存文件分配到各个计算节点中；S4、在内存中开辟环形内存缓冲区，环形内存缓冲区用于映射输出文件输出；在环形内存缓冲区中创建配置文件，在配置文件中配置内存缓冲区的内存占用阈值；在环形内存缓冲区中内存占用大于或等于占用阈值时，保护线程暂停将数据写入内存，并在内存中写入溢出文件，溢出文件确定写入磁盘的文件，并将环形内存缓冲区的文件写入磁盘直至所有的映射输出文件输出完毕；S5、将所有的映射输出文件并存储到分布式文件存储系统上。该CN108132970A通过把海量的大数据按照预先设置的规则分割成了若干部分，分给多台处理器并行处理；然后把各台处理器处理后的结果进行汇总操作以得到最终结果，进而提高了数据处理类型以及速度，但是每类数据所需要的处理资源是不同的，即所需要的处理器数量是不同的，如果不做区分，要么使得处理器的处理负荷过大要么过小，无法有效利用处理资源，使得处理速度无法达到最优。

技术实现思路

[0003]本专利技术所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种大数据处理方法、大数据处理系统以及电子设备。
[0004]根据本专利技术，提供了一种大数据处理方法，包括如下步骤：
[0005]获取待处理的大数据；
[0006]根据数据拆分规则对大数据进行拆分；
[0007]根据数据处理优先级规则将拆分后的数据分发给处理器处理；
[0008]处理器根据数据处理规则对拆分数据进行处理，其中数据处理规则为：针对某一类数据，处理器将该类数据均匀分割成若干子数据包，并对若干子数据包中的部分子数据包进行同时处理直至其处理负荷达到额定负荷的n％，则下次同时处理的子数据包数量为m/n％，其中m为处理器的处理负荷达到额定负荷的n％时其同时处理的子数据包的数量。
[0009]进一步地，所述数据拆分规则为：将数据按照视频数据、语音数据和其他数据进行拆分。
[0010]进一步地，所述其他数据为不含有语音数据和视频数据的数据。
[0011]进一步地，所述数据处理优先级规则为：视频数据的处理优先级最低，语音数据的处理优先级次之，其他数据的处理优先级最高。
[0012]进一步地，所述n％为80％
‑
90％。
[0013]本专利技术还提供一种大数据处理系统，包括：
[0014]数据获取单元，用于获取待处理的大数据；
[0015]数据拆分单元，用于根据数据拆分规则对大数据进行拆分；
[0016]数据分配单元，根据数据处理优先级规则将拆分后的数据分发给数据处理单元；
[0017]数据处理单元，调用处理器并根据数据处理规则对拆分数据进行处理，其中数据处理规则为：针对某一类数据，处理器将该类数据均匀分割成若干子数据包，并对若干子数据包中的部分子数据包进行同时处理直至其处理负荷达到额定负荷的n％，则下次同时处理的子数据包数量为m/n％，其中m为处理器的处理负荷达到额定负荷的n％时其同时处理的子数据包的数量。
[0018]进一步地，所述数据拆分单元包括：
[0019]视频数据拆分模块，用于提取大数据中的视频数据；
[0020]语音数据拆分模块，用于提取大数据中的语音数据；
[0021]其他数据拆分模块，用于提取大数据中的其他数据。
[0022]进一步地，所述数据分配单元包括：
[0023]视频数据分配模块，用于分配视频数据；
[0024]语音数据分配模块，用于分配语音数据；
[0025]其他数据分配模块，用于分配其他数据。
[0026]进一步地，还包括设定单元，用于初始化状态时设定n％的数值。
[0027]本专利技术还提供一种电子设备，包括存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行上述的方法。
[0028]本专利技术针对某一类数据，处理器将该类数据均匀分割成若干子数据包，并对若干子数据包中的部分子数据包进行同时处理直至其处理负荷达到额定负荷的n％，则下次同时处理的子数据包数量为m/n％，其中m为处理器的处理负荷达到额定负荷的n％时其同时处理的子数据包的数量，如此始终能够将处理器的控制在最大的处理能力上且不会超负荷运转，可以最大限度提高大数据的处理速度。
附图说明
[0029]结合附图，并通过参考下面的详细描述，将会更容易地对本专利技术有更完整的理解并且更容易地理解其伴随的优点和特征，其中：
[0030]图1是本专利技术大数据处理方法的示意图；
[0031]图2是本专利技术大数据处理系统的示意图；
[0032]图3是本专利技术实施例电子设备的散热装置的结构示意图；
[0033]图4是图3中A的放大结构示意图；
[0034]图5是图3中B的放大结构示意图；
[0035]图6是图5中C的放大结构示意图；
[0036]图7是图5中D的放大结构示意图；
[0037]需要说明的是，附图用于说明本专利技术，而非限制本专利技术。注意，表示结构的附图可能并非按比例绘制。并且，附图中，相同或者类似的元件标有相同或者类似的标号。
具体实施方式
[0038]为了使本专利技术的内容更加清楚和易懂，下面结合具体实施例和附图对本专利技术的内容进行详细描述。
[0039]如图1所示，本实施例的大数据处理方法包括如下步骤：
[0040]S1、获取待处理的大数据。
[0041]S2、根据数据拆分规则对大数据进行拆分。该数据拆分规则为：将数据按照视频数据、语音数据和其他数据进行拆分，其他数据为不含有语音数据和视频数据的数据，例如可以是图片数据、文字数据等，即任一大数据都会被拆分成视频数据组、语音数据组和其他数据组，视频数据组包含了大数据中所有的视频数据，语音数据组包含了大数据中所有的语音数据，其他数据组包含了大数据中除视频数据、语音数据之外的所有数据。
[0042]S3、根据数据处理优先级规则将拆分后的分发给处理器处理。数据处理优先级规则为：视频数据的处理优先级最低，语音数据的处理优先级次之，其他数据的处理优先级最高，即会优先将其他数据发给处理器处理，最后才会将视频数据发给处理器处理，以为S4的数据处理做准备。
[0043]S4、处理器根据数据处理规则对拆分数据进行处理。其中数据处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据处理方法，其特征在于，包括如下步骤：获取待处理的大数据；根据数据拆分规则对大数据进行拆分；根据数据处理优先级规则将拆分后的数据分发给处理器处理；处理器根据数据处理规则对拆分数据进行处理，其中数据处理规则为：针对某一类数据，处理器将该类数据均匀分割成若干子数据包，并对若干子数据包中的部分子数据包进行同时处理直至其处理负荷达到额定负荷的n％，则下次同时处理的子数据包数量为m/n％，其中m为处理器的处理负荷达到额定负荷的n％时其同时处理的子数据包的数量。2.根据权利要求1所述的大数据处理方法，其特征在于，所述数据拆分规则为：将数据按照视频数据、语音数据和其他数据进行拆分。3.根据权利要求1所述的大数据处理方法，其特征在于，所述其他数据为不含有语音数据和视频数据的数据。4.根据权利要求1所述的大数据处理方法，其特征在于，所述数据处理优先级规则为：视频数据的处理优先级最低，语音数据的处理优先级次之，其他数据的处理优先级最高。5.根据权利要求1所述的大数据处理方法，其特征在于，所述n％为80％
‑
90％。6.一种大数据处理系统，其特征在于，包括：数据获取单元，用于获取待处理的大数据；数据拆分单元，用于根据数据拆分规则对大数据进行拆分；数据分配...

【专利技术属性】
技术研发人员：金扬芳，李霞，
申请(专利权)人：金扬芳，
类型：发明
国别省市：