一种大数据处理方法、大数据处理系统以及电子设备技术方案

本发明专利技术公开了一种大数据处理方法、大数据处理系统及电子设备，该大数据处理方法包括如下步骤：获取待处理的大数据；根据数据拆分规则对大数据进行拆分；根据数据处理优先级规则将拆分后的数据分发给处理器处理；处理器根据数据处理规则对拆分数据进行处理，其中数据处理规则为：针对某一类数据，处理器将该类数据均匀分割成若干子数据包，并对若干子数据包中的部分子数据包进行同时处理直至其处理负荷达到额定负荷的n％，则下次同时处理的子数据包数量为m/n％，其中m为处理器的处理负荷达到额定负荷的n％时其同时处理的子数据包的数量，如此始终能够将处理器的控制在最大的处理能力上且不会超负荷运转，可以最大限度提高大数据的处理速度。数据的处理速度。数据的处理速度。

【技术实现步骤摘要】
一种大数据处理方法、大数据处理系统以及电子设备


[0001]本专利技术涉及电子通信领域，尤其涉及一种大数据处理方法、大数据处理系统以及电子设备。

技术介绍

[0002]CN108132970A公开了一种大大数据处理方法，其包括如下步骤：S1、接收输入文件，根据输入文件大小进行输入分片，将各个输入分片分配一个映射任务，输入分片存储分片长度以及记录数据的位置的数组；S2、通过预先编写的映射函数在数据存储节点上进行映射得到中间文件；S3、合并中间文件中的重复键值，以降低映射输出文件冗余；并对合并后的键值进行序列化得到映射缓存文件；自动获取各个计算节点的计算负载值，根据计算节点的计算负载值将各个映射缓存文件分配到各个计算节点中；S4、在内存中开辟环形内存缓冲区，环形内存缓冲区用于映射输出文件输出；在环形内存缓冲区中创建配置文件，在配置文件中配置内存缓冲区的内存占用阈值；在环形内存缓冲区中内存占用大于或等于占用阈值时，保护线程暂停将数据写入内存，并在内存中写入溢出文件，溢出文件确定写入磁盘的文件，并将环形内存缓冲区的文件写入磁盘直至所有的映射输出文件输出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据处理方法，其特征在于，包括如下步骤：获取待处理的大数据；根据数据拆分规则对大数据进行拆分；根据数据处理优先级规则将拆分后的数据分发给处理器处理；处理器根据数据处理规则对拆分数据进行处理，其中数据处理规则为：针对某一类数据，处理器将该类数据均匀分割成若干子数据包，并对若干子数据包中的部分子数据包进行同时处理直至其处理负荷达到额定负荷的n％，则下次同时处理的子数据包数量为m/n％，其中m为处理器的处理负荷达到额定负荷的n％时其同时处理的子数据包的数量。2.根据权利要求1所述的大数据处理方法，其特征在于，所述数据拆分规则为：将数据按照视频数据、语音数据和其他数据进行拆分。3.根据权利要求1所述的大数据处理方法，其特征在于，所述其他数据为不含有语音数据和视频数据的数据。4.根据权利要求1所述的大数据处理方法，其特征在于，所述数据处理优先级规则为：视频数据的处理优先级最低，语音数据的处理优先级次之，其他数据的处理优先级最高。5.根据权利要求1所述的大数据处理方法，其特征在于，所述n％为80％
‑
90％。6.一种大数据处理系统，其特征在于，包括：数据获取单元，用于获取待处理的大数据；数据拆分单元，用于根据数据拆分规则对大数据进行拆分；数据分配...

【专利技术属性】
技术研发人员：金扬芳，李霞，
申请(专利权)人：金扬芳，
类型：发明
国别省市：