面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统技术方案

本发明专利技术公开了一种面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统，该方案通过获取各计算节点CPU数量、性能和负载，将待处理数据进行初始化分割，再将所分割数据包和相应的处理程序分配给各计算节点CPU处理；进一步根据第一次各计算节点处理结果，统计计算节点各CPU对数据包的最长处理时间与最短处理时间的比值，根据该比值对剩余数据包进行划分，依次循环，直至所有的数据包处理完毕，从而实现各CPU的负载均衡和处理任务的时间同步，该方法较好地适应了计算量未知的待处理数据包的自适应任务划分，提高并行效率，适应具有MIPS架构的龙芯大数据一体机的负载均衡和流式大数据实时处理。

【技术实现步骤摘要】
面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统
本专利技术涉及大数据处理
，尤其涉及一种面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统。
技术介绍
大数据一体机是云计算的有效补充，能够减轻云计算中心的计算负担和通信代价。龙芯大数据一体机是基于龙芯处理器研制的国产大数据处理系统，其基本组成包括1个管理节点、5个计算节点和1个万兆交换机，实现大数据的传输、存储、处理和分析。负载均衡是实现大数据一体机高性能计算的关键技术。由于龙芯处理器为MIPS架构，基于X86指令集开发封装的负载均衡系统无法移植到龙芯大数据一体机使用；Hadoop的负载均衡机制虽然为开源系统，但是需要对硬盘等外设频繁地进行输入/输出操作，由于龙芯处理器较酷睿等处理器的性能有较大差距，影响了对大数据的高效处理，因此，Hadoop的负载均衡也不适用于龙芯大数据一体机系统。需要研发面向MIPS架构的大数据一体机负载均衡系统，以实现大数据一体机基础设施的国产化替代。相关的大数据处理负载均衡方法主要包括：(1)FIFO调度算法：该方法采用先进先出队列，不本文档来自技高网...

【技术保护点】
1.一种面向负载均衡的龙芯大数据一体机自适应任务分割方法，其特征在于，包括：/n采集待处理的数据，并存储于缓存之中；/n获取各计算节点的CPU数量信息、负载信息与性能信息；/n按照计算节点的CPU负载信息、性能信息以及通信代价从缓存中取出一部分数据，并按照CPU数量信息进行数据包平均划分；/n将划分后的数据包发送至各计算节点的CPU进行处理，并统计各计算节点的CPU对数据包的处理时间，通过处理时间的最大值与最小值，确定计算量差异；/n基于计算量差异对缓存中剩余的数据进行数据包大小的划分，直至缓存中的数据全部处理完毕。/n

【技术特征摘要】
1.一种面向负载均衡的龙芯大数据一体机自适应任务分割方法，其特征在于，包括：
采集待处理的数据，并存储于缓存之中；
获取各计算节点的CPU数量信息、负载信息与性能信息；
按照计算节点的CPU负载信息、性能信息以及通信代价从缓存中取出一部分数据，并按照CPU数量信息进行数据包平均划分；
将划分后的数据包发送至各计算节点的CPU进行处理，并统计各计算节点的CPU对数据包的处理时间，通过处理时间的最大值与最小值，确定计算量差异；
基于计算量差异对缓存中剩余的数据进行数据包大小的划分，直至缓存中的数据全部处理完毕。


2.根据权利要求1所述的一种面向负载均衡的龙芯大数据一体机自适应任务分割方法，其特征在于，经过万兆交换机与各计算节点配置的BMC模块进行通信，经所述BMC模块读取各计算节点的CPU负载、性能和CPU数量信息。


3.根据权利要求1所述的一种面向负载均衡的龙芯大数据一体机自适应任务分割方法，其特征在于，所述通过处理时间的最大值与最小值，确定计算量差异包括：
将处理时间的最大值与最小值分别记为tmax和最小值tmin，再通过下式确定计算量差异：
P＝Int(tmax/tmin+0.5)
其中，Int(.)为取整函数。


4.根据权利要求1所述的一种面向负载均衡的龙芯大数据一体机自适应任务分割方法，其特征在于，基于计算量差异对缓存中剩余的数据进行数据包大小的划分的方式包括：
将上一次划分的数据包大小记为M，计算量差异记为P，则本次划分的数据包大小为：M'＝(1/P)*M。


5.根据权利要求1所述的一种面向负载均衡的龙芯大数据一体机自适应任务分割方法，其特征在于，该方法还包括：
每一次划分后，都会接收到计算节点回传的数据包处理结果；
综合所有数据包的处理结果，并存储至本地数据库。


6.一种面向负载均衡的龙芯大数据一体机自适应任务分割系统，其特...

【专利技术属性】
技术研发人员：陈锋，陈宇强，
申请(专利权)人：安徽中科龙安科技股份有限公司，
类型：发明
国别省市：安徽;34