【技术实现步骤摘要】
龙芯大数据一体机的任务优化调度方法及系统
本专利技术涉及大数据处理
，尤其涉及一种龙芯大数据一体机的任务优化调度方法及系统。
技术介绍
大数据一体机作为一种边缘智能技术，是云计算的有效补充，能够显著减轻云计算中心的计算负载和通信代价。龙芯大数据一体机为采用龙芯3B处理器研制的国产大数据处理系统，其基本组成包括1个管理节点、5个计算节点和1个万兆交换机，处理速度峰值超过1.5万亿次/秒，能够实现大数据的传输、存储、处理和分析等功能。负载均衡是大数据一体机实现高性能计算的关键技术，其核心为任务调度。由于龙芯为MIPS架构处理器，基于X86指令集开发封装的负载均衡系统无法移植到龙芯大数据一体机使用；Hadoop的负载均衡机制虽然为开源系统，但是主要是面向虚拟机的，且需要对硬盘等外设进行多次输入/输出操作。由于龙芯较Intel酷睿等处理器的性能有一定差距，虚拟机的采用降低了服务器性能，同时，频繁的输入/输出操作影响了龙芯大数据一体机对大数据的高效处理。因此，需要研发面向MIPS架构的龙芯大数据一体机任务调度方法。
【技术保护点】
1.一种龙芯大数据一体机的任务优化调度方法，其特征在于，包括：/n读取各个待处理任务对应的源程序，通过MIPS编译器对每一源程序完成编译处理，生成可执行文件和汇编文件；/n对每一汇编文件进行处理，获得相应源程序对应的指令总数，并结合读取到的计算节点CPU主频，估计相应待处理任务的处理时间；/n根据读取到的各计算节点CPU的利用率、以及各待处理任务的处理时间，采用遗传算法获得使任务处理时间最短的任务调度方案；/n根据获得的任务调度方案，将待处理任务对应的可执行文件分配至相应计算节点的CPU进行处理。/n
【技术特征摘要】
1.一种龙芯大数据一体机的任务优化调度方法，其特征在于，包括：
读取各个待处理任务对应的源程序，通过MIPS编译器对每一源程序完成编译处理，生成可执行文件和汇编文件；
对每一汇编文件进行处理，获得相应源程序对应的指令总数，并结合读取到的计算节点CPU主频，估计相应待处理任务的处理时间；
根据读取到的各计算节点CPU的利用率、以及各待处理任务的处理时间，采用遗传算法获得使任务处理时间最短的任务调度方案；
根据获得的任务调度方案，将待处理任务对应的可执行文件分配至相应计算节点的CPU进行处理。
2.根据权利要求1所述的一种龙芯大数据一体机的任务优化调度方法，其特征在于，估计相应待处理任务的处理时间的公式为：
其中，i＝1,2,…,N，N为待处理任务总数，ti表示估计的第i个待处理任务对应的处理时间，Isi第i个待处理任务对应源程序的指令总数，C为CPU主频，CPI表示平均的指令周期数。
3.根据权利要求1或2所述的一种龙芯大数据一体机的任务优化调度方法，其特征在于，对汇编文件进行处理，获得相应源程序对应的指令总数的方式包括：
根据汇编文件中，表示控制指令的关键字和控制指令中的偏移量，对汇编文件main中是否存在循环进行判断；
如果不存在循环，则获取汇编文件中的main对应的字符串行数，将字符串行数作为源程序的指令总数；
如果存在循环，则根据控制指令的操作数在循环体内计算结果判断循环次数，再根据循环体的行数和循环次数，计算源程序对应的指令总数。
4.根据权利要求1或2所述的一种龙芯大数据一体机的任务优化调度方法，其特征在于，所述根据读取到的各计算节点CPU的利用率、以及各待处理任务的处理时间，采用遗传算法获得使任务处理时间最短的任务调度方案包括：
读取各计算节点CPU利用率和CPU数量M，每一所述计算节点中包含若干CPU；CPU利用率记为Pj，j＝1,2,…,M；
采用遗传算法进行任务调度方案优化，N≤M；其中，N为待处理任务总数；
遗传算法中的个体采用二进制编码表示，个体的编码由待处理任务1编码至待处理任务N编码顺序组成，每一待处理任务对应一个CPU；各待处理任务的编码长度均相同，编码长度l由下式确定：
其中，Mod为取余数函数，Int为取整函数，个体编码长度为N×l；
个体的适应度函数为：
其中，个体g＝1,2,…,G，G为个体总数；pi为第i个CPU的利用率；
遗传算法首先对个体进行初始化，即随机生成K个个体的二进制编码，K为初始个体数目，其数值由用户确定，根据个体的适应度函数公式计算各个个体的适应度值，通过赌轮选择的方式，结合每一个体适应度值确定每一个体遗传至下一代的概率，从而选出一系列个体，然后对所选择的个体进行交叉与变异操作，确定下一代的个体，循环上述操作，直至遗传算法收敛，最终得到一个最优的个体的二进制编码，并作为使任务处理时间最短的任务调度方案。
5.根据权利要求1所述的一种龙芯大数据一体机的任务优化调度方法，其特征在于，该方法还包括：接收计算节点CPU反馈的任务处理结果，并存储至本地数据库。
6.一种龙芯大数据一体机的任务优化调度系统，其特征在于，包括：
任务管理模块，用于读取各个待处理...
【专利技术属性】
技术研发人员：陈锋，吴浩然，陈宇强，
申请(专利权)人：安徽中科龙安科技股份有限公司，
类型：发明
国别省市：安徽;34
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。