【技术实现步骤摘要】
基于作业调度软件和并行文件系统的高性能服务系统
本专利技术涉及高性能计算
，具体地说，涉及一种基于作业调度软件和并行文件系统的高性能服务系统。
技术介绍
高性能计算指通常使用很多处理器或者某一集群中组织的几台计算机的计算系统和环境，其目的是为了在较短时间内少费而多用地处理数据密集型的计算工作。高性能集群运行中通常会把一个大问题按一定的规则分为多个子问题，在集群内的不同节点上分别进行计算，再将计算结果处理合并为最终结果。这些子问题的计算可以并行完成，且在计算过程中需协同工作。相对于大数据计算技术的发展，不具备可靠的集群调度管理系统的高性能计算的已经无法随心地应对大数据的规模性、变化性、多样性、粘性、真实性等带来的巨大挑战，同时集群内过多的子问题并行处理也不能保证达到所需的计算速度，大大降低了高性能计算的高效性。
技术实现思路
本专利技术的目的在于提供一种基于作业调度软件和并行文件系统的高性能服务系统，以解决上述
技术介绍
中提出的问题。为实现上述技术问题的解决，本专利技术的目的之一在于，提供一种基...
【技术保护点】
1.一种基于作业调度软件和并行文件系统的高性能服务系统，其特征在于：包括作业调度单元（100）、并行文件单元（200）和高性能计算单元（300）；所述作业调度单元（100）采用基于ibm的lsf作业调度软件，用于支持跨机群资源共享和动态资源发现、预约和分配；所述并行文件单元（200）采用GPFS共享文件系统，用于保证在资源组内的所有节点可以并行访问整个文件系统；所述高性能计算单元（300）用于通过多处理器或者某一集群中几台组织的几台计算机进行计算;所述作业调度单元（100）包括业务流程调度管理模块（101）、作业运行控制模块（102）、资源管理模块（103）和调度数据模块（...
【技术特征摘要】
1.一种基于作业调度软件和并行文件系统的高性能服务系统，其特征在于：包括作业调度单元（100）、并行文件单元（200）和高性能计算单元（300）；所述作业调度单元（100）采用基于ibm的lsf作业调度软件，用于支持跨机群资源共享和动态资源发现、预约和分配；所述并行文件单元（200）采用GPFS共享文件系统，用于保证在资源组内的所有节点可以并行访问整个文件系统；所述高性能计算单元（300）用于通过多处理器或者某一集群中几台组织的几台计算机进行计算;所述作业调度单元（100）包括业务流程调度管理模块（101）、作业运行控制模块（102）、资源管理模块（103）和调度数据模块（104）；所述业务流程调度管理模块（101）用于管理调度计划和提交作业流程；所述作业运行控制模块（102）用于将承担不同处理任务的作业合理的派发到各个计算机上去运行；所述资源管理模块（103）用于收集各个计算机节点的负载信息并将结果反馈给作业运行控制机；所述调度数据模块（104）用于存储作业记录、对作业进行实时记录和事后分析;所述业务流程调度管理模块（101）包括节点负载量模块（1011）和作业优先级模块（1012）；所述节点负载量模块（1011）用于在一定的时间间隔内计算每个节点的负载量并将其传送给调度系统；所述作业优先级模块（1012）用于计算作业执行顺序的优先级;所述节点负载量模块（1011）的计算公式为：
；
其中，Lobs,t为节点1上的绝对负载量、µt为节点1的处理能力系数、Ucpu为节点1上CPU利用率、Poct,t为节点1上的活动进程数、Node为集群系统中的节点总数、Lt为节点1上的相对负载量;所述作业优先级模块（1012）的计算公式为：
Pj[i]=Po[i]+N*Twait；
其中，Po[i]为作业提交时指定的优先级，Twait为作业在队列中等待的时间，N为常数因子，随着等待时间的增加，作业优先级动态的增加，直到增加到阈值，即最高优先级。
2.根据权利要求1所述的基于作业调度软...
【专利技术属性】
技术研发人员：陈炜，朱旨昂，阚苏立，吕兴祥，孙祥，徐晓岚，
申请(专利权)人：南京江北新区科技投资集团有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。