并行任务优化系统和方法技术方案

本发明专利技术涉及一种并行任务优化系统和方法，系统包括：调度服务器和多个任务提交终端通过第一网络环境互连，调度服务器和多个计算节点通过第二网络环境互连；多个计算节点运行有虚拟机，该虚拟机上运行有单处理器程序；任务提交终端在第一网络环境下通过第一命令行向调度服务器上载任务文件；调度服务器根据第一命令行和任务文件，在第二网络环境下，将任务文件调度到多个计算节点之一，任务文件包括数据参数；单处理器程序根据数据参数进行处理得到计算结果；通过调度服务器将结果返回到任务提交终端。因此，本发明专利技术通过调度服务器对任务的并行处理，以及根据数据参数，在多个计算节点运行相应计算，实现了大量并行任务的快速计算，降低了计算耗时。

【技术实现步骤摘要】
并行任务优化系统和方法
本专利技术涉及电力系统的运行、调度和控制，尤其涉及一种并行任务优化系统和方法。
技术介绍
随着我国电力行业的发展，电网规模不断扩大。电力系统本身是一个非常复杂的非线性系统,诸多因素影响着电力系统运行、调度和控制，也使得调度员潮流计算、优化潮流计算等计算和分析变得越来越复杂。一直以来,电网模拟以及潮流计算，优化等计算都是基于一台主机，单个程序的计算，依靠单个处理器，单个程序依次进行计算的计算速度比较慢，且反应时间比较长。对于某些计算耗时长，需要频繁计算，反复验证的计算，单个计算节点上的运行已经不能满足人们的需求。
技术实现思路
本专利技术的提供一种并行任务优化系统和方法，通过调度服务器对任务的并行处理，以及在多个计算节点运行有虚拟机，并虚拟机上运行单处理器程序，根据任务文件中的数据参数做相应的计算，用以提高计算速度，降低计算耗时。第一方面，本专利技术提供了一种并行任务优化系统，所述系统包括：所述系统包括：任务提交终端调度服务器和多个计算节点；所述调度服务器和多个所述任务提交终端通过第一网络环境互连，所述调度服务器和所述多个计算节点通过第二网络环境互连；所述多个计算节点运行有虚拟机，该虚拟机上运行有单处理器程序；所述任务提交终端在第一网络环境下通过第一命令行向所述调度服务器上载任务文件；所述调度服务器对所述第一命令行和所述任务文件进行解析，并且在第二网络环境下，根据解析后的第一命令行和任务文件，将所述解析后的任务文件调度到所述多个计算节点之一，其中，解析后的任务文件包括数据参数；所述单处理器程序根据所述数据参数进行作业处理，得到计算结果；通过所述调度服务器将所述计算结果返回到所述任务提交模块；其中，所述调度服务器实时从进行计算的计算节点中获取所述作业的执行状态；所述任务提交终端通过第二命令行从所述调度服务器获取所述执行状态，所述执行状态包括任务文件上传状态以及调度所述任务文件执行状态。优选地，所述调度服务器采用IBMPlatformLSF作业调度平台，所述单处理器程序采用DIgSILENT软件进行计算。优选地，所述调度服务器包括任务处理队列，所述任务处理队列用以存储所述任务提交终端通过第一命令行上载的所述任务文件；所述任务处理队列预设第一阈值；当所述任务处理队列中存储所述任务文件的数量达到所述第一阈值时，所述任务处理队列向所述任务提交终端发送禁止上载任务文件信息。优选地，在预设的时间间隔内，所述第一进程将任务处理队列中的所述任务文件发送给第二进程；根据所述第一命令行和所述任务文件，所述第二进程，调度决策可利用的所述多个计算节点之一执行任务计算，并将调度决策结果返回给所述第一进程；当所述第一进程接收到所述调度决策结果后，根据所述调度决策结果，所述第一进程将所述解析后的任务文件调度到相应的计算节点。优选地，所述调度服务器还包括第三进程；当所述第一进程接收到所述调度决策结果，并向计算节点发送所述任务文件时，所述第三进程创建所述任务文件的子进程和调度执行环境，并通过远程调度执行服务器开始调度分配。优选地，所述单处理器程序用以启动计算程序；根据数据参数，导入与所述数据参数相对应的算例；根据所述算例执行计算程序，得到计算结果。第二方面，本专利技术提供一种并行任务优化方法，所述方法包括：任务提交终端在第一网络环境下通过第一命令行向调度服务器下载上载任务文件；所述调度服务器对所述第一命令行和所述任务文件进行解析，并且在第二网络环境下，根据解析后的第一命令行和任务文件，将所述解析后的任务文件调度到所述多个计算节点之一，其中，解析后的任务文件包括数据参数；所述多个计算节点运行有虚拟机，该虚拟机上运行有单处理器程序所述单处理器程序根据所述数据参数进行处理，得到计算结果；通过所述调度服务器将所述结果返回到所述任务提交模块；其中，所述调度服务器实时从进行计算的计算节点中获取所述作业的执行状态；所述任务提交终端通过第二命令行从所述调度服务器获取所述执行状态，所述执行状态包括任务文件上传状态以及调度所述任务文件执行状态。优选地，所述调度服务器包括任务处理队列，所述任务处理队列用以存储所述任务提交终端通过第一命令行上载的所述任务文件；所述任务处理队列预设第一阈值；当所述任务处理队列中存储所述任务文件的数量达到所述第一阈值时，所述任务处理队列向所述任务提交终端发送禁止上载任务文件信息。优选地，所述调度服务器包括第一进程和第二进程，所述调度服务器对所述第一命令行和所述任务文件进行解析，并且在第二网络环境下，根据解析后的第一命令行和任务文件，将所述解析后的任务文件调度到所述多个计算节点之一，具体包括：在预设的时间间隔内，所述第一进程将任务处理队列中的所述任务文件发送给第二进程；所述第二进程根据所述第一命令行和所述任务文件，调度决策可利用的所述多个计算节点之一执行任务计算，并将调度决策结果返回给所述第一进程；当所述第一进程接收到所述调度决策结果后，所述第一进程根据所述调度决策结果，将所述解析后的任务文件调度到所述调度结果中的计算节点。优选地，所述调度服务器还包括第三进行，所述根据所述调度决策结果，所述第一进程将所述解析后的任务文件调度到相应的计算节点，具体为：当在所述第一进程接收到所述调度决策结果后，并向计算节点发送所述任务文件时，所述第三进行创建所述任务文件的子进程和调度执行环境，并通过远程调度执行服务器开始调度分配。优选地，所述单处理器程序根据所述数据参数进行处理，得到计算结果，具体为：启动计算程序；根据数据参数，导入与所述数据参数相对应的算例；根据所述算例执行计算程序，得到计算结果。因此，本专利技术提供的并行任务优化系统和方法，通过调度服务器对任务的并行处理，以及在多个计算节点运行有虚拟机，并虚拟机上运行单处理器程序，根据任务文件中的数据参数做相应的计算，实现了大量并行任务的快速计算，降低了计算耗时。附图说明图1为本专利技术实施例一提供的一种并行任务优化系统的示意图；图2为本专利技术实施例一提供的一种并行任务优化系统的构架示意图；图3为本专利技术实施例一提供的一种并行任务优化系统的应用框架示意图；图4为本专利技术实施例二提供的一种并行任务优化方法的流程图；图5为本专利技术一种实施例提供的任务提交终端提交任务文件的方法流程图；图6为本专利技术一种实施例提供的调度服务器对任务文件进行调度的方法流程图；图7为本专利技术一种实施例提供的多个计算节点进行计算的方法流程图。具体实施方式下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。图1为本专利技术实施例一提供的一种并行任务优化系统的示意图。图2为本专利技术实施例一提供的一种并行任务优化系统的构架示意图。图3为本专利技术实施例一提供的一种并行任务优化系统的应用框架示意图；如图1、2所示，本专利技术实施例一提供的并行任务优化系统包括任务提交终端101、调度服务器102和多个计算节点103。调度服务器102和多个任务提交终端101通过第一网络环境互连，调度服务器102和多个计算节点103通过第二网络环境互连；多个计算节点103运行有虚拟机，该虚拟机上运行有单处理器程序。其中，第一网络环境可以具体为公共网络，在一个优选实施例中，调度服务器102和多个任务提交终端101采用遵从FTP协议的网络进行连接。第二网络环境可以为局域网本文档来自技高网...

【技术保护点】
一种并行任务优化系统，其特征在于，所述系统包括：任务提交终端调度服务器和多个计算节点；所述调度服务器和多个所述任务提交终端通过第一网络环境互连，所述调度服务器和所述多个计算节点通过第二网络环境互连；所述多个计算节点运行有虚拟机，该虚拟机上运行有单处理器程序；所述任务提交终端在第一网络环境下通过第一命令行向所述调度服务器上载任务文件；所述调度服务器对所述第一命令行和所述任务文件进行解析，并且在第二网络环境下，根据解析后的第一命令行和任务文件，将所述解析后的任务文件调度到所述多个计算节点之一，其中，解析后的任务文件包括数据参数；所述单处理器程序根据所述数据参数进行作业处理，得到计算结果；通过所述调度服务器将所述计算结果返回到所述任务提交模块；其中，所述调度服务器实时从进行计算的计算节点中获取所述作业的执行状态；所述任务提交终端通过第二命令行从所述调度服务器获取所述执行状态，所述执行状态包括任务文件上传状态以及调度所述任务文件执行状态。

【技术特征摘要】
1.一种并行任务优化系统，其特征在于，所述系统包括：任务提交终端、调度服务器和多个计算节点；所述调度服务器和多个所述任务提交终端通过第一网络环境互连，所述调度服务器和所述多个计算节点通过第二网络环境互连；所述多个计算节点运行有虚拟机，该虚拟机上运行有单处理器程序；所述任务提交终端在第一网络环境下通过第一命令行向所述调度服务器上载任务文件；所述调度服务器对所述第一命令行和所述任务文件进行解析，并且在第二网络环境下，根据解析后的第一命令行和任务文件，将所述解析后的任务文件调度到所述多个计算节点之一，其中，解析后的任务文件包括数据参数；所述单处理器程序用以启动计算程序；根据数据参数，导入与所述数据参数相对应的算例；根据所述算例执行计算程序，得到计算结果；通过所述调度服务器将所述计算结果返回到所述任务提交终端；其中，所述调度服务器实时从进行计算的计算节点中获取作业的执行状态；所述任务提交终端通过第二命令行从所述调度服务器获取所述执行状态，所述执行状态包括任务文件上传状态以及调度所述任务文件执行状态；所述调度服务器包括第一进程、第二进程和第三进程；在预设的时间间隔内，所述第一进程将任务处理队列中的所述任务文件发送给第二进程；根据所述第一命令行和所述任务文件，所述第二进程，调度决策可利用的所述多个计算节点之一执行任务计算，并将调度决策结果返回给所述第一进程；当所述第一进程接收到所述调度决策结果后，根据所述调度决策结果，所述第一进程将所述解析后的任务文件调度到相应的计算节点；当所述第一进程接收到所述调度决策结果，并向计算节点调度所述任务文件时，所述第三进程创建所述任务文件的子进程和调度执行环境，并通过远程调度执行服务器开始调度分配；所述调度服务器采用IBMPlatformLSF作业调度平台，所述单处理器程序采用DIgSILENT软件进行计算。2.根据权利要求1所述的系统，其特征在于，所述调度服务器包括任务处理队列，所述任务处理队列用以存储所述任务提交...

【专利技术属性】
技术研发人员：王珏，黄越辉，邓笋根，高云峰，周纯葆，刘德伟，
申请(专利权)人：中国科学院计算机网络信息中心，中国电力科学研究院，
类型：发明
国别省市：北京;11