分布式并行计算平台系统及其计算任务分配方法技术方案

本发明专利技术提供一种分布式并行计算平台系统及其计算任务分配方法。该系统包括ＰＣＰ，接收计算输入文件，形成在线和离线任务分配方案；在线调度服务器，接收在线计算输入文件及其任务分配方案并转发至在线计算节点，将在线任务计算结果汇总并返回给ＰＣＰ；离线调度服务器，在线和离线计算输入文件及其分配方案并转发至离线计算节点，将离线任务计算结果汇总并返回给ＰＣＰ，将在线任务计算结果传送给在线调度服务器；在线计算节点，只进行在线计算；以及离线计算节点，进行在线计算和离线计算。本发明专利技术一方面可以实现在线计算实时高效，另一方面也要保证计算资源的充分利用。

【技术实现步骤摘要】

本专利技术涉及电力系统的信息处理领域，尤其涉及一种分布式并行计算平台系统及其计算任务分配方法。
技术介绍
随着电力系统自动化水平的不断提高，网络规模越来越大，网络结构变得更加复杂，传统的单机计算模式和集中数据处理方式必然会遇到硬件计算能力的瓶颈。在电力计算问题解决中，电力计算通常包括暂态稳定计算、快速故障筛选、断面极限计算、短路故障扫描计算等。在不同的计算模式中，计算本身也具有的不同的优先级和时间要求，可以将之归为在线计算和离线计算模式。在线运行模式通常要求实现连续的基本安全稳定分析计算，具有较高的稳定性和运行效率，同时也具备周期性、连续性、可靠性等特点。离线计算模式提供全面的安全稳定分析计算功能，大多数处在人工研究修改界面，提交计算后离线分析、研究和维护等，在时间性上对计算的实时性要求不高。由此，针对电力企业不同的计算模式和要求，不仅要通过分布式并行计算来解决单机性能瓶颈问题，还要提出合适的任务动态调度和资源分配的策略和方法，来提高分布式并行平台系统的计算问题解决速度和充分有效利用现有的计算机器资源。
技术实现思路
本专利技术实施例的目的在于提供一种分布式并行计算平台系统及其计算任务分配方法，使得分布式并行计算平台系统可以区分在线计算和离线计算两-->种不同的计算模式，对多个计算任务请求进行有效调度，同时对现有资源进行合理分配，这样可以满足不同计算模式的特性和要求，也可以充分利用计算资源，并力求在任务调度和资源分配之间达成一个合理的折衷，从而一方面力求并行计算实时高效，另一方面也要保证计算资源的充分利用。本专利技术实施例提供一种分布式并行计算平台系统，该系统包括：PCP，用于接收在线和离线计算输入文件，形成在线和离线任务分配方案；在线调度服务器，用于接收PCP下发的在线计算输入文件和在线任务分配方案，将在线任务计算结果汇总并返回给PCP；离线调度服务器，用于接收PCP下发的在线和离线计算输入文件与在线和离线分配方案并转发至离线计算节点，将离线任务计算结果汇总并返回给PCP，将在线任务计算结果传送给在线调度服务器；在线计算节点，用于接收在线调度服务器转发的在线计算任务输入文件和在线任务分配方案，只进行在线计算并将在线计算结果返回给在线调度服务器；以及离线计算节点，用于接收离线调度服务器转发的在线和离线计算输入文件与在线和离线分配方案，进行在线计算和离线计算，并将在线和离线计算结果返回给离线调度服务器。本专利技术实施例还提供一种分布式并行计算平台的计算任务分配方法，所述分布式计算平台包括PCP、在线调度服务器、离线调度服务器、在线计算节点和离线计算节点；该方法包括以下步骤：PCP接收在线计算任务和离线计算任务，并制定在线计算任务分配总表和离线任务分配总表；PCP将发送在线计算任务分配总表和在线计算数据给在线调度服务器，将离线计算任务分配总表和离线计算数据，以及在线计算任务分配总表和在线计算数据发送离线调度服务器；在线调度服务器将在线计算任务分配总表和在线计算数据传送给在线计-->算节点；离线调度服务器离线计算任务分配总表和离线计算数据，以及在线计算任务分配总表和在线计算数据传送给离线计算节点；在线计算节点和离线计算节点接收到任务总表后开始计算，计算完毕后将各自的计算结果分别返回给在线调度服务器和离线调度服务器；离线调度服务器将在线任务计算结果返回至在线调度服务器；以及在线调度服务器和离线调度服务器分别汇总所述在线任务计算结果和离线任务计算结果后返回给PCP。本专利技术提供的分布式并行计算平台系统，通过基于网络技术的多机并行计算环境，将各种异构的计算资源通过网络联接起来，共同完成计算问题。分布式并行计算平台系统一方面能够允许多个计算问题任务同时请求，并依据一定的准则从多个任务请求中的选择一个或多个分发到多机上完成计算；另一方面从多机资源中动态选择一个或多个合适的计算机器资源参与计算或服务，保证计算问题快速高效的解决，所以任务的动态调度和资源匹配是构建分布式并行计算平台系统的关键部分。本专利技术提供的分布式并行计算平台系统的任务分配方法，针对不同的计算模式提出不同的任务动态调度和资源分配的策略和方法。这里动态分配内容涵盖计算任务调度和计算资源分配。计算任务调度是依据一定的准则选择请求任务队列中的一个或多个请求任务分发到计算资源节点上开始计算，任务选择必须采取灵活的任务调度策略。分布式计算平台系统在任务调度策略上，可根据不同的并行计算需求选择恰当的动态调度策略，优化不同情境下计算各阶段的任务请求、数据交换和事件通信，最大可能地降低交换数据的总量和频度，提高系统的通信效率，提高系统的整体并行计算的速度。计算资源分配是如何从多个计算节点资源动态选择合适的一个或多个资源参与计算或服务，从而保证节点资源高效利用。在线运行模式特点要求必-->须提供资源预留从而提供保证服务质量的分布式并行计算服务，并在预留资源的基础上对在线任务进行有效的动态调度和资源合理匹配，从而避免资源的竞争和周期内枯竭，保证满足在线系统7×24小时数据即来即算的连续计算要求。离线研究模式在时间性上对计算的实时性要求不高，可以使用不同的策略在对用户任务进行动态调度，从而满足多用户提交任务，结果回收查看的计算效率相对良好性。另一方面，在资源匹配上，预留资源之外的资源构成动态资源池，其首先满足离线计算的资源请求，也具备对在线计算实现协同预留和协同分配功能，在在线计算任务负载繁重、离线计算任务负载较轻的情况下，动态资源池中的计算节点资源可以灵活的参与或退出在线计算。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，并不构成对本专利技术的限定。在附图中：图1为本专利技术一实施例分布式并行计算平台系统的结构示意图。图2为说明本专利技术一实施例分布式并行计算平台系统和外部系统关系的结构示意图。图3为本专利技术一实施例的分布式并行计算平台系统的计算任务分配方法的流程图。图4为本专利技术一实施例的分布式并行计算平台系统的计算任务分配方法中在线任务分配的流程图。图5为本专利技术一实施例的分布式并行计算平台系统的计算任务分配方法中另一在线任务分配的流程图。图6为本专利技术一实施例的分布式并行计算平台系统的计算任务分配方法中离线任务分配的流程图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实-->施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。本专利技术实施例提供一种分布式并行计算平台系统及其计算任务分配方法。以下参照附图对本专利技术实施例进行详细说明。实施例一下面参照图1和图2，详细描述根据本专利技术的分布式并行计算平台系统。该系统包括：PCP(PSASP Dynamic Security Analysis Common Port，PSASP在线动态安全评估分析通用接口)：接收在线或离线计算任务提交并形成任务分配方案，任务分配方案即哪个计算节点接收哪些任务计算，然后将任务分配方案和任务输入文件转发给调度服务器。另外PCP也是分布式并行计算平台系统对外围系统的网关或代理。在线调度服务器：接收PCP下发的在线计算任务输入文件和分配方案并转发(组播)至在线计算节点，在计算节点计算完毕后将在线任务计算结果汇本文档来自技高网...

【技术保护点】
一种分布式并行计算平台系统，该系统包括：　ＰＣＰ，用于接收在线和离线计算输入文件，形成在线和离线任务分配方案；　在线调度服务器，用于接收所述ＰＣＰ下发的所述在线计算输入文件和在线任务分配方案，将在线任务计算结果汇总并返回给所述Ｐ ＣＰ；　离线调度服务器，用于接收所述ＰＣＰ下发的所述在线和离线计算输入文件与在线和离线分配方案并转发至离线计算节点，将离线任务计算结果汇总并返回给所述ＰＣＰ，将在线任务计算结果传送给所述在线调度服务器；　在线计算节点，用于接收所 述在线调度服务器转发的所述在线计算任务输入文件和在线任务分配方案，只进行在线计算并将在线计算结果返回给所述在线调度服务器；以及　离线计算节点，用于接收所述离线调度服务器转发的所述在线和离线计算输入文件与在线和离线分配方案，进行在线计算 和离线计算，并将在线和离线计算结果返回给所述离线调度服务器。

【技术特征摘要】
1.一种分布式并行计算平台系统，该系统包括：PCP，用于接收在线和离线计算输入文件，形成在线和离线任务分配方案；在线调度服务器，用于接收所述PCP下发的所述在线计算输入文件和在线任务分配方案，将在线任务计算结果汇总并返回给所述PCP；离线调度服务器，用于接收所述PCP下发的所述在线和离线计算输入文件与在线和离线分配方案并转发至离线计算节点，将离线任务计算结果汇总并返回给所述PCP，将在线任务计算结果传送给所述在线调度服务器；在线计算节点，用于接收所述在线调度服务器转发的所述在线计算任务输入文件和在线任务分配方案，只进行在线计算并将在线计算结果返回给所述在线调度服务器；以及离线计算节点，用于接收所述离线调度服务器转发的所述在线和离线计算输入文件与在线和离线分配方案，进行在线计算和离线计算，并将在线和离线计算结果返回给所述离线调度服务器。2、根据权利要求1所述的系统，其特征在于：所述在线调度服务器当前仅接收一个在线计算请求，处理完上一批在线计算任务后方可接收下一批在线计算请求，或者下一批在线计算请求到来可以立即中止上一批正在计算的在线任务。3、根据权利要求1所述的系统，其特征在于：所述离线调度服务器采用以下方式调度，先服务法、轮转法、加权轮转法或按优先级调度。4、一种分布式并行计算平台的计算任务分配方法，所述分布式并行计算平台包括PCP、在线调度服务器、离线调度服务器、在线计算节点和离线计算节点。该...

【专利技术属性】
技术研发人员：宁文元，陈勇，许晓菲，张雪轩，严剑锋，张哲，谢旭，于之虹，
申请(专利权)人：华北电网有限公司，中国电力科学研究院，
类型：发明
国别省市：11[中国|北京]