一种基于虚拟聚类的分级网络资源调度方法及系统技术方案

本发明专利技术涉及一种基于虚拟聚类的分级网络资源调度方法及系统，方法包括：获取当前网络环境中的可用资源信息，构建资源池；接收用户提交的待执行作业描述文件，构建作业管理池，所述待执行作业描述文件包括待执行作业以及作业对资源的需求信息；根据所述作业对资源的需求信息，采用基于虚拟聚类的网络资源分级方法，选择资源池中符合要求的资源，构建资源—作业匹配对；最后提交作业至对应的网格资源中，并监控作业执行情况，针对监控结果及时应对。

A hierarchical network resource scheduling method and system based on virtual clustering

The present invention relates to a method and system, classification of cyber source scheduling method based on virtual clustering: obtaining information of the resources available in the current Internet environment, building a resource pool; receiving user submitted for execution of a job description file, the construction operation management pool, the executive job description file includes executing operations and operation needs the resource information; according to the operation requirement of resource information, using the method of virtual clustering based on classification of cyber source, to meet the requirements of the resource pool of resources, construction of resource - job matching; finally submitted to the corresponding operation of grid resources, and to monitor the implementation of operation, according to the monitoring results to respond in a timely manner.

【技术实现步骤摘要】
一种基于虚拟聚类的分级网络资源调度方法及系统
本专利技术涉及网络资源分配领域，具体是一种基于虚拟聚类的分级网络资源调度方法及系统。
技术介绍
网络作为现代社会一种重要的信息基础设施汇集了大量的资源，这些资源是信息时代国家资源的重要组成部分。随着internet和WEB技术的出现，人们可以有效地共享利用网络资源，但是从总体上讲，网络资源的共享利用率不高的问题仍旧比较明显。首先，互联网资源分布不均匀，有的地方供大于求，而有的地方供不应求；其次，网络基础设施不够完善，网络传输、管理域之间的通信交流仍然是网络应用的瓶颈。另一方面，网络应用不断发展，经济、行政、教育、科研、军事等各个领域都对网络资源的共享和综合利用提出迫切需求。网格技术的发展极大的推动了并行以及分布式计算的发展，但是随着并行及分布式应用的发展，再加上网格本身资源不稳定等特性，使得网格任务调度成为当今网格研究的重点和难点。网格任务调度系统根据适当的调度策略把网格作业调度到合适的网格资源当中，从而减少网格用户使用网格资源的复杂性、提高作业执行的效率和资源使用率。好的调度系统可以充分利用网格资源的并行能力，保证用户作业按质按量的完成；相反，不好的调度系统将会增加任务执行时间，降低资源利用率。目前，由于网格应用非常复杂，网络任务调度的计算过程耗时也较长，如果计算过程中出现问题，可能导致整个计算的失败。所以需要一种容错机制，定期对计算过程进行保存，一旦出现问题，可以从上一个断点处继续执行，减少时间消耗和资源浪费。
技术实现思路
针对现有技术中存在的不足，本专利技术提供了一种基于虚拟聚类的分级网络资源调度方法，首先对网格资源属性提取建模，然后利用虚拟聚类的方法将异构的资源进行分组，获得相对同构的网格资源，根据作业描述文件的资源请求条件，对资源分组按照性能排序，方便调度参考，可以有效减少资源选择的时间消耗。本专利技术的技术方案为：一种基于虚拟聚类的分级网络资源调度方法，包括：获取当前网络环境中的可用资源信息，构建资源池；接收用户提交的待执行作业描述文件，构建作业管理池，所述待执行作业描述文件包括待执行作业以及作业对资源的需求信息；根据所述作业对资源的需求信息，采用基于虚拟聚类的网络资源分级方法，选择资源池中符合要求的资源，构建资源—作业匹配对；最后提交作业至对应的网格资源中，并监控作业执行情况，针对监控结果及时应对。进一步的，采用基于虚拟聚类的网络资源分级方法，选择资源池中符合要求的资源包括：为资源池中每一种资源建立多元指标矢量，基于模糊聚类分析理论，对资源池中全部资源进行相似性分析，根据相似性分析结果，对资源进行聚类分组，被聚为同一类的资源具有相似的数据处理能力。进一步的，对资源池中全部资源进行相似性分析包括：对资源采用极值标准化进行归一化处理，然后采用算数平均最小法计算出资源的相似系数矩阵，对相似关系矩阵R进行点积运算，获得模糊等价关系矩阵R’，根据模糊等价关系的聚类方法，设置计算阈值λ，当模糊等价关系矩阵R’中的元素值大于λ时取1，反之取0，获得的以0和1为元素的矩阵即为相似性分析结果；其中λ∈[0,1]，通过设置不同的λ，获得资源不同相似性等级的分析结果。进一步的，所述多元指标矢量的元素至少包括网络资源的计算能力、通信能力、系统负载、内存负载和空闲硬盘空间。进一步的，本方法还包括：根据每一资源的元素性能，按下以下公式计算不同聚类资源的综合性能：其中C表示资源的聚类，n为第i个聚类中资源的数目，r表示C中的资源，rk表示C中的第k个资源的，rkj表示第k个资源的第j个属性值，为资源第j个属性的权值，根据所述不同聚类的综合性能进行排序，在构建资源—作业匹配对时，优先考虑性综合性能高的聚类资源进行作业调度。进一步的，所述网络环境为开放式环境，接收新资源的注册，对新资源进行认证和授权；同时监控资源负载情况，注销满载资源。进一步的，判断用户提交的待执行作业文件是否为关联作业或并行作业，若是，则先对关联作业或并行作业进行划分，然后构建资源—作业匹配对并提交；若不是，则采用FIFO或MIN-MIN调度策略对其进行调度，并提交。进一步的，监控作业执行情况还包括：监控网络环境中资源使用情况，当正在执行作业的资源不可用时，将作业调度到其他资源上继续运行。进一步的，接收用户提交的待执行作业描述文件采用图形化交互界面，所述资源池采用资源池视图界面，同时定期更新资源池视图。本专利技术还提供了一种基于虚拟聚类的分级网络资源调度系统，包括：请求管理模块，用于接收并解析用户请求，将用户请求发送给作业管理模块；作业管理模块，用于根据用户请求解析待执行作业描述文件，建立作业队列，定位执行作业需要的输入文件和目录；在作业队列中开辟存储空间，将待执行作业插入作业队列中；维护作业队列，及时修改作业状态；对关联作业进行DAG图的构建、划分、任务群维护；接收调度中心模块和用户对作业的操作请求，根据所述操作请求，执行相应的操作；调度中心模块，用于根据调度策略构建资源—作业匹配对，提交作业并监控作业的执行；与信息管理模块交互，获得当前可用资源池；与传输模块、执行模块分别进行交互；传输模块，用于接收调度中心模块的文件传输请求，通过GLOBUS的GridFTP工具向作提交作业文件和数据，创建工作目录；执行模块，用于接收调度中心的执行请求，通过GLOBUS的GRAM工具提交作业，在作业执行过程中，定期监控作业执行情况及资源使用情况，当发现资源异常或者作业执行出现问题时，向调度中心模块发送重新调度请求。信息管理模块，用于采用GLOBUS的MDS服务搜索网格环境中的可用资源信息，建立资源池，并定期的同MDS服务交互，修改资源池中资源的状态；根据所述作业对资源的需求信息，采用基于虚拟聚类的网络资源分级方法，对网格资源进行划分，减少任务调度时用于搜索资源所花费的时间。本专利技术的有益效果：本专利技术采用分级式调度模型支持网格资源的动态加入与退出，有效地屏蔽了资源的动态性特点；对网格资源属性提取建模，然后利用虚拟聚类的方法将异构的资源进行分组，获得相对同构的网格资源，根据作业描述文件的资源请求条件，对资源分组按照性能排序，方便调度参考，可以有效减少资源选择的时间消耗。附图说明图1为本专利技术的网格资源节点调度框架；图2为本专利技术的网络资源中的网格系统示意图；图3为本专利技术的方法流程图a；图4为本专利技术的方法流程图b。具体实施方式：下面结合附图与实施例对本专利技术作进一步说明：应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。虚拟计算环境从构建资源的主体化模型、利益共同体和分布执行机制的角度提出了3个重要的概念：自主元素、虚拟共同体和虚拟执行体，并在此基础上提出了资源层、虚拟层、聚合层、自主协同层和应用层为核心的网络计算系统体系结构。根据虚本文档来自技高网...

【技术保护点】
一种基于虚拟聚类的分级网络资源调度方法，其特征在于，包括：获取当前网络环境中的可用资源信息，构建资源池；接收用户提交的待执行作业描述文件，构建作业管理池，所述待执行作业描述文件包括待执行作业以及作业对资源的需求信息；根据所述作业对资源的需求信息，采用基于虚拟聚类的网络资源分级方法，选择资源池中符合要求的资源，构建资源—作业匹配对；最后提交作业至对应的网格资源中，并监控作业执行情况，针对监控结果及时应对。

【技术特征摘要】
1.一种基于虚拟聚类的分级网络资源调度方法，其特征在于，包括：获取当前网络环境中的可用资源信息，构建资源池；接收用户提交的待执行作业描述文件，构建作业管理池，所述待执行作业描述文件包括待执行作业以及作业对资源的需求信息；根据所述作业对资源的需求信息，采用基于虚拟聚类的网络资源分级方法，选择资源池中符合要求的资源，构建资源—作业匹配对；最后提交作业至对应的网格资源中，并监控作业执行情况，针对监控结果及时应对。2.根据权利要求1所述的方法，其特征在于，采用基于虚拟聚类的网络资源分级方法，选择资源池中符合要求的资源包括：为资源池中每一种资源建立多元指标矢量，基于模糊聚类分析理论，对资源池中全部资源进行相似性分析，根据相似性分析结果，对资源进行聚类分组，被聚为同一类的资源具有相似的数据处理能力。3.根据权利要求2所述的方法，其特征在于，对资源池中全部资源进行相似性分析包括：对资源采用极值标准化进行归一化处理，然后采用算数平均最小法计算出资源的相似系数矩阵，对相似关系矩阵R进行点积运算，获得模糊等价关系矩阵R’，根据模糊等价关系的聚类方法，设置计算阈值λ，当模糊等价关系矩阵R’中的元素值大于λ时取1，反之取0，获得的以0和1为元素的矩阵即为相似性分析结果；其中λ∈[0,1]，通过设置不同的λ，获得资源不同相似性等级的分析结果。4.根据权利要求2所述的方法，其特征在于：所述多元指标矢量的元素至少包括网络资源的计算能力、通信能力、系统负载、内存负载和空闲硬盘空间。5.根据权利要求4所述的方法，其特征在于，还包括：根据每一资源的元素性能，按下以下公式计算不同聚类资源的综合性能：其中C表示资源的聚类，n为第i个聚类中资源的数目，r表示C中的资源，rk表示C中的第k个资源的，rkj表示第k个资源的第j个属性值，为资源第j个属性的权值，根据所述不同聚类的综合性能进行排序，在构建资源—作业匹配对时，优先考虑性综合性能高的聚类资源进行作业调度。6.根据权利要求1所述的方法，其特征在于：所述...

【专利技术属性】
技术研发人员：梁鸿，高源，魏倩，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：山东,37