一种高并发任务复杂场景下的动态资源调度方法及系统技术方案

本发明专利技术公开了一种高并发任务复杂场景下的动态资源调度方法及系统，所述方法包括步骤：由中心服务器获取系统所有资源节点上运行的进程信息及资源占用情况，计算系统资源使用率，建立节点负载和资源使用率之间的关系；获取系统并发任务进程集合，建立任务等级序列，根据节点资源负载和任务等级序列进行资源分配，本发明专利技术实现动态的服务器资源调度，具有按需服务、有效监测、高效可扩展的特点，构建了具有资源集中、动态配置、安全可靠的高并发任务复杂场景下的动态资源调度系统，有效地解决复杂场景计算系统运营成本高、资源利用率低等问题。题。题。

【技术实现步骤摘要】
一种高并发任务复杂场景下的动态资源调度方法及系统


[0001]本专利技术属于计算系统应用和资源调度
，具体涉及一种高并发任务复杂场景下的动态资源调度方法及系统。

技术介绍

[0002]随着科技的发展，大量的计算设备已经广泛运用于科研工作中，很多研究机构和科研院所都相继建立了自己的科研专用数据中心或计算系统。在目前的复杂场景计算系统建设和应用中，大多数采用静态调度算法对单一的整机资源进行调度与分配，通常没有实现对多个服务器特定的进程同时进行资源调度和统筹规划，不能合理掌握执行高并发计算任务时系统资源的占用情况。并且静态调度算法是在创建、迁移的调度过程中，按照任务类型来筛选目标物理主机，不能根据系统和物理主机的实际负载进行调度。随着计算系统的长期运营和系统资源的不断分配，静态调度算法将逐渐导致CPU、内存、存储等基础资源出现分配不均衡等问题，产生大量的能耗和计算资源浪费，严重影响计算系统的使用。

技术实现思路

[0003]本专利技术的目的在于提供一种高并发任务复杂场景下的动态资源调度方法及系统，以解决的高并发任务复杂场景下计算系统建设中存在的成本、资源利用及管理方面问题。
[0004]为实现上述目的，本专利技术提供如下技术方案：一种高并发任务复杂场景下的动态资源调度方法，具体步骤如下：
[0005]步骤一：构建资源监管机制，将系统服务器划分为中心服务器和资源节点服务器，由中心服务器获取所有节点服务器上运行的进程信息及资源占用情况，计算各个任务服务器资源使用率，建立服务器负载和资源使用率之间的关系，并生成资源信息汇总表，监管过程为根据所述每个进程对所在节点服务器的资源占用信息以及所述目标任务的资源占用情况及节点服务器性能进行实时监控；
[0006]步骤二：建立高并发任务获取功能，由中心服务器获取用户提交的任务执行信息从而建立完整的任务结构信息用于后续任务的调度执行。中心服务器收集汇总所有任务结构信息，构成任务状态集合，
[0007]步骤三：构建动态资源调度策略，通过中心服务器依据任务状态集合中的初始任务等级排序，按照优先级顺序依次匹配资源信息表中的任务节点服务器执行目标任务；基于窗口机制和动态阈值机制，每隔时间间隔T遍历任务进程序列，根据所监控资源信息计算各节点资源负载情况，动态调控任务资源分配，并更新任务状态集合；
[0008]步骤四：建立复杂场景下资源回收策略，基于服务器的流量监控方法，对任务节点不同的关联进程进行流量监控，利用对所述监控的流量进行分析，实现对非法用户提交的恶意任务进行识别以及对疑似异常任务进行监控预警，及时释放异常进程的资源占用。
[0009]优选的，步骤一中所述资源节点服务器资源使用率计算方法为：节点服务器上当前运行的进程所占用的资源相对于该服务器固有资源总量的比值，所述资源信息表为包含
各个任务节点进程资源信息、资源使用率和服务器性能的汇总信息，所述根据节点服务器进程信息和资源占用情况，建立服务器负载与资源使用率之间的关系表述为：建立服务器任务进程与资源使用率之间的关系，以表征节点服务器当前性能，具体表示为：
[0010][0011]其中U0为节点服务器的最佳使用率，U为节点服务器当前实时使用率，P为节点服务器当前的负载性能表征参数。
[0012]优选的，步骤二中所述任务需求包括：用户提交的完成任务所必须具备的完整描述和任务具体操作过程，所述任务等级划分具体为：将任务执行时间、任务执行截止时间以及任务期限时间作为主要依据划分任务等级，等级较高的任务可具有较高的优先执行顺序以及资源利用率，所述任务状态集合具体为中心服务器接收的所有任务信息结构以及包含任务执行状态信息的汇总信息，以及任务的状态转换关系，包括任务执行顺序，执行状态，执行时间，执行结果；所述任务执行状态是目标任务被任务管理系统进行调用处理的状态。
[0013]优选的，步骤三中所述基于窗口机制具体为：利用窗口机制的时间序列任务调度方法，包括短时间周期处理机制和长时间周期处理机制，进行任务执行进程序列的状态检查，所述短时间序列处理机制用于处理短时间序列任务资源，保证短期内资源的时效性；所述长时间周期处理机制用于处理长时间序列任务资源，并从中提取出周期性规律。最后将两部分结合起来，得到更好的资源调度效果。
[0014]优选的，步骤三中所述动态阈值机制具体为：凭借所述资源监管机制实时监测节点资源中对应的监测负载，并获取每个任务监测负载的实时值；确定与所述监测负载实时值的获取时刻对应的动态阈值，所述动态阈值包括与所述获取时刻对应的各项监测负载的阈值；将所述各项监测负载的实时值与动态阈值策略中对应的负载阈值进行比对，如果存在其实时值大于对应负载阈值的监测负载，则界定该节点为超负载状态。
[0015]优选的，步骤四中所述流量监控方法具体为：利用各节点本地服务层的流量读写接口，获取所述任务关联进程的流量监控数据作为监控流量，并上传至中心服务器；中心服务器对监控的流量数据进行分析，在服务器中设置历史流量数据库，记录任务关联进程执行时间内的流量数据作为对比流量；根据历史流量信息预设所监控流量与对比流量的正常差值范围；通过服务器对流量数据进行判断分析，如果监控流量和对比流量的差值超过预设的范围，则对异常的任务进程进行标记预警；所述释放异常进程的资源占用方法具体为：根据所述流量监控预警进一步设置资源回收规则，对于标记为异常任务进程设定报警阈值，当预警到达一定的次数则自动回收该任务进程所占用的系统资源。
[0016]一种高并发任务复杂场景下的动态资源调度方法的系统，其特征在于：包括资源监管模块、任务执行模块、任务调度模块和资源回收模块。
[0017]进一步的，所述资源监管模块具体为根据资源监控任务构建对应的资源管理策略，根据所述资源管理策略处理节点服务，判断是否需要对所述节点服务实例涉及的资源设置监管。
[0018]进一步的，所述任务执行模块具体为将所述高并发任务包含的详细信息和处理过程进行相应的分析处理并汇总记录至任务集合；所述任务调度模块具体为根据所述目标服务实例中部署的资源监控任务获取所述服务实例运行的任务集合，并配置所述节点服务实例根据所述资源调度策略执行目标任务并提供任务结果。
[0019]进一步的，所述资源回收模块具体为依据所述中心服务实例的资源监管任务，监控分析任务进程实时流量数据和历史流量数据，对任务进程实施异常预警和系统资源回收。
[0020]本专利技术的技术效果和优点：本专利技术可以通过资源监管机制的制定实现实时监控，并且可以建立完整的任务信息用于后期调度工作，利用构建动态调度策略进行等级排序，实现快速的进行资源分配和更新，还可以利用对所述监控的流量进行分析，实现对非法用户提交的恶意任务进行识别以及对疑似异常任务进行监控预警，实现动态的服务器资源调度，具有按需服务、有效监测、高效可扩展的特点，构建了具有资源集中、动态配置、安全可靠的高并发任务复杂场景下的动态资源调度系统，有效地解决复杂场景计算系统运营成本高、资源利用率低等问题，
附本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高并发任务复杂场景下的动态资源调度方法，具体步骤如下：步骤一：构建资源监管机制，将系统服务器划分为中心服务器和资源节点服务器，由中心服务器获取所有节点服务器上运行的进程信息及资源占用情况，计算各个任务服务器资源使用率，建立服务器负载和资源使用率之间的关系，并生成资源信息汇总表，监管过程为根据所述每个进程对所在节点服务器的资源占用信息以及所述目标任务的资源占用情况及节点服务器性能进行实时监控；步骤二：建立高并发任务获取功能，由中心服务器获取用户提交的任务执行信息从而建立完整的任务结构信息用于后续任务的调度执行。中心服务器收集汇总所有任务结构信息，构成任务状态集合，步骤三：构建动态资源调度策略，通过中心服务器依据任务状态集合中的初始任务等级排序，按照优先级顺序依次匹配资源信息表中的任务节点服务器执行目标任务；基于窗口机制和动态阈值机制，每隔时间间隔T遍历任务进程序列，根据所监控资源信息计算各节点资源负载情况，动态调控任务资源分配，并更新任务状态集合；步骤四：建立复杂场景下资源回收策略，基于服务器的流量监控方法，对任务节点不同的关联进程进行流量监控，利用对所述监控的流量进行分析，实现对非法用户提交的恶意任务进行识别以及对疑似异常任务进行监控预警，及时释放异常进程的资源占用。2.根据权利要求1所述的一种高并发任务复杂场景下的动态资源调度方法，其特征在于：步骤一中所述资源节点服务器资源使用率计算方法为：节点服务器上当前运行的进程所占用的资源相对于该服务器固有资源总量的比值，所述资源信息表为包含各个任务节点进程资源信息、资源使用率和服务器性能的汇总信息，所述根据节点服务器进程信息和资源占用情况，建立服务器负载与资源使用率之间的关系表述为：建立服务器任务进程与资源使用率之间的关系，以表征节点服务器当前性能，具体表示为：其中U0为节点服务器的最佳使用率，U为节点服务器当前实时使用率，P为节点服务器当前的负载性能表征参数。3.根据权利要求1所述的一种高并发任务复杂场景下的动态资源调度方法，其特征在于：步骤二中所述任务需求包括：用户提交的完成任务所必须具备的完整描述和任务具体操作过程，所述任务等级划分具体为：将任务执行时间、任务执行截止时间以及任务期限时间作为主要依据划分任务等级，等级较高的任务可具有较高的优先执行顺序以及资源利用率，所述任务状态集合具体为中心服务器接收的所有任务信息结构以及包含任务执行状态信息的汇总信息，以及任务的状态转换关系，包括任务执行顺序，执行状态，执行时间，执行结果；所述任务执行状态是目标任务被任务管理系统进行调用处理的状态。4.根据权利要求1所述的一种高并发任务复杂场景下的动态资源调度方法，其特征在于：步骤三中所述基于窗口机制具体为：利用窗口机制的时间序列任务调度方法，包括短时间周期...

【专利技术属性】
技术研发人员：王换换，吴响，李奕霖，李瑞瑞，
申请(专利权)人：徐州恒佳电子科技有限公司，
类型：发明
国别省市：