【技术实现步骤摘要】
本专利技术涉及算力网络资源调度，尤其涉及一种基于异构资源度量特征的算力网络工作流调度方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
2、大数据时代，机器学习和数据分析在各行各业得到广泛应用，对计算、存储资源需求激增。应用属性特征多样，计算任务处理更加复杂，不仅需要庞大的资源量执行计算，而且计算任务类型多样需要更多异构资源支撑。单一资源中心通常难以满足需求，需要算力网络实现广域资源的全局调度，以高效执行任务。
3、然而，专利技术人发现，算力网络资源呈现异构、泛在、广域分散的特点，缺少统一细粒度的资源度量描述方法，难以精确调度匹配任务所需资源；并且不同算力资源中心间网络状况和数据流转对任务调度执行影响也较大，特别是对于工作流任务，需要将不同类型任务分配到算力网络各集群结点协同执行，任务间存在关联关系及各种数据流转，若资源匹配准确度低、调度效率低、将会极大影响任务执行效率，导致算力网络负载不均衡。现有的工作流任务调度研究大多集中于单个数据中心，算力、数据传输不受异构性、网络的影响，而广域环境下算力资源异构性强、数据受网络的影响较大，广域算力网络环境下工作流任务调度面临更大挑战。
技术实现思路
1、本专利技术为了解决上述问题，提供了一种基于异构资源度量特征的算力网络工作流调度方法及系统，所述方案在细粒度资源描述度量基础上，综合考虑任务、算力、网络以及数据等资源状况，通过调度跨域数据中心资源协作，有效提升了任务
2、根据本专利技术实施例的第一个方面，提供了一种基于异构资源度量特征的算力网络工作流调度方法，包括：
3、响应于用户的工作流任务请求，获取当前工作流的任务资源需求以及当前用户的资源配额；
4、当资源配额满足当前工作流的任务资源需求时，按照任务执行顺序执行工作流中的子任务；
5、其中，在子任务执行前，预先执行如下过程：基于算网服务平台已接入的数据中心及其对应的算力度量标准信息，从算网服务平台中选择所有符合当前子任务资源需求的计算集群和存储集群组合，以及计算集群和存储集群组合所对应的数据中心标识；获取各个组合所对应的数据中心间的网络状况参数，计算综合网络性能参数；基于所述综合网络性能参数，结合预先构建的考虑位置因素以及负载均衡因素的多目标函数，通过优化求解，获得用于当前子任务执行的计算集群和存储集群组合。
6、进一步的，所述从算网服务平台中选择所有符合当前子任务资源需求的计算集群和存储集群组合，具体为：根据用户上传的对于存储容量、安全性、资源供应商、硬盘类型以及资源类型的需求，筛选出所有符合需求的存储集群，获得存储集群集合；对于存储集群集合中的每个存储集群，判断其所属数据中心是否存在满足用户计算需求的计算集群，若否，则从算网服务平台内其他数据中心的计算集群中进行选择，获得存储集群和计算集群组合；其中，对于满足计算需求的计算集群若与存储集群同属一个数据中心则输出数据中心标识，并基于所述数据中心标识形成调度计划进行工作流任务的执行。
7、进一步的，所述预先构建的考虑位置因素以及负载均衡因素的多目标函数，包括：以最小化用于存储数据的存储集群所属数据中心与所选的计算集群所属数据中心之间的欧式距离，作为第一目标；以最大化用于存储数据的存储集群所属数据中心与所选的计算集群所属数据中心之间网络综合性能指数，为第二目标；以最小化算力网络内所有数据中心的综合资源使用率，作为第三目标；以所述第一目标、第二目标和第三目标，作为多目标函数。
8、进一步的，所述网络综合性能指数，基于预测的数据中心之间的网络指标加权求和得到，其中，所述网络指标包括带宽、抖动、丢包率以及时延。
9、进一步的，两个数据中心之间的网络综合性能指数，具体表示如下：
10、
11、其中，，，和分别为两个数据中心间第i+6个时间点的带宽、延迟、抖动和丢包率；，，和分别为两个数据中心间第i+7个时间点的带宽、延迟、抖动和丢包率；、、和分别为带宽、延迟、抖动和丢包率的权重。
12、进一步的，所述预测的数据中心之间的网络指标，具体采用预先训练的基于lstm的网络性能参数预测模型获得，具体为：将数据中心的网络指标历史数据，输入训练好的网络性能参数预测模型，获得预测的网络指标。
13、进一步的，判断当前用户的资源配额是否满足当前工作流的任务资源需求，具体为：获取工作流中所有子任务使用的cpu核数、内存容量以及硬盘容量，当所需全部cpu核数、内存容量以及硬盘容量小于等于用户的资源配额，则按照任务执行顺序执行工作流中的子任务，若大于用户的资源配额，则返回配额不足。
14、进一步的，所述算力度量标准信息包括计算资源度量标准信息以及存储资源度量标准信息，其中，所述计算资源度量标准信息包括计算集群可用cpu核数与内存容量资源规模、云数据中心提供方式、云资源提供方式、操作系统类型、处理器架构、计算集群地理位置以及资源类型；所述存储资源度量标准信息包括存储集群可用的硬盘容量、云数据中心提供方式、云资源提供方式、操作系统类型、硬盘类型、存储集群地理位置以及资源类型。
15、进一步的，所述多目标函数的优化求解，具体采用参考向量引导多目标优化进化算法。
16、根据本专利技术实施例的第二个方面，提供了一种基于异构资源度量特征的算力网络工作流调度系统，包括：
17、数据获取单元，其用于响应于用户的工作流任务请求，获取当前工作流的任务资源需求以及当前用户的资源配额；
18、任务调度单元，其用于当资源配额满足当前工作流的任务资源需求时，按照任务执行顺序执行工作流中的任务；
19、其中，在任务执行前，预先执行如下过程：基于算网服务平台已接入的数据中心及其对应的算力度量标准信息，从算网服务平台中选择所有符合任务资源需求的计算集群和存储集群组合，以及计算集群和存储集群组合所对应的数据中心标识；获取各个组合所对应的数据中心间的网络状况参数，计算综合网络性能参数；基于所述综合网络性能参数，结合预先构建的考虑位置因素以及负载均衡因素的多目标函数，通过优化求解，获得用于当前任务执行的计算集群和存储集群组合。
20、与现有技术相比，本专利技术的有益效果是：
21、（1）本专利技术提供了一种基于异构资源度量特征的算力网络工作流调度方法及系统，所述方案在细粒度资源描述度量基础上，综合考虑任务、算力、网络以及数据等资源状况，通过调度跨域数据中心资源协作，有效提升了任务处理速度，提高资源利用率；
22、（2）本专利技术所述方案使用算力资源细粒度特征，可根据任务多样化的需求，制定需求与资源高度契合的调度策略，可以更加准确地匹配任务与资源，选择最适合的数据中心来执行任务。
23、（3）本专利技术所述方案基于算力网络环境下算力、网络资源的异构性和多样性，工作流应用各异的子任务合理分配资源，缩短任务的执行过程，提本文档来自技高网...
【技术保护点】
1.一种基于异构资源度量特征的算力网络工作流调度方法，其特征在于，包括：
2.如权利要求1所述的一种基于异构资源度量特征的算力网络工作流调度方法，其特征在于，所述从算网服务平台中选择所有符合当前子任务资源需求的计算集群和存储集群组合，具体为：根据用户上传的对于存储容量、安全性、资源供应商、硬盘类型以及资源类型的需求，筛选出所有符合需求的存储集群，获得存储集群集合；对于存储集群集合中的每个存储集群，判断其所属数据中心是否存在满足用户计算需求的计算集群，若否，则从算网服务平台内其他数据中心的计算集群中进行选择，获得存储集群和计算集群组合；其中，对于满足计算需求的计算集群若与存储集群同属一个数据中心则输出数据中心标识，并基于所述数据中心标识形成调度计划进行工作流任务的执行。
3.如权利要求1所述的一种基于异构资源度量特征的算力网络工作流调度方法，其特征在于，所述预先构建的考虑位置因素以及负载均衡因素的多目标函数，包括：以最小化用于存储数据的存储集群所属数据中心与所选的计算集群所属数据中心之间的欧式距离，作为第一目标；以最大化用于存储数据的存储集群所属数据中心与所
4.如权利要求3所述的一种基于异构资源度量特征的算力网络工作流调度方法，其特征在于，所述网络综合性能指数，基于预测的数据中心之间的网络指标加权求和得到，其中，所述网络指标包括带宽、抖动、丢包率以及时延。
5.如权利要求3所述的一种基于异构资源度量特征的算力网络工作流调度方法，其特征在于，两个数据中心之间的网络综合性能指数，具体表示如下：
6.如权利要求4所述的一种基于异构资源度量特征的算力网络工作流调度方法，其特征在于，所述预测的数据中心之间的网络指标，具体采用预先训练的基于LSTM的网络性能参数预测模型获得，具体为：将数据中心的网络指标历史数据，输入训练好的网络性能参数预测模型，获得预测的网络指标。
7.如权利要求1所述的一种基于异构资源度量特征的算力网络工作流调度方法，其特征在于，判断当前用户的资源配额是否满足当前工作流的任务资源需求，具体为：获取工作流中所有子任务使用的CPU核数、内存容量以及硬盘容量，当所需全部CPU核数、内存容量以及硬盘容量小于等于用户的资源配额，则按照任务执行顺序执行工作流中的子任务，若大于用户的资源配额，则返回配额不足。
8.如权利要求1所述的一种基于异构资源度量特征的算力网络工作流调度方法，其特征在于，所述算力度量标准信息包括计算资源度量标准信息以及存储资源度量标准信息，其中，所述计算资源度量标准信息包括计算集群可用CPU核数与内存容量资源规模、云数据中心提供方式、云资源提供方式、操作系统类型、处理器架构、计算集群地理位置以及资源类型；所述存储资源度量标准信息包括存储集群可用的硬盘容量、云数据中心提供方式、云资源提供方式、操作系统类型、硬盘类型、存储集群地理位置以及资源类型。
9.如权利要求1所述的一种基于异构资源度量特征的算力网络工作流调度方法，其特征在于，所述多目标函数的优化求解，具体采用参考向量引导多目标优化进化算法。
10.一种基于异构资源度量特征的算力网络工作流调度系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于异构资源度量特征的算力网络工作流调度方法，其特征在于，包括：
2.如权利要求1所述的一种基于异构资源度量特征的算力网络工作流调度方法，其特征在于，所述从算网服务平台中选择所有符合当前子任务资源需求的计算集群和存储集群组合，具体为：根据用户上传的对于存储容量、安全性、资源供应商、硬盘类型以及资源类型的需求，筛选出所有符合需求的存储集群，获得存储集群集合；对于存储集群集合中的每个存储集群，判断其所属数据中心是否存在满足用户计算需求的计算集群，若否，则从算网服务平台内其他数据中心的计算集群中进行选择，获得存储集群和计算集群组合；其中，对于满足计算需求的计算集群若与存储集群同属一个数据中心则输出数据中心标识，并基于所述数据中心标识形成调度计划进行工作流任务的执行。
3.如权利要求1所述的一种基于异构资源度量特征的算力网络工作流调度方法，其特征在于，所述预先构建的考虑位置因素以及负载均衡因素的多目标函数，包括：以最小化用于存储数据的存储集群所属数据中心与所选的计算集群所属数据中心之间的欧式距离，作为第一目标；以最大化用于存储数据的存储集群所属数据中心与所选的计算集群所属数据中心之间网络综合性能指数，为第二目标；以最小化算力网络内所有数据中心的综合资源使用率，作为第三目标；以所述第一目标、第二目标和第三目标，作为多目标函数。
4.如权利要求3所述的一种基于异构资源度量特征的算力网络工作流调度方法，其特征在于，所述网络综合性能指数，基于预测的数据中心之间的网络指标加权求和得到，其中，所述网络指标包括带宽、抖动、丢包率以及时延。
5.如权利要求3所述的一种基于异构资源度量特征的算力网络工作...
【专利技术属性】
技术研发人员：陈静，耿玉栋，王英龙，葛菁，郭莹，李娜，李文，张传福，
申请(专利权)人：山东省计算中心国家超级计算济南中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。