一种面向云数据中心的计算任务跨区迁移方法及系统技术方案

一种面向云数据中心的计算任务跨区迁移方法及系统，计算任务跨区迁移过程包括迁移环境感知、迁移决策、迁移同步三个步骤，迁移环境感知步骤动态监控云数据中心的状态，实时获取云数据中心负载、功耗等信息；迁移决策步骤采用基于能耗水平的自适应动态阈值方法确定迁移触发时机，综合考虑低能耗、负载均衡等优化目标，给出最优迁出任务集及迁入目的主机集；迁移同步步骤实现迁移前后数据、状态的一致以及网络资源环境的动态适配。本发明专利技术可降低云数据中心系统能耗，同时满足系统负载均衡和应用性能的要求，本发明专利技术有助于推动云数据中心能耗管理技术的发展，在云数据中心能耗优化和作业迁移方面，形成可靠的作业动态跨区迁移方案。形成可靠的作业动态跨区迁移方案。形成可靠的作业动态跨区迁移方案。

【技术实现步骤摘要】
一种面向云数据中心的计算任务跨区迁移方法及系统


[0001]本专利技术属于云计算
，具体涉及一种面向云数据中心的计算任务跨区迁移方法及系统。

技术介绍

[0002]近年来，云计算技术受到越来越多的关注和应用，云服务规模不断扩大，云数据中心的数量和规模也有显著增长，以支撑大量数据存储和用户计算请求，随着技术的不断发展，云数据中心的信息传输、处理等将耗费更多的电力能源，如何更节能、绿色地使用电力，是数据中心企业乃至全社会最为关注的问题之一。据统计，处于空闲状态的服务器能耗是满负载状态服务器能耗的50％—70％，也就是说，空闲的静态服务器没有为计算任务作出贡献，却消耗了很大部分的能耗，因而一些数据中心的能耗管理方案会监测服务器的利用率，以触发虚拟机、容器迁移来整合未充分利用的服务器。除了能耗优化场景，在负载均衡、服务器升级和机器停机维护场景也会用到虚拟机、容器的迁移技术。例如将超载节点上的虚拟机、容器进行迁移，防止出现节点资源匮乏而引起节点上应用性能下降的情况，达到提高集群负载均衡性和集群资源利用率的目标。
[0003]在目标约束下选择本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向云数据中心的计算任务跨区迁移方法，其特征是考虑云数据中心的数据管理需求及动态负载均衡需求，以降低系统能耗为目标，进行计算任务跨区迁移，包括以下步骤：步骤一，迁移环境感知：动态监控云数据中心的状态，实时获取云数据中心负载、功耗以及计算任务的特征属性和运行信息；步骤二，迁移决策：通过迁移环境感知步骤获得云数据中心的节点信息，基于能耗水平的自适应动态阈值方法确定迁移触发时机，综合考虑低能耗、负载均衡及QoS的优化目标，确定迁移决策，给出最优迁出任务集及迁入目的主机集，包括：步骤B1，确定迁移时机：设定低载及超载的迁移触发阈值，物理主机负载达到迁移触发阈值时，进行迁移，其中超载的迁移触发阈值根据物理主机能耗水平自适应调整；步骤B2，给出最优迁出任务集：当低载迁移被触发时，低载主机上的全部计算任务都进行迁出；当超载迁移被触发时，根据虚拟机与主机、容器与主机的负载相关性以及计算任务的综合负载安排迁移的计算任务，如果迁移对主机能耗的具体降低量有要求，则在能耗降低量要求下，以容器、虚拟机的迁移代价最小为目标，对超载主机上的所有计算任务求解最优迁移任务集；步骤B3，给出最优迁入目的主机集：对于具备任务迁入条件的主机，综合考虑主机能耗、负载均衡、资源利用率、以及用户服务质量，采用启发式多目标优化方法，选择得到最优迁入主机集；步骤三，迁移同步：采用增量同步方式实现虚拟机、容器迁移前后的数据同步，采用任务绑定虚拟IP地址的方式实现应用动态适配迁移目标主机的网络环境。2.根据权利要求1所述的一种面向云数据中心的计算任务跨区迁移方法，其特征是迁移环境感知具体包括：步骤A1:每隔设定时间获取物理节点负载，并计算节点资源利用率U＝{U
CPU
,U
MEM
,U
IO
,U
BW
}，U
CPU
为CPU利用率，U
MEM
为内存利用率，U
IO
为IO利用率，U
BW
为网络带宽利用率；步骤A2：根据云数据中心建立虚拟机、容器和物理节点功耗度量的模型，通过模型和负载数据得到虚拟机、容器和物理节点的功耗，并计算得到云数据中心的能耗；其中，采用决策树、随机森林、支持向量机SVM、关联规则、或深度神经网络的智能学习方法结合多元多项式回归方法进行物理主机、虚拟机、容器的能耗量化分析。3.根据权利要求2所述的一种面向云数据中心的计算任务跨区迁移方法，其特征是步骤A1中，通过top命令获得CPU负载信息，采用如下公式计算CPU利用率：其中，为top命令直接输出的空闲CPU百分比；通过free命令获得内存负载信息，采用如下公式计算内存利用率：其中，M
total
为主机内存总量，M
free
为空闲的内存大小；通过iostat命令获得磁盘每秒钟I/O次数U
iops
，采用如下公式计算IO利用率：
其中，M
iops
是磁盘最大可达到的单位时间内的IO次数；通过ifconfig命令获得网络负载信息，并采用如下公式计算网络带宽利用率：其中F
in
为单位时间内流入本机数据量，F
out
为单位时间内本机流出数据量，B
net
为主机网卡带宽。4.根据权利要求2所述的一种面向云数据中心的计算任务跨区迁移方法，其特征是步骤A2中，能耗计算具体为：1)物理主机：物理主机的功耗与其CPU利用率、内存利用率及带宽利用率呈正相关关系，以物理主机为建模单位，量化不同硬件规格配置情况下，不同负载状态所产生的功耗模型；2)虚拟机：以虚拟主机为建模单位，建立不同配置的虚拟机在各种负载状态下的能耗量化模型；3)容器：以容器为建模单位，建立不同配置的容器在不同工作负载状态下的能耗量化模型；云数据中心的能耗等于中心内所有物理节点的能耗之和，所以中心在t1到t2时间间隔内的能耗E计算公式如下：其中，H为云数据中心所有物理节点的集合，P
h
(t)为物理节点h在t时刻的功耗，由上述物理主机的功耗模型给出，t∈[t1,t2]。5.根据权利要求1所述的一种面向云数据中心的计算任务跨区迁移方法，其特征是迁移决策具体包括：步骤B1，确定迁移时机：设定迁移触发阈值，定义主机的低载阈值为Thr
low
＝{CPU
low
,MEM
low
,IO
low
,BW
low
}，CPU
low
分量为主机CPU利用率的下限阈值，MEM
low
分量为内存利用率下限阈值，IO
low
分量为IO利用率下限阈值，BW
low
分量为网络带宽利用率下限阈值，定义主机的超载阈值为Thr
high
＝{CPU
high
,MEM
high
,IO
high
,BW
high
}，CPU
high
分量为主机CPU利用率的上限阈值，MEM
high
分量为内存利用率上限阈值，IO
high
分量为IO利用率上限阈值，BW
high
分量为网络带宽利用率上限阈值，其中CPU
high
根据能耗水平动态调整，对不同能耗水平配置对应的CPU
high
；通过迁移环境感知步骤监测所有物理主机负载，在时间间隔T内，采集一台物理主机的m组负载数据，当m组数据中至少有n组数据小于Thr
low
的所有分量，n≤m，该台主机触发低载迁移；当m组数据中至少有n组数据大于Thr
high
的任一分量，则该台主机触发超载迁移；步骤B2，给出最优迁出任务集：当低载迁移被触发时，低载主机上的全部计算任务都进行迁出，不涉及最优选择；当超载迁移被触发时，根据需求自主选择以下两种最优迁出任务方法：
方法一：选择负载相关性高且综合负载值小的计算任务进行迁出，首先计算负载相关性，计算任务封装在虚拟机或容器中，即计算虚拟机...

【专利技术属性】
技术研发人员：马洲俊，谭晶，王云岚，蒋承伶，刘雨瞳，杜元翰，马迪，许洪华，汤铭，
申请(专利权)人：国网江苏省电力有限公司，
类型：发明
国别省市：