一种基于资源碎片时空特征感知的函数填充模型及其方法技术

本发明专利技术公开一种基于源碎片时空特征感知的函数填充模型及其方法，未分配资源预测器根据离散稳定期和局部密集期将节点上未来一段时间内未分配的资源量周期性的发送给相空；分而未用资源预测器通过深度神经学习模型预测完周期性分而未用资源之后采集当前时刻可用的非周期分而未用资源大小并统一发送给相空间；调度单元根据函数调度请求按照“未分配”资源状态、“分而未用”资源状态和函数请求资源量向所述相空间发送最优调度方案；本发明专利技术可以有效感知虚拟机服务产生的资源碎片在未来一段时间里变化，并把函数调度到可以满足其执行时间内所需资源的碎片上，减少资源竞争。减少资源竞争。减少资源竞争。

【技术实现步骤摘要】
一种基于资源碎片时空特征感知的函数填充模型及其方法

：
[0001]本专利技术属于云计算中公有云环境下为提高资源利用率的不同应用的混合部署
，尤其涉及一种基于资源碎片时空特征感知的函数填充模型及其方法。

技术介绍
：
[0002]云数据中心已经发展成为现代数字经济的关键基础设施。然而，在大规模数据中心建设成本高企的背景下，数据中心资源的利用率却普遍较低，造成大量资源浪费。例如谷歌云、微软云、阿里云公布的数据显示其CPU平均利用率在25％
‑
60％。为了“降本增效”，云服务提供商多采用混合部署技术提高数据中心资源利用率。然而，混部应用之间的资源竞争干扰造成了云服务的性能下降，尤其是延迟敏感的交互式服务的尾延迟显著增加。
[0003]为了解决应用混部过程中的云服务性能下降问题，现有工作分别提出了“主动控制式”和“反馈调节式”混合调度部署技术。其中，“主动控制式”混部技术通过对应用的执行特征进行前期刻画，建立预测模型实现对干扰的精准预测。“反馈调节式”混合调度部署技术通过实时监控云服务的运行时性能，在应用性能突破临界值时，由管理控制器介入资源调节分配过程，实现云服务性能的快速恢复。但以上方案深度依赖于对应用的离线分析或实时监控,而在公有云环境下，租户的应用在虚拟机内以“黑盒”的形式存在，云服务提供商难以对应用执行特征进行准确刻画。
[0004]公有云数据中心内，一方面，虚拟机调度后的服务器碎片化“未分配资源”呈现相对稳定、局部密集的特征，已分配给虚拟机但尚未被完全使用的资源——“分而未用资源”呈现部分周期性的特征。例如，微软“未分配资源”的平均生命周期为61.5天，CPU增减的平均时间间隔为17.8小时，这体现了未分配资源波动相对稳定性；数据中心内75％的虚拟机运行的服务具有周期性和恒定性，即分配给虚拟机但没有被及时使用到的资源呈现出部分周期性。另一方面，新兴的无服务器计算(Serverless)模式在近年来得到了飞速发展。无服务器计算中的基本计算任务——函数存在显著的小体积、短周期特征。90％的Azure函数请求小于400MB的内存，50％的应用程序运行时分配的内存最多为170MB，50％的调用平均执行时间不到1秒，96％的函数平均执行时间不到60秒。因此，利用服务器的碎片资源调度执行无服务器函数计算，有助于大幅提升数据中心资源的资源利用率，提高系统吞吐。

技术实现思路
：
[0005]针对现有技术存在的问题，本专利技术提出了一种基于资源碎片时空特征感知的函数填充模型，本专利技术应用于公有云环境下的运行时系统，它可以有效感知虚拟机服务产生的资源碎片在未来一段时间里的大小变化，并把函数调度到可以满足其执行时间内所需资源的碎片上，从而减少了资源竞争。同时，本专利技术作为一个独立的运行时系统，它与平台没有强耦合，因此它可以在大多数无服务器计算平台上运行。在保障混合部署时各类应用在其执行时间里对资源的需求都可以得到满足，从而减少了混部后的资源竞争，在保障了服务质量的前提下大幅提升资源利用率和有效吞吐。
[0006]本专利技术解决其现实问题是采取以下技术方案实现的：
[0007]一种基于资源碎片时空特征感知的函数填充模型，所述填充模型应用在含有虚拟机的公有云的系统，所述填充模型包括未分配资源时空预测器、分而未用资源时空预测器、VM服务的周期性分类器、资源相空间，以及调度单元；其中：
[0008]所述未分配资源时空预测器用于分析节点的虚拟机创建时间间隔并预测下个未分配资源的波动时间点获得未来时间内未分配的资源量
[0009]所述分而未用资源时空预测器用于预测周期性服务产生的在未来时间内的分而未用资源量并每秒采集非周期性服务产生的非周期性分而未用资源量；
[0010]所述周期性分类器用于将节点上的虚拟机资源划分周期性，并根据其划分结果影响分而未用资源时空预测器的预测范围；
[0011]所述相空间用于记录未来一段时间内的未分配资源量、周期性分而未用资源量，以及当前时间的非周期性分而未用资源量；
[0012]所述调度单元根据未分配的资源量、分而未用资源和函数请求资源量输出最优匹配资源调度方案。
[0013]进一步，所述调度单元包括函数刻画器和函数调度器；其中：
[0014]所述函数刻画器通过对函数进行刻画得到其执行时间内任意时刻的所需资源量，将刻画好的函数发给函数调度器调度；
[0015]所述函数调度器通过分析全局各个节点的相空间资源稳定性，选稳定性最优且再函数执行时间内资源供给充足的节点部署函数服务。
[0016]本专利技术还可以采用如下技术方案予以实施，
[0017]一种基于资源碎片时空特征感知的函数填充模型，包括如下步骤：
[0018]所述未分配资源预测器根据虚拟机时间间隔在离散稳定期和局部密集期将未来一段时间内未分配的资源量周期性的发送给相空间；
[0019]所述分而未用资源预测器通过深度神经学习模型预测完周期性分而未用资源之后采集当前时刻可用的非周期资源大小并统一发送给相空间；
[0020]所述调度单元根据函数调度请求按照“未分配”资源状态、“分而未用”资源状态和函数请求资源量向所述相空间发送最优调度方案。
[0021]进一步，所述未分配资源预测器将在未来一段时间内的未分配的资源量周期性的发送给相空间过程：
[0022]所述未分配资源时空预测器将节点上所有虚拟机局部密集的创建轨迹输入进行初始化；
[0023]所述未分配资源时空预测器通过分析当前节点上虚拟机创建时间间隔，判断当前时间处在离散稳定期或局部密集期，当所述未分配资源时空预测器处于局部密集期则提取平均间隔时间最接近的密集创建轨迹，计算该轨迹的最短创建时间、最长创建时间、平均资源量，把最短创建时间到最长创建时间设置为下次未分配资源波动的时间范围，把平均资源量置为下次未分配资源的减少量；
[0024]所述未分配资源时空预测器在预测的虚拟机创建时间附近，把对应的资源量从未分配资源转为非周期性分而未用资源，超过预测时间后没有新的真实虚拟机创建，把对应的周期性分而未用资源再转回未分配资源。
[0025]进一步，所述分而未用资源预测器预测分而未用资源发送相空间过程：
[0026]所述分而未用资源时空预测器，仅预测经过周期性分类器划分出的周期性资源，通过深度神经学习模型预测未来每个时间刻度里周期性资源的大小，并计算预测值与虚拟机执行时消耗值的方差，方差大于阈值时会把对应的周期性资源转为非周期资源。
[0027]进一步，所述调度单元根据函数调度请求按照“未分配”资源状态、“分而未用”资源状态和函数请求资源量向所述相空间发送最优调度方案过程：
[0028]所述函数刻画器对每个新到达的函数执行后获得函数使用资源量和执行时间，调度二维所需资源标签的函数请求；
[0029]所述函数调度器用对所需资源标签的函数请求按照执行时间大于1s的函数调度在稳定性最优、且未分配资源加周期性分而未用资源大于函数执行时间里所需资源本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于资源碎片时空特征感知的函数填充模型，所述填充模型应用在含有虚拟机的公有云的系统，其特征在于：所述填充模型包括未分配资源时空预测器、分而未用资源时空预测器、周期性分类器、资源相空间，以及调度单元；其中：所述未分配资源时空预测器用于分析节点的虚拟机创建时间间隔预测下个未分配资源的波动时间点获得未来时间内未分配的资源量；所述分而未用资源时空预测器用于预测周期性虚拟机服务在未来时间内的分而未用资源量并每秒采集非周期性虚拟机的非周期性分而未用资源量；所述周期性分类器用于将节点上的虚拟机资源划分周期性，并根据其划分结果影响分而未用资源时空预测器的预测范围；所述相空间用于记录未来一段时间内的未分配资源量、周期性分而未用资源量，以及当前时间的非周期性分而未用资源量；所述调度单元根据未分配的资源量、分而未用资源和函数请求资源量输出最优匹配资源调度方案。2.根据权利要求1所述的一种基于资源碎片时空特征感知的函数填充模型，其特征在于：所述调度单元包括函数刻画器和函数调度器；其中：所述函数刻画器通过对函数进行刻画得到其执行时间内任意时刻的所需资源量，将刻画好的函数发给函数调度器调度；所述函数调度器通过分析全局各个节点的相空间资源稳定性，选稳定性最优且再函数执行时间内资源供给充足的节点部署函数服务。3.一种基于资源碎片时空特征感知的函数填充方法，其特征在于，包括如下步骤：所述未分配资源预测器根据虚拟机时间间隔在离散稳定期和局部密集期预测节点上未来一段时间内未分配的资源量并周期发送给相空间；所述分而未用资源预测器通过深度神经学习模型预测完周期性分而未用资源之后采集当前时刻可用的非周期资源大小并统一发送给相空间；所述调度单元根据函数调度请求按照“未分配”资源状态、“分而未用”资源状态和函数请求资源量向所述相空间发送最优调度方案。4.根据权利要求3所述的一种基于资源碎片时空特征感知的函数填充方...

【专利技术属性】
技术研发人员：赵来平，黄文豪，吕绪康，
申请(专利权)人：天津大学，
类型：发明
国别省市：