一种基于元学习和知识蒸馏的租户监控方法技术

技术编号:42686310 阅读:29 留言:0更新日期:2024-09-10 12:34
本发明专利技术涉及一种基于元学习和知识蒸馏的租户监控方法,属于云计算领域,采用基于元学习的方法使得神经网络模型能动态调整模型参数以达到最优,并能较好的适应不同数据特征的变化。极大节省了人力和时间成本。考虑到元学习需要训练多个子任务中的模型,为了有效降低训练的资源消耗和提高模型的运行效率,使用了知识蒸馏的方法在模型之间进行有效知识信息的传递,降低了模型的资源消耗。但由于知识蒸馏需要预先训练一个复杂的教师模型,仍无法较好的适用于资源受限的设备。对此,本发明专利技术采用了自蒸馏的方法,在传统的知识蒸馏思想上使用模型在迭代训练中自身获取到的有效知识信息指导后续的模型训练,整体降低了模型训练的资源消耗。

【技术实现步骤摘要】

本专利技术属于云计算领域,是iaas平台租户监控侧中的一个重要环节,尤其涉及一种基于元学习和知识蒸馏的租户监控方法


技术介绍

1、随着信息化、互联网、移动互联网等技术的逐渐普及,使得低成本海量的数据存储和大规模的并行计算在基于互联网的新型服务体系架构下得到了快速发展。在这样的背景下,云计算作为一种通过集群的方式将计算能力通过互联网向用户提供服务的模式得到了越来越多的关注。

2、在云计算领域中,租户端资源的监控对维持整个客户业务流程的稳定性和可靠性起着至关重要的作用。因此,研究如何能高效的在租户端进行监控具有重要的研究意义和价值。传统的监控方案通常是采用被动监控的方式,通过在宿主机或者云主机上安装相应的代理程序来监控网络资源开销和系统占用。这种方式在系统资源出现异常的情况下,存在监控识别及数据上传产生一定时延使得运维无法及时进行处理,导致用户体验不佳等问题。得益于机器学习和深度学习的快速发展,有相关研究将基于深度学习的神经网络模型运用到监控中,通过深度神经网络模型强大的特征识别和学习能力,能够从以往发生监控报警前的数据中学习到相关特征信息,并主本文档来自技高网...

【技术保护点】

1.一种基于元学习和知识蒸馏的租户监控方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于元学习和知识蒸馏的租户监控方法,其特征在于,所述对监控的历史数据进行标准化处理得到标准的数据集的步骤,具体包括:对所获取的历史数据进行标准化处理,根据各项监控指标进行二维化处理,并进行标注,所述监控指标包括CPU的使用率、空闲率、用户态以及内核态的使用时间、磁盘的吞吐量、吞吐速率和网络的速率;连接一个时间戳作为获取指标数据的时间记录;数据的格式与监控面板工具普罗米修斯所需的格式相符合,以便于监控数据的展示;对历史数据中重复的时间点进行合并,对合并后的空值进行向后重采样进行填...

【技术特征摘要】

1.一种基于元学习和知识蒸馏的租户监控方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于元学习和知识蒸馏的租户监控方法,其特征在于,所述对监控的历史数据进行标准化处理得到标准的数据集的步骤,具体包括:对所获取的历史数据进行标准化处理,根据各项监控指标进行二维化处理,并进行标注,所述监控指标包括cpu的使用率、空闲率、用户态以及内核态的使用时间、磁盘的吞吐量、吞吐速率和网络的速率;连接一个时间戳作为获取指标数据的时间记录;数据的格式与监控面板工具普罗米修斯所需的格式相符合,以便于监控数据的展示;对历史数据中重复的时间点进行合并,对合并后的空值进行向后重采样进行填补,得到标准的数据集。

3.根据权利要求1所述的一种基于元学习和知识蒸馏的租户监控方法,其特征在于,所述构建预设的深度神经网络模型的步骤,具体包括:使用标准的卷积神经网络,包含输入层、卷积层、池化层、全连接层以及激活函数;将输入层的输出与卷积层的输入端进行连接,卷积层的输出端后面连接一个激活函数,激活函数使用relu函数;激活函数的输出连接一个池化层和全连接层,并对模型进行初始化参数设置。

4.根据权利要求1所述的一种基于元学习和知识蒸馏的租户监控方法,其特征在于,所述利用元学习和知识蒸馏的方法进行模型训练时还会提取和融合不同子任务中的特征信息,避免模型的局部最优;再利用子任务的测试集计算出损失值并进行调整,最后利用梯度下降的方法更新超参数。

5.根据权利要求1所述的一种基于元学习和知识蒸馏的租户监...

【专利技术属性】
技术研发人员:刘俊张玉李平保石明坤凌徐
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1