模型优化方法、装置、存储介质及服务器制造方法及图纸

本申请实施例公开了一种模型优化方法、装置、存储介质及电子设备，其中，方法包括：获取第一机器学习模型及第二机器学习模型，所述第一机器学习模型为已优化的模型，所述第二机器学习模型为待优化的模型，获取所述第一机器学习模型与所述第二机器学习模型之间的迁移学习信息，根据所述迁移学习信息对所述第一机器学习模型进行迁移学习，得到机器学习子模型，采用所述机器学习子模型对所述第二机器学习模型进行优化，得到优化的第二机器学习模型。通过本申请实施例能够通过已优化的机器学习模型对待优化的机器学习模型进行优化。

Model optimization methods, devices, storage media and servers

【技术实现步骤摘要】
模型优化方法、装置、存储介质及服务器
本申请涉及计算机
，尤其涉及一种模型优化方法、一种模型优化装置、一种计算机存储介质及一种服务器。
技术介绍
随着机器学习技术的发展，机器学习技术被广泛应用于多种应用场景中，如人脸识别、语言识别、数据挖掘、语言翻译等应用场景。所谓机器学习技术可以是指通过机器学习模型学习样本数据的内在规律和特征，以使机器学习模型具有分析学习能力、能够识别文字、图像和声音等的技术。实践中发现，随着机器学习技术被广泛应用，用户对机器学习模型的学习能力及识别能力的要求也越来越高。因此，如何对机器学习模型进行优化，以提高机器学习模型的学习能力和识别能力是当前亟待解决的问题。
技术实现思路
本申请实施例所要解决的技术问题在于，提供一种模型优化方法、装置、存储介质及电子设备，能够通过已优化的机器学习模型对待优化的机器学习模型进行优化。一方面，本专利技术实施例提供一种模型优化方法，该方法包括：获取第一机器学习模型及第二机器学习模型，所述第一机器学习模型为已优化的模型，所述第二机器学习模型为待优化的模本文档来自技高网...

【技术保护点】
1.一种模型优化方法，其特征在于，所述方法包括：/n获取第一机器学习模型及第二机器学习模型，所述第一机器学习模型为已优化的模型，所述第二机器学习模型为待优化的模型；/n获取所述第一机器学习模型与所述第二机器学习模型之间的迁移学习信息，所述迁移学习信息包括被迁移的知识总量；/n根据所述迁移学习信息对所述第一机器学习模型进行迁移学习，得到机器学习子模型；/n采用所述机器学习子模型对所述第二机器学习模型进行优化，得到优化的第二机器学习模型。/n

【技术特征摘要】
1.一种模型优化方法，其特征在于，所述方法包括：
获取第一机器学习模型及第二机器学习模型，所述第一机器学习模型为已优化的模型，所述第二机器学习模型为待优化的模型；
获取所述第一机器学习模型与所述第二机器学习模型之间的迁移学习信息，所述迁移学习信息包括被迁移的知识总量；
根据所述迁移学习信息对所述第一机器学习模型进行迁移学习，得到机器学习子模型；
采用所述机器学习子模型对所述第二机器学习模型进行优化，得到优化的第二机器学习模型。


2.如权利要求1所述的方法，其特征在于，所述获取所述第一机器学习模型与所述第二机器学习模型之间的迁移学习信息，包括：
按照所述第一机器学习模型的层级结构对所述第一机器学习模型进行拆分，得到多个参考层，每个所述参考层对应一个层级序号；以及，
按照所述第二机器学习模型的层级结构对所述第二机器学习模型进行拆分，得到多个学习层；每个所述学习层对应一个层级序号；具备相同层级序号的所述参考层与所述学习层相对应；
根据所述第一机器学习模型的参考层的数量确定所述第一机器学习模型与所述第二机器学习模型之间的迁移学习信息，所述被迁移的知识总量为正整数且小于或等于所述参考层的数量；
其中，所述被迁移的知识为所述第一机器学习模型中各参考层的参数；所述迁移学习信息用于指示将所述第一机器学习模型中的参考层的参数向所述第二机器学习模型中对应的学习层进行迁移。


3.如权利要求2所述的方法，其特征在于，所述根据所述迁移学习信息对所述第一机器学习模型进行迁移学习，得到机器学习子模型，包括：
根据所述被迁移的知识总量确定在一次迁移学习过程中所述第一机器学习模型中的各个参考层被迁移的知识量；
根据所述在一次迁移学习过程中所述第一机器学习模型中的各个参考层被迁移的知识量确定所述第一机器学习模型中的各个参考层的迁移方式；
按照确定的所述迁移方式对所述第一机器学习模型中的各个参考层进行迁移学习，得到机器学习子模型。


4.如权利要求3所述的方法，其特征在于，所述被迁移的知识总量与在一次迁移学习过程中所述第一机器学习模型中的各个参考层被迁移的知识量满足约束函数规定的约束条件；
所述约束函数的约束条件规定：所述被迁移的知识总量为在一次迁移学习的过程中所述第一机器学习模型中的各个参考层被迁移的知识量之和；
所述约束函数用于约束在一次迁移学习过程中所述第一机器学习模型中的各个参考层被迁移的知识量均位于预设数值范围内。


5.如权利要求4所述的方法，其特征在于，所述根据所述被迁移的知识总量确定在一次迁移学习过程中所述第一机器学习模型中的各个参考层被迁移的知识量，包括：
获取目标函数和所述约束函数，所述目标函数为一次迁移学习的过程对应的代价函数；
采用所述约束函数对所述目标函数进行最小值求解处理，得到处理结果，所述处理结果包括在一次迁移学习过程中所述第一机器学习模型中的各个参考层被迁移的知识量；
其中，所述目标函数包括第一距离函数、第二距离函数与损失函数；所述第一距离函数用于表示所述第一机器学习模型的各参考层的参数与所述第二机器学习模型的各学习层的参数之间的距离；所述损失函数用于指示所述第二机器学习模型的学习准确度；所述第二距离函数用于指示所述第二机器学习模型的输出学习层的参数到坐标原点的距离；所述第二机器学习模型的输出学习层是所述第二机器学习模型中的多个学习层中层级序号最大的学习层。


6.如权利要求3所述的方法，其特征在于，所述根据所述在一次迁移学习过程中所述第一机器学习模型中的各个参考层被迁移的知识量确定所述第一机器学习模型中的各个参考层的迁移方式，包括：
若所述在一次迁移学习过程中所述第一机器学习模型中的目标参考层被迁移的知识量大于第一数值，则确定所述目标参考层的迁移方式为冻结迁移方式；
若所述在一次迁移学习过程中所述第一机器学习模型中的目标参考层被迁移的知识量小于所述第一数值且大于第二数值，则确定所述目标参考层的迁移方式为中间迁移方式，所述第一数值大于所述第二数值；
若所述在一次迁移学习过程中所述第一机器学习模型中的目标参考层被迁移的知识量等于第二数值，则确定所述目标参考层的迁移方式为精调迁...

【专利技术属性】
技术研发人员：钟括，魏颖，黄俊洲，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44