一种元学习方法及相关装置制造方法及图纸

本申请公开了一种元学习方法及相关装置。在本申请中每一轮N步内部更新的结果可以用以调整下一轮对第一学习率的衰减系数，实现了第一学习率的衰减系数的自适应调整。在更新过衰减系数后，可以继续判断预设训练截止条件是否满足，当预设训练截止条件满足时，则停止训练；当预设训练截止条件不满足时，则将更新后的衰减系数作为第k+1轮衰减系数，以便于执行对元学习者的第k+1轮N步内部更新。本申请技术方案以元学习者内部更新的结果自适应地调整第一学习率的衰减系数，能够使内部更新学习率在衰减系数的作用下不断下调，从而提升元学习者的内部更新效果，使元学习者的内部更新过程更加高效，寻求最优解的过程更加稳定。

【技术实现步骤摘要】
一种元学习方法及相关装置
本申请涉及计算机
，特别是涉及一种元学习方法及相关装置。
技术介绍
在机器学习里，为解决特定场景下的技术问题，通常使用特定场景的大量数据来训练模型。然而当场景发生改变，模型就需要重新训练。然而对于人类而言，一个小朋友成长过程中会见过许多物体的照片，某一天，当其第一次仅仅看了几张狗的照片，就可以很好地对狗和其他物体进行区分。元学习(Meta-learning)含义为学会学习，即learntolearn，就是带着这种对人类这种“学习能力”的期望诞生的。元学习希望使得模型获取一种“学会学习”的能力，使其可以在获取已有“知识”的基础上快速学习新的任务。例如让AlphaGO迅速学会下象棋；让一个猫咪图片分类器，迅速具有分类其他物体的能力等。元学习者指的是一个通用的监督学习算法。初始化指的是训练一个元学习者，使得该元学习者学习一种参数初始化方式。学习率是一个衡量神经网络模型权重调整幅度的标量。目前基于初始化的元学习方法中，元学习者的内部更新使用固定的学习率，学习率不做衰减。神经网络模型的训练过程是一个寻找近似最优解的过程。元学习中以相同的学习率进行内部更新，表示权重调整幅度始终保持不变，这导致网络在不同状态之间反复来回跳跃，因此难以稳定地寻求最优解，也相应影响了元学习者的内部更新效果。
技术实现思路
基于上述问题，本申请提供了一种元学习方法及相关装置，以提升元学习者的内部更新效果，使元学习者的内部更新过程更加高效，寻求最优解的过程更加稳定。本申请实施例公开了如下技术方案：本申请第一方面提供一种元学习方法，包括：利用训练集和第一学习率对元学习者进行第k轮N步内部更新；所述第k轮N步内部更新的过程中以第k轮衰减系数作为对所述第一学习率的衰减系数；所述k为正整数，所述N为大于2的整数；利用验证集、第二学习率和所述第k轮的第N步内部更新后的元学习者对所述第k轮衰减系数进行更新，得到更新后的衰减系数；判断预设训练截止条件是否满足，当所述预设训练截止条件满足时，停止训练；当所述预设训练截止条件不满足时，将所述更新后的衰减系数作为第k+1轮衰减系数。可选地，所述利用训练集和第一学习率对元学习者进行第k轮N步内部更新，具体包括：在所述第k轮的第1步内部更新过程中，根据所述元学习者在所述第k轮的初始参数、所述第一学习率和对所述初始参数在所述训练集上的第一损失的梯度下降结果，获得第1步内部更新后的元学习者的参数；在所述第k轮的第j步内部更新过程中，根据所述第j-1步内部更新后的元学习者的参数、所述第k轮衰减系数的j-1次幂、所述第一学习率和对所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失的梯度下降结果，获得第j步内部更新后的元学习者的参数；所述j为2至N中的任一整数。可选地，当所述k为1时，所述元学习者在所述第k轮的初始参数为未经过内部更新的所述元学习者的参数；当所述k为大于1的整数时，所述元学习者在所述第k轮的初始参数为第k-1轮第N步内部更新后的元学习者的参数。可选地，所述训练集包括第k轮对应的训练集；所述第k轮对应的训练集包括第k轮N步内部更新各自对应的训练子集；所述初始参数在所述训练集上的第一损失，具体为：所述初始参数在所述第k轮第1步内部更新对应的训练子集上的第一损失；所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失，具体为：所述第j-1步内部更新后的元学习者的参数在所述第j步内部更新对应的训练子集上的第一损失。可选地，所述在所述第k轮的第j步内部更新过程中，根据所述第j-1步内部更新后的元学习者的参数、所述第k轮衰减系数的j-1次幂、所述第一学习率和对所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失的梯度下降结果，获得第j步内部更新后的元学习者的参数，具体包括：获得所述第一学习率、所述第k轮衰减系数的j-1次幂和所述对所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失的梯度下降结果的第一乘积；获得所述第j-1步内部更新后的元学习者的参数与所述第一乘积的第一差值，将所述差值作为所述第j步内部更新后的元学习者的参数。可选地，所述利用验证集、第二学习率和所述第k轮的第N步内部更新后的元学习者对所述第k轮衰减系数进行更新，得到更新后的衰减系数，具体包括：获得所述第k轮的第N步内部更新后的元学习者的参数在所述验证集上的第二损失；对所述第二损失进行梯度下降，得到所述第二损失的梯度下降结果；获得所述第二损失的梯度下降结果和所述第二学习率的第二乘积；获得所述第k轮衰减系数和所述第二乘积的第二差值作为所述更新后的衰减系数。可选地，所述验证集包括第k轮对应的验证集；所述第k轮的第N步内部更新后的元学习者的参数在所述验证集上的第二损失，具体为：所述第k轮的第N步内部更新后的元学习者的参数在所述第k轮对应的验证集上的第二损失。可选地，所述预设训练截止条件以下任意一种：所述更新后的衰减系数等于0；或者，所述更新后的衰减系数与所述第k轮衰减系数的差值的绝对值小于第一预设阈值；或者，所述k超过第二预设阈值。可选地，所述训练集包括M个人脸识别图像和人脸识别标签对；所述验证集包括W个人脸识别图像和人脸识别标签对。可选地，所述M个人脸识别图像和人脸识别标签对，包括：m1个第一类的人脸识别图像和人脸识别标签对，以及m2个第二类的人脸识别图像和人脸识别标签对；所述W个人脸识别图像和人脸识别标签对，包括：w1个第一类的人脸识别图像和人脸识别标签对，以及w2个第二类的人脸识别图像和人脸识别标签对。可选地，所述训练集包括M个人脸活体检测图像和人脸活体检测标签对；所述验证集包括W个人脸活体检测图像和人脸活体检测标签对。可选地，所述M个人脸活体检测图像和人脸活体检测标签对，包括：m3个第一场景的人脸活体检测图像和人脸活体检测标签对，以及m4个第二场景的人脸活体检测图像和人脸活体检测标签对；所述W个人脸活体检测图像和人脸活体检测标签对，包括：w3个第一场景的人脸活体检测图像和人脸活体检测标签对，以及w4个第二场景的人脸活体检测图像和人脸活体检测标签对。本申请第二方面提供一种元学习装置，包括：内部更新模块，用于利用训练集和第一学习率对元学习者进行第k轮N步内部更新；所述第k轮N步内部更新的过程中以第k轮衰减系数作为对所述第一学习率的衰减系数；所述k为正整数，所述N为大于2的整数；衰减系数更新模块，用于利用验证集、第二学习率和所述第k轮的第N步内部更新后的元学习者对所述第k轮衰减系数进行更新，得到更新后的衰减系数；判断模块，用于判断预设训练截止条件是否满足，当所述预设训练截止条件满足时，指示所述内部更新模块和所述衰减系数更新模块停止工作；当所述预设训练截止条件不满足时，指示所述内部更新模块将所述更新后的衰减系数本文档来自技高网...

【技术保护点】
1.一种元学习方法，其特征在于，包括：/n利用训练集和第一学习率对元学习者进行第k轮N步内部更新；所述第k轮N步内部更新的过程中以第k轮衰减系数作为对所述第一学习率的衰减系数；所述k为正整数，所述N为大于2的整数；/n利用验证集、第二学习率和所述第k轮的第N步内部更新后的元学习者对所述第k轮衰减系数进行更新，得到更新后的衰减系数；/n判断预设训练截止条件是否满足，当所述预设训练截止条件满足时，停止训练；当所述预设训练截止条件不满足时，将所述更新后的衰减系数作为第k+1轮衰减系数。/n

【技术特征摘要】
1.一种元学习方法，其特征在于，包括：
利用训练集和第一学习率对元学习者进行第k轮N步内部更新；所述第k轮N步内部更新的过程中以第k轮衰减系数作为对所述第一学习率的衰减系数；所述k为正整数，所述N为大于2的整数；
利用验证集、第二学习率和所述第k轮的第N步内部更新后的元学习者对所述第k轮衰减系数进行更新，得到更新后的衰减系数；
判断预设训练截止条件是否满足，当所述预设训练截止条件满足时，停止训练；当所述预设训练截止条件不满足时，将所述更新后的衰减系数作为第k+1轮衰减系数。


2.根据权利要求1所述的方法，其特征在于，所述利用训练集和第一学习率对元学习者进行第k轮N步内部更新，具体包括：
在所述第k轮的第1步内部更新过程中，根据所述元学习者在所述第k轮的初始参数、所述第一学习率和对所述初始参数在所述训练集上的第一损失的梯度下降结果，获得第1步内部更新后的元学习者的参数；
在所述第k轮的第j步内部更新过程中，根据所述第j-1步内部更新后的元学习者的参数、所述第k轮衰减系数的j-1次幂、所述第一学习率和对所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失的梯度下降结果，获得第j步内部更新后的元学习者的参数；所述j为2至N中的任一整数。


3.根据权利要求2所述的方法，其特征在于，
当所述k为1时，所述元学习者在所述第k轮的初始参数为未经过内部更新的所述元学习者的参数；
当所述k为大于1的整数时，所述元学习者在所述第k轮的初始参数为第k-1轮第N步内部更新后的元学习者的参数。


4.根据权利要求2所述的方法，其特征在于，所述训练集包括第k轮对应的训练集；所述第k轮对应的训练集包括第k轮N步内部更新各自对应的训练子集；
所述初始参数在所述训练集上的第一损失，具体为：所述初始参数在所述第k轮第1步内部更新对应的训练子集上的第一损失；
所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失，具体为：所述第j-1步内部更新后的元学习者的参数在所述第j步内部更新对应的训练子集上的第一损失。


5.根据权利要求2所述的方法，其特征在于，所述在所述第k轮的第j步内部更新过程中，根据所述第j-1步内部更新后的元学习者的参数、所述第k轮衰减系数的j-1次幂、所述第一学习率和对所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失的梯度下降结果，获得第j步内部更新后的元学习者的参数，具体包...

【专利技术属性】
技术研发人员：周峰，
申请(专利权)人：北京爱笔科技有限公司，
类型：发明
国别省市：北京;11