【技术实现步骤摘要】
一种元学习方法及相关装置
本申请涉及计算机
，特别是涉及一种元学习方法及相关装置。
技术介绍
在机器学习里，为解决特定场景下的技术问题，通常使用特定场景的大量数据来训练模型。然而当场景发生改变，模型就需要重新训练。然而对于人类而言，一个小朋友成长过程中会见过许多物体的照片，某一天，当其第一次仅仅看了几张狗的照片，就可以很好地对狗和其他物体进行区分。元学习(Meta-learning)含义为学会学习，即learntolearn，就是带着这种对人类这种“学习能力”的期望诞生的。元学习希望使得模型获取一种“学会学习”的能力，使其可以在获取已有“知识”的基础上快速学习新的任务。例如让AlphaGO迅速学会下象棋；让一个猫咪图片分类器，迅速具有分类其他物体的能力等。元学习者指的是一个通用的监督学习算法。初始化指的是训练一个元学习者，使得该元学习者学习一种参数初始化方式。学习率是一个衡量神经网络模型权重调整幅度的标量。目前基于初始化的元学习方法中，元学习者的内部更新使用固定的学习率，学习率不做衰减。神经网络模型的训练过程是...
【技术保护点】
1.一种元学习方法，其特征在于，包括：/n利用训练集和第一学习率对元学习者进行第k轮N步内部更新；所述第k轮N步内部更新的过程中以第k轮衰减系数作为对所述第一学习率的衰减系数；所述k为正整数，所述N为大于2的整数；/n利用验证集、第二学习率和所述第k轮的第N步内部更新后的元学习者对所述第k轮衰减系数进行更新，得到更新后的衰减系数；/n判断预设训练截止条件是否满足，当所述预设训练截止条件满足时，停止训练；当所述预设训练截止条件不满足时，将所述更新后的衰减系数作为第k+1轮衰减系数。/n
【技术特征摘要】
1.一种元学习方法，其特征在于，包括：
利用训练集和第一学习率对元学习者进行第k轮N步内部更新；所述第k轮N步内部更新的过程中以第k轮衰减系数作为对所述第一学习率的衰减系数；所述k为正整数，所述N为大于2的整数；
利用验证集、第二学习率和所述第k轮的第N步内部更新后的元学习者对所述第k轮衰减系数进行更新，得到更新后的衰减系数；
判断预设训练截止条件是否满足，当所述预设训练截止条件满足时，停止训练；当所述预设训练截止条件不满足时，将所述更新后的衰减系数作为第k+1轮衰减系数。
2.根据权利要求1所述的方法，其特征在于，所述利用训练集和第一学习率对元学习者进行第k轮N步内部更新，具体包括：
在所述第k轮的第1步内部更新过程中，根据所述元学习者在所述第k轮的初始参数、所述第一学习率和对所述初始参数在所述训练集上的第一损失的梯度下降结果，获得第1步内部更新后的元学习者的参数；
在所述第k轮的第j步内部更新过程中，根据所述第j-1步内部更新后的元学习者的参数、所述第k轮衰减系数的j-1次幂、所述第一学习率和对所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失的梯度下降结果，获得第j步内部更新后的元学习者的参数；所述j为2至N中的任一整数。
3.根据权利要求2所述的方法，其特征在于，
当所述k为1时，所述元学习者在所述第k轮的初始参数为未经过内部更新的所述元学习者的参数；
当所述k为大于1的整数时，所述元学习者在所述第k轮的初始参数为第k-1轮第N步内部更新后的元学习者的参数。
4.根据权利要求2所述的方法，其特征在于，所述训练集包括第k轮对应的训练集；所述第k轮对应的训练集包括第k轮N步内部更新各自对应的训练子集；
所述初始参数在所述训练集上的第一损失，具体为：所述初始参数在所述第k轮第1步内部更新对应的训练子集上的第一损失；
所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失，具体为：所述第j-1步内部更新后的元学习者的参数在所述第j步内部更新对应的训练子集上的第一损失。
5.根据权利要求2所述的方法，其特征在于，所述在所述第k轮的第j步内部更新过程中，根据所述第j-1步内部更新后的元学习者的参数、所述第k轮衰减系数的j-1次幂、所述第一学习率和对所述第j-1步内部更新后的元学习者的参数在所述训练集上的第一损失的梯度下降结果，获得第j步内部更新后的元学习者的参数，具体包...
【专利技术属性】
技术研发人员：周峰，
申请(专利权)人：北京爱笔科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。