【技术实现步骤摘要】
一种基于元学习的神经网络优化方法及装置
本专利技术涉及神经网络领域，尤其涉及一种基于元学习的神经网络优化方法。
技术介绍
随着神经网络学习技术的不断发展，其能够广泛应用于预测、推荐等多种场景，其中神经网络优化(神经网络的参数调整策略)对于神经网络模型的准确度有直接的影响。但是，神经网络优化仍然较大程度依赖人工设计的有关算法，并通过人工交叉验证，对网络结构和优化算法的可能超参数组合进行探索训练，根据各组合优化后的模型结果择优使用。然而，在不同数据、不同场景、神经网络被优化的不同阶段，参数的调节策略有显著地差异，这就使得现有技术中的神经网络优化至少存在下述问题：(1)人工设计规则不能满足所有的场景，组合探索需要消耗大量的人力和物力；(2)不能很好地适应神经网络模型的持续更新，无法达到自适应的效果。
技术实现思路
本专利技术提供了一种基于元学习的神经网络优化方法。一方面，本专利技术提供了一种基于元学习的神经网络优化方法，所述方法包括：部署多个机器学习任务，每个机器学习任务均运行于学习框架中，每个学习框架均包括神经网络本体和神经网络优化器，所述神经网络优化器用于对与其对应的神...
【技术保护点】
1.一种基于元学习的神经网络优化方法，其特征在于，所述方法包括：部署多个机器学习任务，每个机器学习任务均运行于学习框架中，每个学习框架均包括神经网络本体和神经网络优化器，所述神经网络优化器用于对与其对应的神经网络本体的参数权重进行调整；设置元学习组合优化器；基于所述元学习组合优化器拟合机器学习任务运行过程中各个神经网络组合的状态特征与质量参数的映射关系，每个神经网络组合中包括至少一个神经网络，所述神经网络包括神经网络本体、所述神经网络本体对应的参数、所述神经网络本体对应的优化器；响应于优化指令，使用所述元学习组合优化器输出组合优化策略，所述组合优化策略包括满足预设要求的神经...
【技术特征摘要】
1.一种基于元学习的神经网络优化方法，其特征在于，所述方法包括：部署多个机器学习任务，每个机器学习任务均运行于学习框架中，每个学习框架均包括神经网络本体和神经网络优化器，所述神经网络优化器用于对与其对应的神经网络本体的参数权重进行调整；设置元学习组合优化器；基于所述元学习组合优化器拟合机器学习任务运行过程中各个神经网络组合的状态特征与质量参数的映射关系，每个神经网络组合中包括至少一个神经网络，所述神经网络包括神经网络本体、所述神经网络本体对应的参数、所述神经网络本体对应的优化器；响应于优化指令，使用所述元学习组合优化器输出组合优化策略，所述组合优化策略包括满足预设要求的神经网络组合所对应的优化器组合；使用所述组合优化策略对待优化的神经网络进行优化。2.根据权利要求1所述方法，其特征在于：所述元学习组合优化器执行元学习机制，所述元学习机制的执行过程包括：在每个机器学习任务运行的各个阶段，提取所述机器学习任务对应的学习框架的元特征，所述元特征包括状态特征和质量参数；根据元特征生成元学习样本；获取神经网络组合；基于所述元学习样本训练元学习组合优化器，并基于训练结果得到各个神经网络组合的状态特征与质量参数的映射关系。3.根据权利要求2所述的方法，其特征在于，所述根据元特征生成元学习样本，包括：随机隔代地对学习框架中的神经网络模型进行保存，并对保存结果进行特征抽取和性能评估，从而产生元学习样本。4.根据权利要求2所述的方法，其特征在于：元特征包括神经网络的状态特征和质量参数；所述状态特征包括神经网络的损失函数信息、当前输入样本的损失函数值的统计指标；和/或，各个神经网络的节点输出值相关的统计指标；和/或，当前梯度信息与上一阶段梯度信息差距。5.根据权利要求1所述的方法，其特征在于，所述使用所述元学习组合优化器输出组合优化策略，包括：根据各个神经网络组合的质量参数对各个神经网络进行排序；按照预设规则从排序结果中输出神经网络组合；输出神经网络组合对应的优化器组合。6.根据权利要求5所述的方法...
【专利技术属性】
技术研发人员：蔡富琳，谭奔，刘大鹏，肖磊，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。