【技术实现步骤摘要】
本专利技术涉及图像识别，具体是一种任务自适应选择的元学习方法。
技术介绍
1、在深度神经网络中，需要大量的数据作为参考，不断学习，不断进步，才能取得更好的效果。但是，这距离未来人工智能的预期水平还差得很远。真正的人工智能将具备学会如何学习的能力，使其能够在面对小样本学习甚至零样本学习时快速取得好成绩。对于机器，方法是从先前的经验开始，并将经验从类似任务迁移到新任务。元学习(meta-learning)是一个通过从同一分布的任务中提取共同知识来学习整个学习过程的框架。元学习专注于通过大量类似的任务来快速适应看不见的任务。当前，元学习主要分为三类。基于度量学习的方法将先验知识编码到一个嵌入空间中，其中相似(不同)类彼此更近(距离更远)。黑盒或基于网络的方法使用网络或外部内存来直接生成权重、及权重更新和预测。同时，基于优化的方法采用双层优化来学习学习过程，如初始化和权重更新，这将用于适应新的任务。基于度量的元学习算法依赖于任务相似性度量：这些算法通常需要合理的任务相似性度量来进行预测和泛化。如果任务之间的相似性度量不准确或不适当，可能会导致性能下降。而基于网络优化的元学习算法通常依赖于具体的神经网络结构，以实现参数调整和权重更新的优化过程。选择不合适的网络结构可能会导致算法性能下降或困难的收敛。优化的元学习算法在元学习过程中进行参数调整和在新任务上进行参数更新。这种双层优化过程可能导致计算复杂度较高，尤其是在处理大规模数据或复杂模型时。
2、尽管有许多元学习方法可以解决少样本学习问题，但最流行的方法之一是基于优化。基于优化
技术实现思路
1、本专利技术考虑任务之间的差异化，提出了一种任务自适应选择元学习。从最近许多的各种双层元学习算法中明显看出，在对内圈任务的选择上没有任何操作，全部统一化训练。也有对任务变相处理的一些方法，例如自适应任务采样的算法，认为随机采样任务是次优的，对数据进行贪婪采样，这样取得了一定效果，但对数据贪婪采样的时间复杂度将大大提高。还有数据增强的方式，面对小样本学习进行数据量的扩大，但传统的数据增强技术可能不适用于少样本学习，因为它们往往会生成太多的新类别或样本，导致过度拟合。以前的任务处理方法可以总结为对样本进行预处理，随后将组成较好的任务传递给模型学习。然而，元学习的目标是在任何模型的小样本下快速学习，增加数据预处理的方式将削弱模型的泛化性和迁移性。
2、因此我们构建了任务选择训练器，首先在内圈判断任务难度和任务未来收益。然后对任务收益较大的做出训练指示。最后使用每一次训练指示中的任务损失更新元参数。通过对模型当前的性能，当前任务难度和未来收益做出判断，在当前情况选择最合适的任务，将有限的学习时间和资源平衡给更重要的任务学习从而使模型性能在学习过程中快速提高。
3、以下是实现本专利技术目的的技术方案，包含如下步骤：
4、1)构建元学习数据集，初始化元参数；
5、2)构建任务回报选择训练器，初始化每个训练任务的参数集；
6、3)对每个任务的收益计算使用多臂赌博机方法，在任务探索和利用的平衡上做出协调；
7、4)元学习训练根据每个任务的训练回报选择未来收益最大的任务训练；
8、5)保存经过选择被增加训练任务的参数集，使用此参数集更新外层元参数。
本文档来自技高网...【技术保护点】
1.一种任务自适应选择的元学习方法，包含下列步骤：
2.根据权利要求1所述的一种任务自适应选择的元学习方法，步骤1)中，所述的元学习数据集包含miniImagenet。根据当前选择的神经网络权重样式随机化初始元参数。
3.根据权利要求1所述的一种任务自适应选择的元学习方法，步骤2)中，所述的任务回报选择器在以往的研究中可以有效的平衡任务之间的差异性，在不对数据做大规模预处理操作或者大幅度增加训练次数的前提下，选择对当前训练有益的任务就实现了性能提升，并保持着其简单性，可以与其它算法结合使用。在抽取若干任务后，对每个任务进行初始化，保留当前任务对应的信息：任务参数θi、支持集查询集损失
4.根据权利要求1所述的一种任务自适应选择的元学习方法，步骤3)中，使用多臂赌博机方法，计算任务收益，进行选择训练，平衡任务的探索和利用。
5.根据权利要求1所述的一种任务自适应选择的元学习方法，步骤4)中，每次根据计算所得的收益进行选择，此处贪婪选择收益最大的任务进行深入训练学习。任务损失定为任务奖励，任务损失越大表明模型在当前任务上的效果越差，那么
6.根据权利要求1所述的一种任务自适应选择的元学习方法，步骤5)中，使用被选中进行深入训练学习的任务反馈给外层元参数，进行元参数的更新。被选中的任务是当前时间下对外圈参数泛化贡献度最大的任务，我们将其任务进行加强训练保留其用于后续的模型反馈更新，更新公式是
...【技术特征摘要】
1.一种任务自适应选择的元学习方法，包含下列步骤：
2.根据权利要求1所述的一种任务自适应选择的元学习方法，步骤1)中，所述的元学习数据集包含miniimagenet。根据当前选择的神经网络权重样式随机化初始元参数。
3.根据权利要求1所述的一种任务自适应选择的元学习方法，步骤2)中，所述的任务回报选择器在以往的研究中可以有效的平衡任务之间的差异性，在不对数据做大规模预处理操作或者大幅度增加训练次数的前提下，选择对当前训练有益的任务就实现了性能提升，并保持着其简单性，可以与其它算法结合使用。在抽取若干任务后，对每个任务进行初始化，保留当前任务对应的信息：任务参数θi、支持集查询集损失
4.根据权利要求1所述的一种任务自适应选择的元学习方法，步骤3)中，使用多臂赌博机方法，计算任务收益，进行选择训练，平衡任务的探索和利用。
【专利技术属性】
技术研发人员：王茂发，万泉，张一驰，冷志雄，颜丙辰，徐艳琳，蒋俊，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。