一种基于强化学习的小样本图像处理方法及其相关设备技术

本公开的基于强化学习的小样本图像处理方法及相关设备，通过将目标样本的基础类别和小样本目标类别进行特征匹配关联，得到特征匹配度得分；根据特征匹配度得分检测目标样本的基础类别中的小样本目标类别，得到小样本目标类别样本；提取小样本目标类别样本的视觉特征和语义特征，在小样本目标类别样本的视觉特征空间施加语义特征，得到小样本目标类别样样本的多模态信息；将小样本目标类别样样本的多模态信息入到小样本强化学习模型中，对小样本目标类别样样本的多模态信息进行总体环境估计得到小样本目标类别样样本，能够在强化学习的新范式下，结合小样本的可见类别到未见类别的知识迁移特征，实现在样本数目稀少的条件下准确预测样本标签的目标。确预测样本标签的目标。确预测样本标签的目标。

【技术实现步骤摘要】
一种基于强化学习的小样本图像处理方法及其相关设备


[0001]本专利技术属于人工智能图像处理
，特别涉及一种基于强化学习的小样本图像处理方法及其相关设备。

技术介绍

[0002]近年来，随着信息采集设备及技术的进步以及深度学习、机器学习技术的大规模发展，计算机视觉领域已成为人工智能的核心方向之一。计算机视觉领域的基本任务可分为图像分类、目标检测、语义分割以及实例分割等几大场景。其中，图像分类任务，即根据图像的特征描述为图像预测标签，作为视觉感知的第一步，是实现其他高层视觉任务的基本要素，是计算机视觉领域十分重要的基础问题，也是本文研究的重点所在。多媒体技术的发展引领社会进入大数据时代，衍生出海量的图像与视频资料，由此促进了深度卷积神经网络在各个计算机视觉领域的广泛应用。由于深度网络的数据驱动和监督式学习特性，在训练阶段需要大规模标注样本。然而，由于事物种类繁多且不断增加，进行人工标注需要耗费昂贵的人力物力成本，对所有类别进行标注并不现实；此外，对于某些稀缺物种或细粒度类别的子类，标注专业性要求较高而且往往难以搜集足够多高质量样本用于支撑训练。人工标注的高成本以及数据缺失成为目前制约深度学习发展的一个关键问题。
[0003]当所需目标类别没有已标注的训练样本时，如何对该类别样本进行准确标签预测值得关注。传统图像分类技术中测试数据类别完全包含于训练类别，无法对训练阶段未出现过的新目标类别图像进行预测。零样本学习(Zero
‑
shot Learning，ZSL)的出现在一定程度上缓解了目标类别的标注数据缺失问题，所谓零样本，即指训练阶段不存在属于目标类别的样本，也就是用于测试的目标数据与用于训练的标注数据在类别上完全不相交，因此在标准ZSL任务设定下，训练类别等价于可见类别，测试类别等价于未见类别。强化学习作为机器学习和人工智能的一种学习方式，其主要思想是关注智能体如何在环境中采取不同的行动，最大限度地提高累计奖励。2013年MnihV等人将深度学习中的卷积神经网络引入强化学习中，提出了DQN算法，开启深度强化学习的研究；2016年围棋世纪大战中Alpha Go因战胜世界顶级选手李世石而声名鹊起，2019年DeepMind将深度强化学习方法，应用于公认为最具挑战性的即时战略游戏星际争霸，其结果以封面文章的形式发表于《Nature》；2020年腾讯AI Lab围绕王者荣耀游戏，探索了在复杂环境中强化学习的应用潜力，并在不同类型的英雄上战胜了人类顶尖选手。
[0004]本项目提出一种基于强化学习的小样本图像处理方法，将强化学习的决策能力运用到图像分类中，设计目标检测准确率和精度函数，构建了自我演化无模型的动态连续学习分类器，该方法在强化学习的新范式下，结合小样本的可见类别到未见类别的知识迁移她特征，实现在样本数目稀少的条件下以较高的正确率预测样本标签的目标。

技术实现思路

[0005]本专利技术克服了现有技术的不足之一，提供了一种基于强化学习的小样本图像处理
方法及其相关设备，能够在强化学习的新范式下，结合小样本的可见类别到未见类别的知识迁移特征，实现在样本数目稀少的条件下以较高的正确率预测样本标签的目标。
[0006]根据本公开的一方面，提出了一种基于强化学习的小样本图像处理方法，所述方法包括：
[0007]将目标样本的基础类别和小样本目标类别进行特征匹配关联，得到特征匹配度得分；根据所述特征匹配度得分检测所述目标样本的基础类别中的小样本目标类别，得到所述小样本目标类别样本；
[0008]提取所述小样本目标类别样本的视觉特征和语义特征，在所述小样本目标类别样本的视觉特征空间施加语义特征，得到所述小样本目标类别样样本的多模态信息；
[0009]将所述小样本目标类别样样本的多模态信息入到小样本强化学习模型中，对所述小样本目标类别样样本的多模态信息进行总体环境估计，得到基于强化学习的小样本目标类别样样本。
[0010]在一种可能的实现方式中，所述将目标样本的基础类别和小样本目标类别进行特征匹配关联，得到特征匹配度得分，包括：
[0011]构建由目标样本的基础类别集和小样本目标类别集组成的权重共享网络；
[0012]利用所述权重共享网络生成将所述目标样本的基础类别集的特征图和小样本目标类别集图像特征；
[0013]将所述目标样本的基础类别集的特征图和所述小样本目标类别集图像特征图输入到RPN网络进行候选框提取；
[0014]将所述目标样本的基础类别集的特征图和所述小样本目标类别集图像特征图生成的候选框进行ROI Pooling处理，得到尺寸固定的特征图；
[0015]利用损失函数计算目标样本的基础类别特征图中的目标与所述小样本目标类别集特征图的特征匹配度得分。
[0016]在一种可能的实现方式中，所述根据所述特征匹配度得分检测所述目标样本的基础类别中的小样本目标类别，得到所述小样本目标类别样本，包括：
[0017]在所述目标样本的基础类别中检测满足预设特征匹配度阈值的特征匹配度得分所对应的小样本目标类别，得到所述小样本目标类别样本。
[0018]在一种可能的实现方式中，所述目标样本的基础类别集的特征图为所述目标样本的基础类别集图像的平均特征图。
[0019]在一种可能的实现方式中，所述语义特征包括文本特征和属性特征，所述文本特征采用Word2Vec模型提取，所述属性特征为人工标注。
[0020]在一种可能的实现方式中，所述将所述小样本目标类别样样本的多模态信息入到小样本强化学习模型中，对所述小样本目标类别样样本的多模态信息进行总体环境估计，包括：
[0021]将所述小样本目标类别样样本的多模态信息入到小样本强化学习模型中后，接收当前时刻的环境状态描述，根据所述当前环境状态描述选择执行动作；
[0022]所述小样本强化学习模型执行完所述动作后跳转到下一时刻，接收下一时刻的环境状态和奖励值，所述小样本强化学习模型根据下一个环境状态选择新的执行动作；重复该过程，直到所述奖励值最大，得到小样本目标类别样样本的多模态信息的总环境估计值。
[0023]根据本公开的另一方面，提出了一种基于强化学习的小样本图像处理装置，所述装置包括：
[0024]小样本目标检测模块，用于将目标样本的基础类别和小样本目标类别进行特征匹配关联，得到特征匹配度得分；根据所述特征匹配度得分检测所述目标样本的基础类别中的小样本目标类别，得到所述小样本目标类别样本；
[0025]小样本多模态类人概念学习模块，用于提取所述小样本目标类别样本的视觉特征和语义特征，在所述小样本目标类别样本的视觉特征空间施加语义特征，得到所述小样本目标类别样样本的多模态信息；
[0026]小样本强化学习模块，用于将所述小样本目标类别样样本的多模态信息入到小样本强化学习模型中，对所述小样本目标类别样样本的多模态信息进行总体环境估计，得到基于强化学习的小样本目标类别样样本。
[0027]根据本公开的另一方面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的小样本图像处理方法，其特征在于，所述方法包括：将目标样本的基础类别和小样本目标类别进行特征匹配关联，得到特征匹配度得分；根据所述特征匹配度得分检测所述目标样本的基础类别中的小样本目标类别，得到所述小样本目标类别样本；提取所述小样本目标类别样本的视觉特征和语义特征，在所述小样本目标类别样本的视觉特征空间施加语义特征，得到所述小样本目标类别样样本的多模态信息；将所述小样本目标类别样样本的多模态信息入到小样本强化学习模型中，对所述小样本目标类别样样本的多模态信息进行总体环境估计，得到基于强化学习的小样本目标类别样样本。2.根据权利要求1所述的小样本图像处理方法，其特征在于，所述将目标样本的基础类别和小样本目标类别进行特征匹配关联，得到特征匹配度得分，包括：构建由目标样本的基础类别集和小样本目标类别集组成的权重共享网络；利用所述权重共享网络生成将所述目标样本的基础类别集的特征图和小样本目标类别集图像特征；将所述目标样本的基础类别集的特征图和所述小样本目标类别集图像特征图输入到RPN网络进行候选框提取；将所述目标样本的基础类别集的特征图和所述小样本目标类别集图像特征图生成的候选框进行ROIPooling处理，得到尺寸固定的特征图；利用损失函数计算目标样本的基础类别特征图中的目标与所述小样本目标类别集特征图的特征匹配度得分。3.根据权利要求2所述的小样本图像处理方法，其特征在于，所述根据所述特征匹配度得分检测所述目标样本的基础类别中的小样本目标类别，得到所述小样本目标类别样本，包括：在所述目标样本的基础类别中检测满足预设特征匹配度阈值的特征匹配度得分所对应的小样本目标类别，得到所述小样本目标类别样本。4.根据权利要求2所述的小样本图像处理方法，其特征在于，所述目标样本的基础类别集的特征图为所述目标样本的基础类别集图像的平均特征图。5.根据权利要求2所述的小样本图像处理方法，其特征在...

【专利技术属性】
技术研发人员：王晓天，李昊星，马利，尹思媛，彭晓，顾天祺，蒋永瑞，赵良，田博，齐征，李萌萌，张健，谭佳琳，丁雪，杨国辉，
申请(专利权)人：北京临近空间飞行器系统工程研究所，
类型：发明
国别省市：