一种基于元学习的弱监督图像多标签分类方法技术

本发明专利技术公开了一种基于元学习的弱监督图像多标签分类方法，属于图像处理技术领域。该方法为解决因标签缺失无法有效建模标签依赖关系问题，提出一个基于标签信息增强的图像多标签分类模型，采用编码

【技术实现步骤摘要】
一种基于元学习的弱监督图像多标签分类方法


[0001]本专利技术属于图像处理
，涉及一种图像多标签分类方法，特别是涉及一种基于元学习的弱监督图像多标签分类方法。

技术介绍

[0002]图像是对现实场景的一种记录，其往往包含着丰富且复杂的语义概念。如何快速精准识别出图像所包含的多个不同语义概念，这便是图像多标签分类任务的目标。另外，图像多标签技术广泛应用于目标检测、机器人辅助技术、自动驾驶等领域。例如给定图1作为输入，我们需要识别出图像中包含“飞机”、“天空”这两个语义概念。
[0003]目前，深度学习方法在图像多标签分类任务取得了显著进展。但是，深度学习网络需要大量的完全标注的监督数据，由于图像多标签分类任务可能存在图像蕴含复杂语义概念，不易区分，以及预定义标签集合过大，标签之间概念存在重叠等关系等问题，导致获取完全标注的监督数据是耗时且成本昂贵的。为解决这个问题，便提出了弱监督图像多标签分类任务。弱监督图像多标签分类任务是指唉弱监督环境中构建性能良好的图像多表预测模型。弱监督环境是指数据集提供部分标签，甚至部分无标签数据集，即其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于元学习的弱监督图像多标签分类方法，其特征在于，所述方法在弱监督图像多标签分类系统上实现，所述弱监督图像多标签分类系统包括一个基于标签信息增强的图像多标签分类网络和一个基于元学习的教师
‑
学生网络训练架构；所述的多标签分类网络包括一个编码层和一个解码层；所述编码器接收图像作为输入，采用ResNet
‑
152预训练模型得到图像的低维特征矩阵和高维特征向量；所述解码器是LSTM序列解码结构，用于生成标签标注序列；所述基于元学习的教师
‑
学生网络架构包括一个教师模型和一个学生模型。所述弱监督图像多标签分类方法包括以下步骤：(1)将图像输入到编码器，选择该编码器网络中最后一层和倒数第三层的输出，作为图像的低维特征矩阵和高维特征向量。(2)将编码后的高维特征向量作为图像的抽象表示，并将该抽象表示作为解码器的初始输入，并预测预定义的标签序列中第一个标签是否相关。(3)根据标签序列中前一个标签预测信息作为解码器的当前输入，来预测标签序列中当前标签是否相关。(4)重复步骤(3),直到标签序列中的标签均已被预测。(5)将获得的标签序列与正确的标签序列进行比较，采用基于元学习的教师
‑
学生网络架构计算损失值，通过优化方法最小化该损失值，最终获得训练好的用于图像标注的多标签分类网络。(6)获取待检测图像，将待检测图像输入训练好的用于图像标注的多标签分类网络，获取图像的标注结果。2.如权利要求1所述弱监督图像多标签分类方法，其特征在于：步骤(3)包括以下子步骤：(3.1)假定当前预测标签序列中的第t个标签，第t
‑
1个标签预测概率值为根据该预测概率值获取对应的标签向量表征值e
t
‑1。其中τ表示阈值超参数，和分别表示第t
‑
1个标签的相关和不相关对应的可训练的表征向量。(3.2)将编码器得到的低维特征V
feat
与解码器第t
‑
1个隐状态h
t
‑1进行交互，以获取过滤无关特征后的图像表征z
t
。α
i,t
＝f
att
(v
i
,h
t
‑1)其中f
att
表示Attention网络。(3.3)将标签表征特征e
t
‑1和图像表征特征z
t
进行拼接来获取当前解码器的输入表征x
t
，然后通过解码器得到对应的第t个隐状态h
t
，将h
t
输入到第t个标签分类层得到对应的标签预测值
h
t
＝f
LSTM
(x
t
,h<...

【专利技术属性】
技术研发人员：陈刚，陈珂，董合德，寿黎但，骆歆远，
申请(专利权)人：浙江大学，
类型：发明
国别省市：