一种基于多任务解耦学习的半监督夜间图像分类方法技术

本发明专利技术公开了一种基于多任务解耦学习的半监督夜间图像分类方法，将白天带标签的样本与夜间无标签的样本，一同输入特征提取网络，其中白天样本提取的特征向量输入分类网络头，采用交叉熵损失函数进行监督；夜间样本提取的特征向量，首先输入分类网络头获得伪标签，再根据伪标签构造正负样本对后输入自监督网络头，采用角度对比损失函数进行监督训练；完成模型多任务训练后，将夜间数据集中少量带标签的样本输入特征提取网络与分类网络头，进行迭代自蒸馏学习，最终实现夜间数据集可以有效分类的效果。类的效果。类的效果。

【技术实现步骤摘要】
一种基于多任务解耦学习的半监督夜间图像分类方法


[0001]本专利技术涉及计算机视觉识别
中的多任务学习，尤其是涉及一种基于多任务解耦学习的半监督夜间图像分类方法。

技术介绍

[0002]领域迁移是计算机视觉中一个亟待解决的问题，在该问题的定义中，源域和目标域的任务相同，数据不同但相关。这类学习的核心任务是解决两个域数据分布的差异问题。目前通用图像识别算法是在有监督的数据集上训练而成，其在类似分布的图像上已达到较高的性能。然而当迁移到其他目标域的图像时，性能往往会出现极具下降，这是源域和目标域之间的数据分布差异造成的。比如当基于白天数据集训练的网络预测夜间图像时，识别的效果往往会出现大幅降低。
[0003]众所周知，目前存在大量开源的白天图像分类数据集，如PASCAL VOC，但是带标签的夜间图像分类数据集却十分缺乏。因此，我们希望利用白天图像的数据集训练网络，并使该网络可以有效迁移到夜间图像分类上，从而提高夜间图像分类的性能。
[0004]自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务解耦学习的半监督夜间图像分类方法，其特征在于包括如下步骤：S1，构建白天图像分类数据集与夜间图像分类数据集，其中白天图像分类数据集均为有类别标签的样本图像，夜间图像分类数据集中只有部分样本图像带有标签；S2，将白天图像分类数据集中有标签的样本图像与夜间图像分类数据集中无标签的样本图像，一同输入特征提取网络，输出白天图像特征向量和夜间图像特征向量；S3，在特征提取网络层后接入一个多任务解耦学习网络，该网络由一个有监督的分类网络头和一个自监督网络头构成；S4，对于白天图像特征向量，通过分类网络头进行损失监督训练；对于夜间图像特征向量，通过分类网络头预测其类别作为伪标签，并根据伪标签构造夜间图像正负样本对；S5，自监督网络头根据分类网络头的权重参数对夜间图像正负样本对进行归一化操作，得到归一化后的特征向量，并采用对比损失指导特征空间的学习，使正样本相似，负样本有效区分；S6，将所述分类网络头与所述自监督网络头进行多任务训练；S7，将夜间图像数据集中有标签的样本，输入训练完成的特征提取网络与分类网络头，固定特征提取网络的权重，通过分类网络头进行损失监督训练，使分类网络头适应夜间图像的特征分布；进入自蒸馏学习阶段，对分类网络头的权重参数进行多次迭代更新，利用前一次损失监督训练的分类预测结果作为软目标，与真实标签一同参与监督；S8，在推理阶段，将待测夜间图像输入所述训练完成的特征提取网络与分类网络头，输出图像分类结果。2.根据权利要求1所述的一种基于多任务解耦学习的半监督夜间图像分类方法，其特征在于所述S4中，将白天图像特征向量输入分类网络头，输出预测的样本类别，通过交叉熵损失函数进行监督：其中，N表示白天数据集中有标签的样本总个数，y
i
表示第i个样本的真实标签，表示第i个样本的类别预测概率值。3.根据权利要求1所述的一种基于多任务解耦学习的半监督夜间图像分类方法，其特征在于所述S4中，将夜间图像特征向量输入分类网络头进行计算，得到预测的伪标签，并根据伪标签构造正负样本对{k,k
+
,k
‑
}
m
，k
+
为k的正样本，与k属于同一标签，k
‑
为k的负样本，与k属于不同标签，m表示样本对个数。4.根据权利要求3所述的一种基于多任务解耦学习的半监督夜间图像分类方法，其特征在于所述S5中将正负样本特征对进行角度归一化：
其中，x表示输入的特征向量，||x||表示特征向量x的模长，y表示向量x所属的标签，W
...

【专利技术属性】
技术研发人员：章依依，郑影，朱亚光，徐晓刚，王军，虞舒敏，
申请(专利权)人：之江实验室，
类型：发明
国别省市：