基于目标引导动态Mixup的跨域小样本图像识别系统技术方案

本发明专利技术属于计算机技术领域，具体为基于目标引导动态Mixup的跨域小样本图像识别系统。本发明专利技术包括动态Mixup混合比例生成模块、Mixup

【技术实现步骤摘要】
基于目标引导动态Mixup的跨域小样本图像识别系统


[0001]本专利技术属于计算机
，具体涉及跨域小样本图像识别系统。

技术介绍

[0002]人类可以从非常少的样本中学习到物体的特征从而对物体进行识别与分类。小样本图像识别有助于让深度学习系统更加有效的利用训练样本从而大幅度减少训练样本的数量以及人力标注的成本。跨域小样本图像识别是小样本图像识别中的一个特殊情况，该方法针对小样本图像识别领域中训练样本与测试样本来自于不同分布(域)的情况进行研究。由于现实中系统的部署环境常与训练环境大不相同，跨域小样本图像识别系统的研究更加具有现实意义以及广阔的研究价值。
[0003]尽管这个任务具有重要的研究意义，但依然很少有直接相关的研究工作。文献[1,2,3]等研究通过提升特征的泛化性来提升模型的可迁移性，但这类算法由于缺少目标域图像效果并不理想，文献[4、5]通过在测试集上进行微调来增强知识迁移，但微调操作增加了时间成本。
[0004]为了提升算法准确度与效率，我们主张在实际训练时搜集非常少量的目标域样本加入训练集，并将这部分数据称作额外目标域数据集[6]。
[0005]本方法将Mixup方法[7]引入跨域小样本图像识别系统中，与现有的Mixup方法不同，本专利技术提出能够针对不同的目标域数据集以及当前的模型状态动态生成Mixup的混合比例的动态Mixup比例生成模块以及双层meta
‑
learning生成模块。同时本方法提出使用包含源域分类任务、目标域分类任务以及混合图像分类任务的三任务图像分类网络Mixup
‑
3T充分利用通过动态Mixup算法生成的图片进行知识迁移。

技术实现思路

[0006]本专利技术的目的在于提供一种能够提升算法准确度与效率的基于目标引导动态Mixup的跨域小样本图像识别系统。
[0007]本专利技术提供的基于目标引导动态Mixup的跨域小样本图像识别系统，主张在源域数据集，少量来自于目标域的图像(额外目标域数据集)上训练，在目标域数据集上进行测试，提升跨域小样本图像识别系统的准确度与效率；具体包括以下三个模块：(1)Mixup
‑
3T图像分类模块；(2)动态Mixup混合比例生成模块；(3)双层meta
‑
learning训练模块；先通过动态Mixup混合比例生成模块生成目标引导的Mixup混合比例，之后将Mixup混合比例以及待分类的图像输入Mixup
‑
3T图像分类模块进行分类；通过双层meta
‑
learning训练模块训练动态Mixup混合比例生成模块以及Mixup
‑
3T图像分类模块；
[0008]所述动态Mixup混合比例生成模块，由三层全连接网络组成；通过动态Mixup混合比例生成模块生成目标引导的Mixup混合比例；
[0009]所述Mixup
‑
3T图像分类模块，包括特征提取网络、分类器；其将动态Mixup混合比例生成模块得到Mixup混合比例以及待分类的图像进行分类；
[0010]所述双层meta
‑
learning训练模块，用于训练所述Mixup
‑
3T图像分类模块和动态Mixup混合比例生成模块。
[0011]本专利技术中，所述Mixup
‑
3T图像分类模块，在训练、验证以及测试过程中接收不同输入，并得到相应的输出，具体如下：
[0012]在训练时，其输入为来自于源域的图像，来自于额外目标域的图像、输入的图像对应的标签，以及Mixup混合比例，输出为三任务分类损失其具体步骤如下：
[0013](1)根据输入的Mixup混合比例，根据Mixup
[1]，将输入的源域与目标域图像进行混合，生成混合后图像以及混合后的图像标签；
[0014](2)利用特征提取网络分别提取出源域图像、额外目标域图像以及混合后的图像的特征表示，特征提取网络可以是任意的特征提取网络，例如文[9]中的ResNet10；
[0015](3)将提取出源域图像、额外目标域图像以及混合后的图像的特征表示分别输入分类器中，得到图像在每个类别上的分类概率，根据图像对应的标签，利用Cross
‑
Entorpy算法,计算出源域图像、额外目标域图像以及混合后的图像的分类损失，将分类损失根据固定比例相加得到三任务分类损失L
FSL
，分类器可以是任意的分类器，例如文[3]中的GNN。
[0016]在验证时，其输入为额外目标域图像以及输入图像对应的标签，输出为在额外目标域数据上的分类验证损失，其具体步骤如下：
[0017](1)利用上文所述的相同特征提取网络提取出额外目标域图像的特征表示；
[0018](2)将提取出的额外目标域图像输入分类器中，得到图像在每个类别上的分类概率，根据图像对应的标签，利用Cross
‑
Entorpy算法,计算出3类图像的分类损失。
[0019]在测试时，其输入为用于测试的目标域图像，输出为输入图像对应的预测标签，其具体步骤如下：
[0020](1)利用上文所述的相同特征提取网络提取出额外目标域图像的特征表示；
[0021](2)将提取出的额外目标域图像输入分类器中，得到图像在每个类别上的分类概率，将分类概率最大的类别作为该图像的预测标签。
[0022]本专利技术中，所述动态Mixup混合比例生成模块，采用三层全连接网络，其输入为Mixup
‑
3T网络在额外目标域数据上的分类验证验证损失，输出为Mixup混合比例。
[0023]本专利技术中，所述双层meta
‑
learning训练模块，输入为源域数据集、额外目标域数据集，输出为训练好的Mixup
‑
3T网络参数，其具体步骤如下：
[0024](1)初始化Mixup
‑
3T图像分类模块，动态Mixup混合比例生成模块的网络参数；
[0025](2)从额外目标域数据集中随机采样出一个包含N*(k+q)张图片数据集其中N为总类别数，k为每个类别的训练样本，q为测试样本数；
[0026](3)将输入f
m3t
进行验证，计算验证损失；
[0027](4)将验证损失输入到动态Mixup混合比例生成模块g
G
，得到Mixup混合比例
[0028](5)从源数据集随机采样出一个包含N*(k+q)张图片集合E
S
，从额外目标域数据集以及额外目标域数据集中随机采样出一个包含N*(k+q)张图片数据集E
T
，从额外目标域数据集以及额外目标域数据集中随机采样出一个包含N*(k+q)张图片数据集E
T_val
；
[0029](6)复制Mixup
‑
3T，得到一个Mixup
...

【技术保护点】

【技术特征摘要】
1.一种基于目标引导动态Mixup的跨域小样本图像识别系统，其特征在于，在源域数据集，少量来自于目标域的图像上训练，在目标域数据集上进行测试，提升跨域小样本图像识别系统的准确度与效率；具体包括以下三个模块：(1)Mixup
‑
3T图像分类模块；(2)动态Mixup混合比例生成模块；(3)双层meta
‑
learning训练模块；所述动态Mixup混合比例生成模块，由三层全连接网络组成；通过动态Mixup混合比例生成模块生成目标引导的Mixup混合比例；所述Mixup
‑
3T图像分类模块，包括特征提取网络、分类器；其将动态Mixup混合比例生成模块得到Mixup混合比例以及待分类的图像进行分类；所述双层meta
‑
learning训练模块，用于训练所述Mixup
‑
3T图像分类模块和动态Mixup混合比例生成模块。2.根据权利要求1所述的跨域小样本图像识别系统，其特征在于，所述Mixup
‑
3T图像分类模块，在训练、验证以及测试过程中接收不同输入，并得到相应的输出，具体如下：在训练时，其输入为来自于源域的图像，来自于额外目标域的图像、输入的图像对应的标签，以及Mixup混合比例，输出为三任务分类损失其具体步骤如下：(1)根据输入的Mixup混合比例，根据Mixup，将输入的源域与目标域图像进行混合，生成混合后图像以及混合后的图像标签；(2)利用特征提取网络分别提取出源域图像、额外目标域图像以及混合后的图像的特征表示；(3)将提取出源域图像、额外目标域图像以及混合后的图像的特征表示分别输入分类器中，得到图像在每个类别上的分类概率，根据图像对应的标签，利用Cross
‑
Entorpy算法,计算出源域图像、额外目标域图像以及混合后的图像的分类损失，将分类损失根据固定比例相加得到三任务分类损失L
FSL
；在验证时，其输入为额外目标域图像以及输入图像对应的标签，输出为在额外目标域数据上的分类验证损失，其具体步骤如下：(1)利用所述的相同特征提取网络提取出额外目标域图像的特征表示；(2)将提取出的额外目标域图像输入分类器中，得到图像在每个类别上的分类概率，根据图像对应的标签，利用Cross
‑
Entorpy算法,计算出3类图像的分类损失；在测试时，其输入为用于测试的目标域图像，输出为输入图像对应的预测标签，其具体步骤如下：(1)利用所述的相同特征提取网络提取出额外目标域图像的特征表示；(2)将提取出的额外目标域图像输入分类器中，得到图像在每个类别上的分类概率，将分类概率最大的类别作为该图像的预测标签。3.根据权利要求2所述的跨域小样本图像识别系统，其特征在于，所述动态Mixup混合比例生成模块，采用三层全连接网络，其输入为Mixup
‑
3T网络在额外目标域数据上的分类验证验证损失，输出为Mixup混合比例。4.根据权利要求3所述的跨域小样本图像识别系统，其特征在于，所述双层meta
‑
learning训练模块，输入为源域数据集、额外目标域数据集，输出为训练好的Mixup
‑
3T网络参数，其具体步骤如下：(1)初始化Mixup
‑
3T图像分类模块，动态Mixup混合比例生成模块的网络参数；
(2)从额外目标域数据集中随机采样出一个包含N*(k+q)张图片数据集其中N为总类别数，k为每个类别的训练样本，q为测试样本数；(3)将输入f
m3t
进行验证，计算验证损失；(4)将验证损失输入到动态Mixup混合比例生成模块g
G
，得到Mixup混合比例(5)从源数据集随机采样出一个包含N*(k+q)张图片集合E
S
，从额外目标域数据集以及额外目标域数据集中随机采样出一个包含N*(k+q)张图片数据集E
T
，从额外目标域数据集以及额外目标域数据集中随机采样出一个包含N*(k+q)张图片数据集E
T_val
；(6)复制Mixup
‑
3T，得到一个Mixup
‑
3T的拷贝模型f
′
m3t
；(7)将E
S
、E
T
以及Mixup混合比例输入f
′
m3t
中进行训练，得到三任务分类损失(8)利用进行反向传播更新f
′
m3t
的参数；(9)将E
T_val
输入f
′
m3t
进行验证计算验证损失，并通过验证损失反向传播更新动态Mixup混合比例生成模块的参数；(10)将输入更新后的动态Mixup混合比例生成模块得到Mixup混合比例；(11)将E
S
、E
T
、Mixup混合比例输入f
m3t
，得到用反向传播更新f
m3t
；(12)将E
T_val
输入f
m3t
进行验证计算验证损失；(13)重复步骤(5)
‑
(12)，直到重复次数达到最大重复轮数。5.根据权利要求4所述的跨域小样本图像识别系统，其特征在于，所述所述特征提取网络采用ResNet10网络，所述分类器采用GNN分类器；系统的具体工作步骤如下：步骤1.初始化Mixup
‑
3T图像分类模块f
m3t
，动态Mixup混合比例生成模块的网络参数；步骤2.从额外目标域数据集中随机采样出一个包含N*(k+q)张图片数据集其中N为总类别数，k为每个类别的训练样本，q为测试样本数；N，k，q根据实际数据需要选取，将这N个类别重写为[0,1,
…<...

【专利技术属性】
技术研发人员：陈静静，卓林海，傅宇倩，姜育刚，
申请(专利权)人：复旦大学，
类型：发明
国别省市：