一种保守渐进的领域自适应图像分类方法和装置制造方法及图纸

本发明专利技术公开了一种保守渐进的领域自适应图像分类方法和装置，包括：获取带有标签的源域图像

【技术实现步骤摘要】
一种保守渐进的领域自适应图像分类方法和装置


[0001]本专利技术属于图像分类
，具体涉及一种保守渐进的领域自适应图像分类方法和装置
。

技术介绍

[0002]近年来，尽管深度神经网络在目前取得了巨大的成功，但其通常需要大量的有标记图像，且图像数据在训练和测试时被假设服从相同的分布
。
然而，图像数据标签的收集通常是费时又费力的，同时的图像数据分布通常也并不能满足假设
。
图像数据分布与时间
、
地点或其他动态因素相关，随着动态因素变化
。
为了解决这些问题，领域自适应提供了一种将学到的知识从减少标记的源域迁移到未标记的目标域的技术，从而能够降低模型在图像数据分布发生变化的情况下性能的下降，并做到从过去学习知识
。
[0003]大多数领域自适应方法一个关键的问题是需要在测试期间访问源域图像数据，同时由于源源不断地新的训练图像数据的到来，模型容易发生灾难性遗忘
。
如公开号为
CN113869384A
的专利文献公开的一种基于领域自适应的隐私保护图像分类方法，首先对数据作预处理以规范数据，数据集要求至少一个有标签的数据集和多个无标签的数据集；然后给出适用于图像数据的差分隐私定义，并对数据加入噪声扰动以满足差分隐私的要求；最后对噪声扰动后的数据进行可用性衡量以保证数据的可用性
。
第二部分：首先运用概率分布的矩母函数确定适当的特征变换维度，将数据映射到新的特征空间；其次运用第一部分获取的有标签数据在映射后的特征空间训练图像分类模型
Cy
；然后运用生成对抗网络增强数据从属数据集的不可区分性；最后运用
Cy
对无标签数据分类
。
[0004]由于其相关性和实际需求，进化领域自适应（
Evolving Domain Adaptation
，
EDA
）被提出
。
在
EDA
问题训练期间，可以访问来自源域的部分标记示例，以及来自目标域的部分目标未标记图像数据，这些图像数据在元训练（
Meta
‑
Training
，简称
Meta
‑
训练）阶段随着时间的推移而进化
。
元测试（
Meta
‑
Testing
，简称
Meta
测试）阶段的新目标图像数据从相同的进化目标分布中顺序地在线到达，并且不能被存储
。
值得注意的是，同时也不能访问源域图像数据并且在线到达的目标图像数据的数目是无限制的
。
因此，
EDA
问题给在不断进化的环境下的领域自适应学习带来了新的挑战
。

技术实现思路

[0005]鉴于上述，本专利技术的目的是提供一种保守渐进的领域自适应图像分类方法和装置，通过保守渐进的领域自适应学习来提高图像分类的准确性
。
[0006]为实现上述专利技术目的，本专利技术实施例提供的一种保守渐进的领域自适应图像分类方法，包括以下步骤：获取带有标签的源域图像
、
来自于目标域支持集的无标签的第一目标域图像
、
以及来自于目标域查询集的无标签的第二目标域图像；基于源域图像在特征提取器的图像特征构建类别原型，基于第一目标域图像与类
别原型的距离确定第一目标域图像的伪标签并更新类别原型，基于更新的类别原型在分类器的分类结果构建重放损失，基于重放损失构建内循环损失并基于内循环损失在内循环中更新分类器参数；提取源域图像和第二目标域图像在特征提取器的图像特征，并引入自编码器基于图像特征构建稀疏掩码，基于稀疏掩码对图像特征进行掩码得到掩码特征，基于掩码特征在分类器的分类结果构建外循环损失，并基于外循环损失在外循环中更新特征提取器参数和自编码器参数；提取参数更新后的特征提取器和分类器组成图像分类模型，利用图像分类模型进行图像分类
。
[0007]优选地，所述基于源域图像在特征提取器的图像特征构建类别原型，包括：提取每张源域图像在特征提取器的图像特征，对属于同一类别的所有源域图像的图像特征求和后再取平均得到的结果作为一个类别原型
。
[0008]优选地，所述基于第一目标域图像与类别原型的距离确定第一目标域图像的伪标签并更新类别原型，包括：预设距离阈值，针对每张第一目标域图像，计算第一目标域图像与各类别原型的距离，计算每两类别原型对应距离之差，当距离之差大于距离阈值时，以计算距离之差的两个距离中的小距离对应的类别原型为第一目标域图像的伪标签，否则第一目标域图像的伪标签为0；采用以下公式基于伪标签更新类别原型：；其中，表示第个类别对应的类别原型，符号表示更新，为权重函数，取值为
[0.3,0.7]，表示指示函数，当满足第
i
个第一目标域图像的伪标签大于0时，则取值为1，否则取值为0，表示第
i
个第一目标域图像在特征提取器的图像特征
。
[0009]优选地，所述基于更新的类别原型在分类器的分类结果构建重放损失，包括：；其中，表示重放损失，表示类别索引，
K
表示总类别数量，表示更新的类别原型，表示在参数为的分类器的分类结果，和表示调节参数，表示交叉熵损失
。
[0010]优选地，所述基于重放损失构建内循环损失并基于内循环损失在内循环中更新分类器参数，包括：；；其中，表示内循环损失，分别表示源域图像及对应的标签，表示第一
目标域图像，表示第
l
次迭代时分类器的分类结果，表示
L1
范数，表示求最大均值差异，表示第
l
轮次时重放损失的权重参数，表示对求梯度，表示调节参数，和分别表示第
l
次迭代和第
l+1
次迭代时分类器参数，符号表示更新
。
[0011]优选地，所述引入自编码器基于图像特征构建稀疏掩码，包括：；其中，表示第
l
次迭代时第
i
个输入图像的图像特征经过自编码器的编码部分的编码结果，
B
表示一个批次输入图像总量，表示函数，表示经过自编码器的解码部分的解码结果，表示二值化函数，当括号中结果小于
0.5
时取值为0，大于
0.5
时取值为1，表示第
l
次迭代时稀疏掩码
。
[0012]优选地，所述基于稀疏掩码对图像特征进行掩码得到掩码特征，包括：将图像特征与基于图像特征通过自编码器构建的稀疏矩阵相乘实现掩码操作，得到掩码特征
。
[0013]优选地，所述基于掩码特征在分类器的分类结果构建外循环损失，并基于外循环损失在外循环中更新特征提取器参数和自编码器参数，包括：；；其中，表示外循环损失，表示源域图像，和表示第
i
‑1个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种保守渐进的领域自适应图像分类方法，其特征在于，包括以下步骤：获取带有标签的源域图像
、
来自于目标域支持集的无标签的第一目标域图像
、
以及来自于目标域查询集的无标签的第二目标域图像；基于源域图像在特征提取器的图像特征构建类别原型，基于第一目标域图像与类别原型的距离确定第一目标域图像的伪标签并更新类别原型，基于更新的类别原型在分类器的分类结果构建重放损失，基于重放损失构建内循环损失并基于内循环损失在内循环中更新分类器参数；提取源域图像和第二目标域图像在特征提取器的图像特征，并引入自编码器基于图像特征构建稀疏掩码，基于稀疏掩码对图像特征进行掩码得到掩码特征，基于掩码特征在分类器的分类结果构建外循环损失，并基于外循环损失在外循环中更新特征提取器参数和自编码器参数；提取参数更新后的特征提取器和分类器组成图像分类模型，利用图像分类模型进行图像分类
。2.
根据权利要求1所述的保守渐进的领域自适应图像分类方法，其特征在于，所述基于源域图像在特征提取器的图像特征构建类别原型，包括：提取每张源域图像在特征提取器的图像特征，对属于同一类别的所有源域图像的图像特征求和后再取平均得到的结果作为一个类别原型
。3.
根据权利要求1所述的保守渐进的领域自适应图像分类方法，其特征在于，所述基于第一目标域图像与类别原型的距离确定第一目标域图像的伪标签并更新类别原型，包括：预设距离阈值，针对每张第一目标域图像，计算第一目标域图像与各类别原型的距离，计算每两类别原型对应距离之差，当距离之差大于距离阈值时，以计算距离之差的两个距离中的小距离对应的类别原型为第一目标域图像的伪标签，否则第一目标域图像的伪标签为0；采用以下公式基于伪标签更新类别原型：；其中，表示第个类别对应的类别原型，符号表示更新，为权重函数，表示指示函数，当满足第
i
个第一目标域图像的伪标签大于0时，则取值为1，否则取值为0，表示第
i
个第一目标域图像在特征提取器的图像特征
。4.
根据权利要求1所述的保守渐进的领域自适应图像分类方法，其特征在于，所述基于更新的类别原型在分类器的分类结果构建重放损失，包括：；其中，表示重放损失，表示类别索引，
K
表示总类别数量，表示更新的类别原型，表示在参数为的分类器的分类结果，和表示调节参数，表示交叉熵损失
。5.
根据权利要求1所述的保守渐进的领域自适应图像分类方法，其特征在于，所述基于
重放损失构建内循环损失并基于内循环损失在内循环中更新分类器参数，包括：；；其中，表示内循环损失，分别表示源域图像及对应的标签，表示第一目标域图像，表示第
l
次迭代时分类器的分类结果，表示
L1
范数，表示求最大均值差异，表示第
l
轮次时重放损失的权重参数，表示对求梯度，表示调节参数，和分别表示第
l
次迭代和第
l+1
次迭代时分类器参数，符号表示更新
。6.
根据权利要求1所述的保守渐进的领域自适应图像分类方法，其特征在于，所述引入自编码器基于图像特...

【专利技术属性】
技术研发人员：程乐超，黄心阳，周子寅，方超伟，方一向，
申请(专利权)人：之江实验室，
类型：发明
国别省市：