异常图像检测方法及装置制造方法及图纸

本发明专利技术是关于一种异常图像检测方法和装置，方法包括：在目标分类模型训练过程中，获取有标记的源域样本图像和无标记的目标域样本图像；使用源域样本图像训练目标分类模型中的第一标签分类器和特征提取器；使用所述特征提取器提取所述目标域样本图像中每个图片的图片特征；根据每个图片的图片特征计算对应的熵和能量函数，以确定所述目标域样本图像中的正常类别图片和异常类别图片；使用所述第一标签分类器对所述正常类别图片进行分类，以确定每个正常类别图片的伪标记；根据所述正常类别图片的伪标记和所述异常类别图片进行度量学习，以确定度量学习的对比损失；根据所述对比损失优化所述目标分类模型。优化所述目标分类模型。优化所述目标分类模型。

【技术实现步骤摘要】
异常图像检测方法及装置


[0001]本专利技术涉及图像识别
，尤其涉及一种异常图像检测方法和装置。

技术介绍

[0002]视觉异常检测是指对数据集中异常图像进行检测，也就是发现与大部分图像不同的图像，或是以往数据集中从未出现过的图像数据。随着大数据时代的到来，智能化识别数据集中的异常图片变得越来越重要。智能化的视觉异常检测系统不仅能辅助人们提高异常检测的效率和准确率，在出现异常时，及时提醒人们；还可以减少人工检查带来的大量的资源浪费。由于异常图片数据的罕见性，多样性以及与正常图像的相似性，视觉异常检测是一项具有挑战性的任务。更具体地说，异常图像是以往数据集中从未出现过的新类，比如医学影像数据集中的新冠肺炎图像。因此，要收集所有可能出现的异常图像是不现实的，这使得传统的监督学习方法不适合，因为，它无法明确地判断出异常图片。而异常图像有时候和正常图像具有很高的相似性，比如新出现的新冠肺炎和普通肺炎的医学影像数均分布就十分相似，因此，传统的异常检测方法很难精确地辨别出异常图片。

技术实现思路

[0003]为克服相关技术中存在的问题，本专利技术提供一种异常图像检测方法和装置。
[0004]根据本专利技术实施例的第一方面，提供一种异常图像检测方法，方法包括：在目标分类模型训练过程中，获取有标记的源域样本图像和无标记的目标域样本图像；使用源域样本图像训练目标分类模型中的第一标签分类器和特征提取器；使用所述特征提取器提取所述目标域样本图像中每个图片的图片特征；根据每个图片的图片特征计算对应的熵和能量函数，以确定所述目标域样本图像中的正常类别图片和异常类别图片；使用所述第一标签分类器对所述正常类别图片进行分类，以确定每个正常类别图片的伪标记；根据所述正常类别图片的伪标记和所述异常类别图片进行度量学习，以确定度量学习的对比损失；根据所述对比损失优化所述目标分类模型。
[0005]在一个实施例中，优选地，所述目标分类模型中还包括对抗域判别器，用于将所述目标域样本图像和所述源域样本图像进行对齐；根据所述对比损失优化所述目标分类模型，包括：确定所述第一标签分类器的分类损失；确定所述对抗域判别器的对抗损失；根据所述对比损失、所述分类损失和所述对抗损失确定整体损失；根据所述整体损失优化所述目标分类模型。
[0006]在一个实施例中，优选地，根据每个图片的图片特征计算对应的熵和能量函数，以确定所述目标域样本图像中的正常类别图片和异常类别图片，包括：根据每个图片的图片特征，采用多个第二标签分类器分别计算对应的熵和能量函数，和一致性得分；根据所述多个第二标签分类器计算的熵和能量函数，确定每个图片对应的最终熵和最终能量函数；当图片对应的最终熵大于第一阈值，最终能量函数小于第二阈值且一致性得分大于第三阈值时，将所述图片确定为异常图片，否则，将所述图片确定为正常图片。
[0007]在一个实施例中，优选地，根据所述正常类别图片的伪标记和所述异常类别图片进行度量学习，以确定度量学习的对比损失，包括：根据所述正常类别图片的伪标记和所述异常类别图片生成样本对集合，其中，样本对集合中包括任意两个图片组成的样本对；根据每个样本对中两个图片的类别，确定对比损失，其中，采用以下计算公式计算对比损失：其中，表示所述对比损失，D
ij
表示所述样本对中的图片i和图片j之间的距离，y
ij
=1表示所述样本对中的图片i和图片j属于同一个类别，是正样本对，y
ij
=0表示所述样本对中图片i和图片j不属于同一个类别，是负样本对，m表示距离阈值，[]+
表示hinge函数，[m
‑
D
ij
]+
=max(0, m
‑
D
ij
)。
[0008]在一个实施例中，优选地，所述方法还包括：在模型测试过程中，使用目标特征提取器提取测试用目标域数据集中每个图片的图片特征；将每个图片的图片特征输入所述第一标签分类器和所述多个第二标签分类器，以分别得到每个图片属于每个正常类别的预测概率以及样本一致性得分、熵和能量函数；根据所述样本一致性得分、熵和能量函数确定所述图片是否属于异常类别。
[0009]根据本专利技术实施例的第二方面，提供一种异常图像检测装置，所述装置包括：获取模块，用于在目标分类模型训练过程中，获取有标记的源域样本图像和无标记的目标域样本图像；训练模块，用于使用源域样本图像训练目标分类模型中的第一标签分类器和特征提取器；第一提取模块，用于使用所述特征提取器提取所述目标域样本图像中每个图片的图片特征；第一确定模块，用于根据每个图片的图片特征计算对应的熵和能量函数，以确定所述目标域样本图像中的正常类别图片和异常类别图片；标记模块，用于使用所述第一标签分类器对所述正常类别图片进行分类，以确定每个正常类别图片的伪标记；学习模块，用于根据所述正常类别图片的伪标记和所述异常类别图片进行度量学
习，以确定度量学习的对比损失；优化模块，用于根据所述对比损失优化所述目标分类模型。
[0010]在一个实施例中，优选地，所述目标分类模型中还包括对抗域判别器，用于将所述目标域样本图像和所述源域样本图像进行对齐；所述优化模块包括：第一确定单元，用于确定所述第一标签分类器的分类损失；第二确定单元，用于确定所述对抗域判别器的对抗损失；第三确定单元，用于根据所述对比损失、所述分类损失和所述对抗损失确定整体损失；优化单元，用于根据所述整体损失优化所述目标分类模型。
[0011]在一个实施例中，优选地，所述第一确定模块包括：第一计算单元，用于根据每个图片的图片特征，采用多个第二标签分类器分别计算对应的熵和能量函数，和一致性得分；第二计算单元，用于根据所述多个第二标签分类器计算的熵和能量函数，确定每个图片对应的最终熵和最终能量函数；第四确定单元，用于当图片对应的最终熵大于第一阈值，最终能量函数小于第二阈值且一致性得分大于第三阈值时，将所述图片确定为异常图片，否则，将所述图片确定为正常图片。
[0012]在一个实施例中，优选地，所述学习模块用于：根据所述正常类别图片的伪标记和所述异常类别图片生成样本对集合，其中，样本对集合中包括任意两个图片组成的样本对；根据每个样本对中两个图片的类别，确定对比损失，其中，采用以下计算公式计算对比损失：其中，表示所述对比损失，D
ij
表示所述样本对中的图片i和图片j之间的距离，y
ij
=1表示所述样本对中的图片i和图片j属于同一个类别，是正样本对，y
ij
=0表示所述样本对中图片i和图片j不属于同一个类别，是负样本对，m表示距离阈值，[]+
表示hinge函数，[m
‑
D
ij
]+
=max(0, m
‑
D
ij
)。
[0013]在一个实施例中，优选地，所述装置还包括：第二提取模块，用于在模型测试过程中，使用目标特征提取器提取测试用目标域数据集中每个图片的图片本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常图像检测方法，其特征在于，所述方法包括：在目标分类模型训练过程中，获取有标记的源域样本图像和无标记的目标域样本图像；使用源域样本图像训练目标分类模型中的第一标签分类器和特征提取器；使用所述特征提取器提取所述目标域样本图像中每个图片的图片特征；根据每个图片的图片特征计算对应的熵和能量函数，以确定所述目标域样本图像中的正常类别图片和异常类别图片；使用所述第一标签分类器对所述正常类别图片进行分类，以确定每个正常类别图片的伪标记；根据所述正常类别图片的伪标记和所述异常类别图片进行度量学习，以确定度量学习的对比损失；根据所述对比损失优化所述目标分类模型。2.根据权利要求1所述的方法，其特征在于，所述目标分类模型中还包括对抗域判别器，用于将所述目标域样本图像和所述源域样本图像进行对齐；根据所述对比损失优化所述目标分类模型，包括：确定所述第一标签分类器的分类损失；确定所述对抗域判别器的对抗损失；根据所述对比损失、所述分类损失和所述对抗损失确定整体损失；根据所述整体损失优化所述目标分类模型。3.根据权利要求1所述的方法，其特征在于，根据每个图片的图片特征计算对应的熵和能量函数，以确定所述目标域样本图像中的正类别常图片和异常类别图片，包括：根据每个图片的图片特征，采用多个第二标签分类器分别计算对应的熵和能量函数，和一致性得分；根据所述多个第二标签分类器计算的熵和能量函数，确定每个图片对应的最终熵和最终能量函数；当图片对应的最终熵大于第一阈值，最终能量函数小于第二阈值且一致性得分大于第三阈值时，将所述图片确定为异常图片，否则，将所述图片确定为正常图片。4.根据权利要求1所述的方法，其特征在于，根据所述正常类别图片的伪标记和所述异常类别图片进行度量学习，以确定度量学习的对比损失，包括：根据所述正常类别图片的伪标记和所述异常类别图片生成样本对集合，其中，样本对集合中包括任意两个图片组成的样本对；根据每个样本对中两个图片的类别，确定对比损失，其中，采用以下计算公式计算对比损失：其中，表示所述对比损失，D
ij
表示所述样本对中的图片i和图片j之间的距离，y
ij =1表示所述样本对中的图片i和图片j属于同一个类别，是正样本对，y
ij =0表示所述样本对中图片i和图片j不属于同一个类别，是负样本对，m表示距离阈值，[]
+
表示hinge函数，
[m
‑
D
ij
]
+
=max(0, m
‑
D
ij
)。5.根据权利要求3所述的方法，其特征在于，所述方法还包括：在模型测试过程中，使用目标特征提取器提取测试用目标域数据集中每个图片的图片特征；将每个图片的图片特征输入所述第一标签分类器和所述多个第二标签分类器，以分别得到每个图片属于每个正常类别的预测概率以及样本一致性得分、熵和能量函数；根据所述样本一致性得分、熵和能量函数确定所述图片是否属于异常类别。6.一种异常图像检测装置，其特征在于，所述装置包括：获...

【专利技术属性】
技术研发人员：张凯，苏皖，王潇涵，杨光远，房体品，魏红雷，孔妍，张梅玉，牛德奎，
申请(专利权)人：广东众聚人工智能科技有限公司，
类型：发明
国别省市：