一种基于局部感知知识蒸馏网络的图像异常检测方法技术

本发明专利技术公开了一种基于局部感知知识蒸馏网络的图像异常检测方法。构建具有特征局部感知模块和难例感知损失函数的异常检测网络，将不异常图像输入训练，将实时测试图像输入到训练好的异常检测网络获得异常图判断检测异常；异常检测网络包括结构教师网络和学生网络，用特征局部感知操作模块获得包含局部信息的特征对应图；多层级难例感知特征损失下训练学生网络，同时保持教师网络不变，两网络特征损失较大为异常位置。本发明专利技术能够充分感知上下文特征信息和局部空间信息，提高了网络对结构化特征提取能力和结构化信息在异常检测任务中的作用，增强了网络对微小异常区域感知能力、网络对噪声适应性及对异常区域检测精度，也有效提高了网络泛化性能。提高了网络泛化性能。提高了网络泛化性能。

【技术实现步骤摘要】
一种基于局部感知知识蒸馏网络的图像异常检测方法


[0001]本专利技术涉及计算机视觉领域的一种图像检测方法，特别涉及一种基于局部感知知识蒸馏网络的图像异常检测方法。

技术介绍

[0002]异常检测的主要任务是识别与常规模式不同的情形，广泛应用于视频监控、产品质量控制、医学诊断等领域。传统的异常检测方法依赖手工特征，不能有效应用于复杂多样的检测场景。深度学习方法能够自主提取缺陷图像高维特征，近年来受到了广泛探索。然而，由于异常数据种类的多样性以及异常数据样本的缺乏，有监督的深度学习方法不能有效处理异常检测场景。虽然知识蒸馏模型能够仅在正样本基础上实现无监督训练，但是该网络模型依赖教师网络和学生网络提取的特征图，仅通过两个特征图对应的单个像素位置差异判断异常位置，不能有效利用图像的上下文信息，限制了网络对结构化特征的提取能力。另外，知识蒸馏网络模型仅仅依赖对应像素的距离构建损失函数，模糊了异常区域和正常区域之间的差异性，不能有效挖掘困难样本对网络优化的作用，不利于提升异常检测的定位精度。

技术实现思路

[0003]本专利技术的目的是为了解决
技术介绍
而提出的一种基于局部感知知识蒸馏网络的异常检测方法，通过构建特征局部感知模块提取知识蒸馏网络的上下文信息，增强网络对结构化特征的提取能力。另外，构建的难例感知损失函数扩大了异常区域损失和正常区域损失的距离，提高了困难样本对网络损失的贡献度。
[0004]为了实现上述目的，本专利技术采用的技术方案为：
[0005]步骤1：构建具有特征局部感知模块和难例感知损失函数的异常检测网络；
[0006]步骤2：将不存在异常的历史图像输入异常检测网络后进行训练；
[0007]步骤3：采集待测场景下的实时图像，输入到训练后的异常检测网络中，检测输出异常图，根据异常图判断检测异常。
[0008]所述的历史图像和实时图像均为二维图像。
[0009]所述的异常是指和绝大部分时间下的情形不同的情形，根据具体需求自行定义。
[0010]所述的异常检测网络如图4所示，包括教师网络、学生网络、多个特征局部感知模块和多个难例感知损失函数；
[0011]所述的教师网络主要由连续四个卷积模块Tconv1～Tconv4依次连接构成，所述的学生网络主要由连续四个卷积模块Sconv1～Sconv4依次连接构成，卷积模块Tconv1～Tconv4和卷积模块Sconv1～Sconv4相对应，每个卷积模块均由多个卷积块依次连接构成，每个卷积块均由多个连续依次进行的卷积操作构成；
[0012]输入的图像分别输入到教师网络、学生网络中，将教师网络的第二个卷积模块Tconv2和学生网络的第二个卷积模块Sconv2输出的高维特征图经各自的特征局部感知模
块后获得各自的局部感知特征图并输入到第一个难例感知损失函数中，由第一个难例感知损失函数输出第一个特征距离图；
[0013]输入的图像分别输入到教师网络、学生网络中，将教师网络的第三个卷积模块Tconv3和学生网络的第三个卷积模块Sconv3输出的高维特征图经各自的特征局部感知模块后获得各自的局部感知特征图并输入到第二个难例感知损失函数中，由第二个难例感知损失函数输出第二个特征距离图；
[0014]输入的图像分别输入到教师网络、学生网络中，将教师网络的第四个卷积模块Tconv4和学生网络的第四个卷积模块Sconv4输出的高维特征图各自的特征局部感知模块后获得各自的局部感知特征图并输入到第三个难例感知损失函数中，由第三个难例感知损失函数输出第三个特征距离图；
[0015]将三个特征距离图O2、O3和O4相乘即可得到异常图O。
[0016]所述的根据异常图判断检测异常，具体为：遍历异常图O中每个特征位置，若存在一个特征位置的值大于预设的异常阈值，则认为异常图O中存在异常，即实时图像存在异常。
[0017]所述步骤2中，在训练过程中，由每个特征距离图分别计算各自的难例感知损失，结合三个特征距离图对应的三个难例感知损失直接相加获得总损失，以总损失最小化为目标对异常检测网络进行训练，优化异常检测网络的参数。
[0018]所述的特征局部感知模块具体为：
[0019]S1、以高维特征图的每个通道作为一个特征通道图，遍历高维特征图中的每个特征通道图：
[0020]S2、遍历特征通道图中的每个特征位置(i,j)，在每个特征位置(i,j)下进行以下处理：以特征位置(i,j)为中心在周围建立搜索范围搜索邻域点，搜索范围的高为h、宽为w，取搜索范围内所有邻域点的最大值作为特征位置(i,j)的局部感知特征；
[0021]S3、为特征通道图上的每个特征位置重复上述步骤遍历特征通道图中的每个特征位置(i,j)，从而获取遍历特征通道图中各个特征位置(i,j)的局部感知特征；
[0022]S4、为网络高维特征的每个通道重复执行步骤遍历高维特征图中的每个特征通道图，进而获得高维特征图中每个特征通道图的每个特征位置(i,j)的局部感知特征，最终组成了高维特征图的局部感知特征图。
[0023]当特征位置(i,j)位于边缘位置时，在搜索范围内的不具有特征位置之处添加0像素，使得整个特征图能够使用相同尺寸的搜索范围。
[0024]由第一个难例感知损失函数输出第一个特征距离图、由第二个难例感知损失函数输出第二个特征距离图、由第三个难例感知损失函数输出第三个特征距离图的处理均相同，由难例感知损失函数输出特征距离图具体均为：
[0025]S1、根据教师网络和学生网络获得的高维特征图在每个特征位置(i,j)处的特征向量进行正则化处理，获得教师网络和学生网络对应的特征位置(i,j)处的正则化向量和
[0026][0027][0028]其中，F
t
(I)表示教师网络获得的高维特征图，F
s
(I)表示学生网络获得的高维特征图，F
t
(I)
ij
表示教师网络获得的高维特征图在特征位置(i,j)处的教师特征向量，F
s
(I)
ij
表示学生网络获得的高维特征图在特征位置(i,j)处的学生特征向量，和分别表示教师网络和学生网络对应的特征位置(i,j)处的正则化向量，I表示输入图像；
[0029]S2、根据教师网络和学生网络对应的每个特征位置(i,j)处的正则化向量和按照以下公式计算每个特征位置(i,j)处的特征距离dis(I)
ij
，进而由所有特征位置(i,j)处的特征距离dis(I)
ij
组成获得特征距离图：
[0030][0031]其中，dis(I)
ij
表示特征位置(i,j)处的特征距离，表示L2范数。
[0032]所述的由每个特征距离图分别计算各自的难例感知损失，具体为：
[0033]S1、遍历特征距离图上的每个特征位置(i,j)，先利用教师网络和学生网络相同特征位置(i,j)处的距离dis本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于局部感知知识蒸馏网络的异常检测方法，其特征在于：步骤1：构建具有特征局部感知模块和难例感知损失函数的异常检测网络；步骤2：将不存在异常的历史图像输入异常检测网络后进行训练；步骤3：采集待测场景下的实时图像，输入到训练后的异常检测网络中，检测输出异常图，根据异常图判断检测异常。2.根据权利要求1所述的一种基于局部感知知识蒸馏网络的异常检测方法，其特征在于：所述的异常检测网络包括教师网络、学生网络、多个特征局部感知模块和多个难例感知损失函数；所述的教师网络主要由连续四个卷积模块Tconv1～Tconv4依次连接构成，所述的学生网络主要由连续四个卷积模块Sconv1～Sconv4依次连接构成，每个卷积模块均由多个卷积块依次连接构成，每个卷积块均由多个连续依次进行的卷积操作构成；输入的图像分别输入到教师网络、学生网络中，将教师网络的第二个卷积模块Tconv2和学生网络的第二个卷积模块Sconv2输出的高维特征图经各自的特征局部感知模块后获得各自的局部感知特征图并输入到第一个难例感知损失函数中，由第一个难例感知损失函数输出第一个特征距离图；输入的图像分别输入到教师网络、学生网络中，将教师网络的第三个卷积模块Tconv3和学生网络的第三个卷积模块Sconv3输出的高维特征图经各自的特征局部感知模块后获得各自的局部感知特征图并输入到第二个难例感知损失函数中，由第二个难例感知损失函数输出第二个特征距离图；输入的图像分别输入到教师网络、学生网络中，将教师网络的第四个卷积模块Tconv4和学生网络的第四个卷积模块Sconv4输出的高维特征图各自的特征局部感知模块后获得各自的局部感知特征图并输入到第三个难例感知损失函数中，由第三个难例感知损失函数输出第三个特征距离图；将三个特征距离图O2、O3和O4相乘即可得到异常图O。3.根据权利要求2或3所述的一种基于局部感知知识蒸馏网络的异常检测方法，其特征在于：所述的根据异常图判断检测异常，具体为：遍历异常图O中每个特征位置，若存在一个特征位置的值大于预设的异常阈值，则认为异常图O中存在异常，即实时图像存在异常。4.根据权利要求1所述的一种基于局部感知知识蒸馏网络的异常检测方法，其特征在于：所述步骤2中，在训练过程中，由每个特征距离图分别计算各自的难例感知损失，结合三个特征距离图对应的三个难例感知损失获得总损失，以总损失最小化为目标对异常检测网络进行训练，优化异常检测网络的参数。5.根据权利要求1所述的一种基于局部感知知识蒸馏网络的异常检测方法，其特征在于：所述的特征局部感知模块具体为：S1、以高维特征图的每个通道作为一个特征通道图：S2、在每个特征位置(i,j)下进行以下处理：以特征位置(i,j)为中心在周围建立搜索范围搜索邻域点，搜索范围的高为h、宽为w，取搜...

【专利技术属性】
技术研发人员：宋亚楠，刘贤斐，鲁鹏，沈卫明，
申请(专利权)人：浙江大学计算机创新技术研究院，
类型：发明
国别省市：