检测异常对象的方法、装置和存储介质制造方法及图纸

公开了检测异常对象的方法、装置和存储介质。该方法包括：拍摄某一场景的图像；计算拍摄图像与参考图像之间的差图像，差图像指示拍摄图像与参考图像之间的像素级差异；由神经网络的第一编码器、第二编码器、第三编码器分别针对参考图像、拍摄图像、差图像提取具有多个尺寸的多个特征图；将编码器各自提取的具有相同尺寸的特征图进行融合，融合的特征图被输入神经网络的解码器；由解码器基于融合的特征图生成与拍摄图像尺寸相同的变化图，变化图中的每个像素的值指示拍摄图像中的像素相对于参考图像中的对应像素是否发生语义变化；以及基于变化图来识别场景中出现的异常对象。变化图来识别场景中出现的异常对象。变化图来识别场景中出现的异常对象。

【技术实现步骤摘要】
检测异常对象的方法、装置和存储介质


[0001]本公开内容总体上涉及图像处理，更具体地，涉及在图像中检测异常对象的方法、装置和存储介质。

技术介绍

[0002]目前已经提出了保障公共安全的各种技术，其中重要的一种技术是监视特定环境以发现其中出现的异常对象。例如，监视道路上出现的异常物体，诸如动物，雪堆，遗落物等。异常对象检测任务富有挑战性。一方面，异常对象的种类、外形、尺寸等特征多种多样，因此很难被准确定义。另一方面，收集各种异常对象的数据并进行人工标注非常耗费时间和人力，因此现有的关于异常对象检测的研究通常是将异常对象当作未知物，即，异常对象是训练数据中不存在的类别。
[0003]目前的一些异常对象检测方法采用基于深度学习的图像生成和图像分割技术，并且基于以下认识：由于训练数据不包括异常对象，因此使用训练数据得到的图像分割模型只能分割已知对象，并且使用训练数据得到的图像生成模型只能生成已知对象。然后，将模型生成的图像与原始图像进行比较，未被重建出来的区域就对应于异常对象。在Krzysztof Lis等人的论文“Detecting the Unexpected via Image Resynthesis”(IEEE/CVF计算机视觉国际会议(ICCV)论文集，2019)中描述了一种这样的检测方法(DUIR)。
[0004]另一些检测方法考虑模型的输出，并且基于以下认识：在模型预测图像中的特定像素属于各种已知类别的概率时，如果该特定像素对应于已知对象，则模型预测的分类概率相对较高。如果该特定像素对应于未知对象，则模型预测的分类概率相对较低。因此可以根据小于特定阈值的预测概率来确定与未知的异常对象对应的像素，进而确定图像中异常对象的位置。
[0005]现有检测方法的优点在于可以使用单个图像来确定异常对象出现的位置，但是这些基于单个图像的异常检测方法的泛化性和鲁棒性很差，容易受到环境的影响而产生漏识和误识。

技术实现思路

[0006]针对上述技术问题，本公开内容提出了一种新的异常对象检测方案，其利用两个图像之间的低级差异，通过具有新颖结构的神经网络来实现异常对象的识别。该方案具有显著提高的鲁棒性和泛化性。
[0007]根据本专利技术的一个方面，提供了一种利用神经网络检测异常对象的方法，包括：拍摄某一场景的图像；计算拍摄图像与参考图像之间的差图像，其中，差图像指示拍摄图像与参考图像之间的像素级差异；由神经网络的第一编码器针对参考图像提取具有多个尺寸的多个特征图，由神经网络的第二编码器针对拍摄图像提取具有所述多个尺寸的多个特征图，并且由神经网络的第三编码器针对差图像提取具有所述多个尺寸的多个特征图；将第一编码器、第二编码器和第三编码器各自提取的具有相同尺寸的特征图进行融合，并且将
融合的特征图输入神经网络的解码器；由解码器基于融合的特征图生成与拍摄图像尺寸相同的变化图，其中，变化图中的每个像素的值指示拍摄图像中的像素相对于参考图像中的对应像素是否发生语义变化；以及基于变化图来识别场景中出现的异常对象。
[0008]根据本专利技术的另一个方面，提供了一种利用神经网络检测异常对象的装置，包括：存储有计算机程序的存储器；以及处理器，处理器被配置为通过执行计算机程序而执行以下操作：计算针对某一场景拍摄的图像与参考图像之间的差图像，其中，差图像指示拍摄图像与参考图像之间的像素级差异；使神经网络的第一编码器针对参考图像提取具有多个尺寸的多个特征图；使神经网络的第二编码器针对拍摄图像提取具有所述多个尺寸的多个特征图；使神经网络的第三编码器针对差图像提取具有所述多个尺寸的多个特征图；将第一编码器、第二编码器和第三编码器各自提取的具有相同尺寸的特征图进行融合，并且将融合的特征图输入神经网络的解码器；使解码器基于融合的特征图生成与拍摄图像尺寸相同的变化图，其中，变化图中的每个像素的值指示拍摄图像中的像素相对于参考图像中的对应像素是否发生语义变化；以及基于变化图来识别场景中出现的异常对象。
[0009]根据本专利技术的另一个方面，提供了一种存储有计算机程序的存储介质，所述计算机程序在被计算机执行时使得所述计算机执行如上所述的用于检测异常对象的方法。
附图说明
[0010]图1示意性地示出了根据本公开内容的异常对象检测方案的框架。
[0011]图2示出了图1中的各个图像的示例。
[0012]图3示意性地示出了根据本公开内容的神经网络的架构。
[0013]图4示意性地示出了根据本公开内容的检测异常对象的方法的流程图。
[0014]图5A
‑
图5C示出了根据本公开内容的方案与现有技术DUIR的识别结果的比较。
[0015]图6示出了实现本专利技术的计算机硬件的示例性配置框图。
具体实施方式
[0016]图1示意性地示出了根据本公开内容的异常对象检测方案的框架，图2示出了图1中的各个图像的示例。
[0017]如图1所示，基于预先确定的参考图像和当前拍摄的图像来生成二者之间的差图像。参考图像和拍摄图像可以是在不同时间针对同一场景拍摄的图像。优选地，参考图像和拍摄图像是配准的，以便于计算差图像。在参考图像与拍摄不配准的情况下，可以对拍摄图像应用适当的图像处理技术以使其与参考图像配准。鉴于图像配准方法是本领域中的公知技术，本公开内容中将省略其具体描述。此外，在本公开内容中，场景可以包括但不限于道路、航道、建筑物、庭院、城市、农田等。参考图像和拍摄图像例如可以是由摄像设备拍摄的图像，或者是由卫星拍摄的遥感图像。
[0018]差图像指示拍摄图像中的每个像素与参考图像中的相应像素之间的差异。这种基于低级特征的差异经常包含由于光照强度，阴影，天气等的变化而引起的差异，因此如果仅基于差图像来检测有关对象的变化，则容易发生错误识别。但另一方面，由于这种基于低级特征的差异也包含由于真实的对象变化而引起的差异，因此也可以被利用。
[0019]作为生成差图像的方法的一个示例，本公开内容中采用结构相似度(SSIM)算法。
使用该方法生成的差图像能够反映两个图像在结构上的差异，并且可以部分避免光照等因素所造成的差异。在Zhou Wang等人的论文“Image quality assessment:from error visibility to structural similarity”(IEEE图像处理汇刊，2004,13(4))中具体描述了SSIM方法。此外，本领域技术人员可以采用其它适当的技术来计算差图像，本公开内容对此不作限制。
[0020]参考图像、拍摄图像和差图像被输入至神经网络的编码器100。编码器100针对每个图像提取特征，并且将提取的特征进行融合。融合的特征被输入至神经网络的解码器200，解码器200针对输入的融合特征进行解码，并且生成变化图。变化图能够反映出拍摄图像中各个像素相对于参考图像中各个像素是否发生语义变化，以及图像中发生语义变化的区域。在本公开内容中，像素的语义变化可以被理解为像素的类别发生改变。例如本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用神经网络检测异常对象的方法，包括：拍摄某一场景的图像；计算拍摄图像与参考图像之间的差图像，其中，所述差图像指示所述拍摄图像与所述参考图像之间的像素级差异；由所述神经网络的第一编码器针对所述参考图像提取具有多个尺寸的多个特征图，由所述神经网络的第二编码器针对所述拍摄图像提取具有所述多个尺寸的多个特征图，并且由所述神经网络的第三编码器针对所述差图像提取具有所述多个尺寸的多个特征图；将所述第一编码器、所述第二编码器和所述第三编码器各自提取的具有相同尺寸的特征图进行融合，并且将融合的特征图输入所述神经网络的解码器；由所述解码器基于所述融合的特征图生成与所述拍摄图像尺寸相同的变化图，其中，所述变化图中的每个像素的值指示所述拍摄图像中的像素相对于所述参考图像中的对应像素是否发生语义变化；以及基于所述变化图来识别所述场景中出现的异常对象。2.根据权利要求1所述的方法，其中，所述参考图像是预先拍摄的不包括异常对象的所述场景的图像，并且所述参考图像与所述拍摄图像配准。3.根据权利要求1所述的方法，其中，所述变化图是二值图，所述二值图中为1的像素值指示所述拍摄图像中的像素相对于所述参考图像中的对应像素发生语义变化，为0的像素值指示所述拍摄图像中的像素相对于所述参考图像中的对应像素没有发生语义变化。4.根据权利要求3所述的方法，还包括：将用于检测一种或多种已知对象的一个或多个检测器应用于所述拍摄图像，以检测所述拍摄图像中的已知对象；基于所述检测的结果，在所述变化图中将对应于所检测的已知对象的像素的值设置为0；以及基于更新后的变化图来识别所述场景中出现的异常对象。5.根据权利要求1所述的方法，还包括：由所述第一编码器、所述第二编码器和所述第三编码器分别针对相应的图像提取具有N个尺寸的N个特征图，其中，所述N个特征图的尺寸递减，N为大于2的自然数；将由所述第一编码器、所述第二编码器和所述第三编码器提取的具有相同尺寸的特征图进行融合，并且将所得到的N个融合特征图输入解码器；由所述解码器基于接收的N个融合特征图执行N
‑
1次上采样，其中，在...

【专利技术属性】
技术研发人员：汪洁，钟朝亮，冯成，张颖，孙俊，张楠，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：