基于语义分割的异常区域检测方法、系统及相关组件技术方案

本发明专利技术公开了一种基于语义分割的异常区域检测方法，包括：获取样本图像，并提取出每一张样本图像的显著性图；将各个训练样本依次输入进预设的用于语义分割的卷积神经网络模型中，对卷积神经网络模型进行训练；其中，每个训练样本中包括一张添加了标签的样本图像以及该样本图像的显著性图；将待测图像以及待测图像的显著性图输入至经过训练的卷积神经网络模型中，获取卷积神经网络模型的输出结果，并根据输出结果中的标签确定出待测图像中的异常区域。应用本申请的方案，可以避免只能检测有限种类的异常区域的情况，即降低了漏检概率。本申请还提供了一种基于语义分割的异常区域检测系统及相关组件，具有相应技术效果。

Anomaly detection method, system and related components based on semantic segmentation

【技术实现步骤摘要】
基于语义分割的异常区域检测方法、系统及相关组件
本专利技术涉及图像处理
，特别是涉及一种基于语义分割的异常区域检测方法、系统及相关组件。
技术介绍
图像的语义分割，表示的是利用计算机根据图像的语义来进行分割。例如，输入的图片中存在房屋，树木，道路，通过语义分割，输出结果中将房屋，树木，道路用不同颜色进行标注，即划分出各自的轮廓。语义分割在地理信息系统，无人车驾驶，医疗影像分析等领域均有广泛的应用，并且作为计算机视觉的核心问题之一，重要性也越来越突出。在利用语义分割技术进行轮廓的分割时，需要预先为不同的事物设置不同的标签，例如在训练神经网络时分别为房屋，树木，道路设置不同的标签，使得训练后的神经网络能够识别并分割出待测图像中的房屋，树木和道路。而如果需要利用语义分割技术将异常区域分割出，自然需要为异常区域添加标签并进行训练，但是，由于实际应用中，发生的异常情况的种类非常多，如果某一种异常情况没有设置标签进行训练，便无法将该种异常情况发生时的异常区域分割出，也即增大了漏检率，此外，标签过多在一定程度上也不利于准确识别。因此，目前的语义分割通常是针对具有已知的固定特征的事物进行的分割。而传统方案中进行遥感图像的异常检测时，相关研究较少，主要是通过提取目标光谱，再根据数据库中的先验信息进行检测，检测的标准性、速度、实用性等都远不及采用机器学习的语义分割技术。综上所述，如何在利用语义分割技术进行异常区域的检测时，避免只能检测有限种类的异常区域的情况，降低漏检概率，是目前本领域技术人员急需解决的技术问题。
技术实现思路
本专利技术的目的是提供一种基于语义分割的异常区域检测方法、系统及相关组件，以避免只能检测有限种类的异常区域的情况，降低漏检概率。为解决上述技术问题，本专利技术提供如下技术方案：一种基于语义分割的异常区域检测方法，包括：获取样本图像，并提取出每一张所述样本图像的显著性图；将各个训练样本依次输入进预设的用于语义分割的卷积神经网络模型中，对所述卷积神经网络模型进行训练；其中，每个所述训练样本中包括一张添加了标签的样本图像以及该样本图像的显著性图；将待测图像以及所述待测图像的显著性图输入至经过训练的所述卷积神经网络模型中，获取所述卷积神经网络模型的输出结果，并根据所述输出结果中的标签确定出所述待测图像中的异常区域。优选的，所述提取出每一张所述样本图像的显著性图，包括：通过RC算法提取出每一张所述样本图像的显著性图。优选的，所述通过RC算法提取出每一张所述样本图像的显著性图，包括：针对每一张样本图像，将该样本图像分割成多个区域，并为每个区域建立颜色直方图；通过计算每个区域的显著值，得出该样本图像的显著性图；其中，S(rk)表示区域rk的显著值；ω(ri)表示区域ri的权值；Dr(rk,ri)为区域rk与区域ri的颜色距离，nk为区域rk中的颜色种类数；ni为区域ri中的颜色种类数；f(ck,p)为第p种颜色ck,p在第k个区域rk中的nk种颜色种类中出现的概率；f(ci,q)为第q种颜色ci,q在第i个区域ri中的ni种颜色种类中出现的概率；D(ck,p,ci,q)为区域rk中的第p种颜色ck,p与区域ri中的第q种颜色ci,q之间的颜色距离度量。优选的，所述通过RC算法提取出每一张所述样本图像的显著性图，包括：针对每一张样本图像，将该样本图像分割成多个区域，并为每个区域建立颜色直方图；通过计算每个区域的显著值，得出该样本图像的显著性图；其中，S(rk)表示区域rk的显著值；ω(ri)表示区域ri的权值；Dr(rk,ri)为区域rk与区域ri的颜色距离，nk为区域rk中的颜色种类数；ni为区域ri中的颜色种类数；f(ck,p)为第p种颜色ck,p在第k个区域rk中的nk种颜色种类中出现的概率；f(ci,q)为第q种颜色ci,q在第i个区域ri中的ni种颜色种类中出现的概率；D(ck,p,ci,q)为区域rk中的第p种颜色ck,p与区域ri中的第q种颜色ci,q之间的颜色距离度量；Ds(rk,ri)为区域rk与区域ri的空间距离，σs为预设的空间权值影响参数。优选的，所述获取样本图像，并提取出每一张所述样本图像的显著性图，包括：获取初始图像，并将每一张所述初始图像切割为预设的目标大小；利用切割后的一张或多张初始图像进行图像增广；将通过图像增广获取到的各张图像以及切割后的初始图像构成的图像集合，作为获取到的样本图像，并提取出每一张所述样本图像的显著性图。优选的，在将待测图像以及所述待测图像的显著性图输入至经过训练的所述卷积神经网络模型之前，还包括：通过全零填充将所述待测图像的大小变为所述目标大小的正整数倍；将全零填充后的所述待测图像进行切割，使得切割后的每张子图像的大小均等于所述目标大小；所述将待测图像以及所述待测图像的显著性图输入至经过训练的所述卷积神经网络模型中，获取所述卷积神经网络模型的输出结果，包括：依次将各张子图像以及该子图像的显著性图输入至经过训练的所述卷积神经网络模型中，获取所述卷积神经网络模型针对各张子图像的输出结果；将各张子图像的输出结果放置在各自对应的位置，并将通过全零填充而增加的像素位置进行切割，切割后的结果作为获取到的针对所述待测图像的输出结果。一种基于语义分割的异常区域检测系统，包括：样本图像显著性图提取模块，用于获取样本图像，并提取出每一张所述样本图像的显著性图；模型训练模块，用于将各个训练样本依次输入进预设的用于语义分割的卷积神经网络模型中，对所述卷积神经网络模型进行训练；其中，每个所述训练样本中包括一张添加了标签的样本图像以及该样本图像的显著性图；异常区域检测模块，用于将待测图像以及所述待测图像的显著性图输入至经过训练的所述卷积神经网络模型中，获取所述卷积神经网络模型的输出结果，并根据所述输出结果中的标签确定出所述待测图像中的异常区域。优选的，所述样本图像显著性图提取模块，具体用于：获取样本图像，并通过RC算法提取出每一张所述样本图像的显著性图。一种基于语义分割的异常区域检测设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序以实现上述任一项所述的基于语义分割的异常区域检测方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于语义分割的异常区域检测方法的步骤。应用本专利技术实施例所提供的方案，实现了基于语义分割技术的异常区域检测。具体的，本申请除了将添加了标签的样本图像输入进卷积神经网络模型，还提取出了每一张样本图像的显著性图，显著性图能够反映区域间的颜色差异，而各类的异常区域通常具有一个共同的特征，即为通过显著性图体现出的异常区域与其他区域的颜色差异。因此，将添加了标签的样本图像以及该样本图像的显著性图输入进卷积神经网络模型，卷积神经网络模型经过训练之后，当待测图片中存在异常区域时，基于语义分割的卷积神经网络模型便能够识别并分割出该异常区域。可以看出，由于本申请中添加了显著性图作为用于语义分割的卷积神经网络模型的输入，因此，在利用语义分割技术进行异常区域的检测时，可以避免只能检测有限种类的异常区域的情况，即降低了漏检概率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面本文档来自技高网...

【技术保护点】
1.一种基于语义分割的异常区域检测方法，其特征在于，包括：获取样本图像，并提取出每一张所述样本图像的显著性图；将各个训练样本依次输入进预设的用于语义分割的卷积神经网络模型中，对所述卷积神经网络模型进行训练；其中，每个所述训练样本中包括一张添加了标签的样本图像以及该样本图像的显著性图；将待测图像以及所述待测图像的显著性图输入至经过训练的所述卷积神经网络模型中，获取所述卷积神经网络模型的输出结果，并根据所述输出结果中的标签确定出所述待测图像中的异常区域。

【技术特征摘要】
1.一种基于语义分割的异常区域检测方法，其特征在于，包括：获取样本图像，并提取出每一张所述样本图像的显著性图；将各个训练样本依次输入进预设的用于语义分割的卷积神经网络模型中，对所述卷积神经网络模型进行训练；其中，每个所述训练样本中包括一张添加了标签的样本图像以及该样本图像的显著性图；将待测图像以及所述待测图像的显著性图输入至经过训练的所述卷积神经网络模型中，获取所述卷积神经网络模型的输出结果，并根据所述输出结果中的标签确定出所述待测图像中的异常区域。2.根据权利要求1所述的基于语义分割的异常区域检测方法，其特征在于，所述提取出每一张所述样本图像的显著性图，包括：通过RC算法提取出每一张所述样本图像的显著性图。3.根据权利要求2所述的基于语义分割的异常区域检测方法，其特征在于，所述通过RC算法提取出每一张所述样本图像的显著性图，包括：针对每一张样本图像，将该样本图像分割成多个区域，并为每个区域建立颜色直方图；通过计算每个区域的显著值，得出该样本图像的显著性图；其中，S(rk)表示区域rk的显著值；ω(ri)表示区域ri的权值；Dr(rk,ri)为区域rk与区域ri的颜色距离，nk为区域rk中的颜色种类数；ni为区域ri中的颜色种类数；f(ck,p)为第p种颜色ck,p在第k个区域rk中的nk种颜色种类中出现的概率；f(ci,q)为第q种颜色ci,q在第i个区域ri中的ni种颜色种类中出现的概率；D(ck,p,ci,q)为区域rk中的第p种颜色ck,p与区域ri中的第q种颜色ci,q之间的颜色距离度量。4.根据权利要求2所述的基于语义分割的异常区域检测方法，其特征在于，所述通过RC算法提取出每一张所述样本图像的显著性图，包括：针对每一张样本图像，将该样本图像分割成多个区域，并为每个区域建立颜色直方图；通过计算每个区域的显著值，得出该样本图像的显著性图；其中，S(rk)表示区域rk的显著值；ω(ri)表示区域ri的权值；Dr(rk,ri)为区域rk与区域ri的颜色距离，nk为区域rk中的颜色种类数；ni为区域ri中的颜色种类数；f(ck,p)为第p种颜色ck,p在第k个区域rk中的nk种颜色种类中出现的概率；f(ci,q)为第q种颜色ci,q在第i个区域ri中的ni种颜色种类中出现的概率；D(ck,p,ci,q)为区域rk中的第p种颜色ck,p与区域ri中的第q种颜色ci,q之间的颜色距离度量；Ds(rk,ri)为区域rk与区域ri的空间距离，σs为预设的空间权值影响参数。5....

【专利技术属性】
技术研发人员：朱锦涛，黄国恒，曾鹏慷，陆铿宇，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44