前景提取方法、异常检测方法及其系统和电子设备技术方案

本申请的实施例提供了一种前景提取方法、异常检测方法及其系统和电子设备。该前景提取方法包括：根据待提取图像中前景区的位置信息，在待提取图像中获取位于前景区附近的前景外扩区；根据待提取图像中前景区的位置信息，确定模板图像中的模板粗定位区，模板粗定位区包括与前景外扩区对应的区域；将前景外扩区和模板粗定位区进行特征匹配，以获得第一匹配结果；根据匹配结果，确定模板图像中与前景区对应的模板精定位区；至少根据前景区中每个像素的像素值与模板精定位区中对应像素的像素值，提取前景。该方案得到的前景图像的准确性高，利用前景图像可以获得检测模型的多种异常样本图像，可以降低异常样本的收集难度，节省收集时间和精力。集时间和精力。集时间和精力。

【技术实现步骤摘要】
前景提取方法、异常检测方法及其系统和电子设备


[0001]本申请涉及计算机视觉
，更具体地涉及一种前景提取方法、异常检测方法、前景提取系统、异常检测系统、电子设备及存储介质。

技术介绍

[0002]近年来，计算机视觉技术被广泛应用于各种领域，例如，利用计算机视觉技术实现对待测物体的异常检测。
[0003]现有技术中，通常使用基于深度学习的检测模型，对待测物体的图像进行异常检测，检测效率较高，但需要收集大量的异常样本并进行标注，以作为检测模型的训练样本图像。在实际生产中，异常样本数量占总样本数量的比例极小，该比例通常不到0.1％。而且，大量的训练样本图像如果利用人工进行标注，则需要大量的人工成本。总之，获取足够多的异常样本训练图像通常需要花费很长的时间和精力。

技术实现思路

[0004]考虑到上述问题而提出了本申请。根据本申请的一个方面，提供了一种前景提取方法，该方法包括：根据待提取图像中前景区的位置信息，在待提取图像中获取位于前景区附近的前景外扩区；根据待提取图像中前景区的位置信息，确定模板图像中的模板粗定位区，其中，模板粗定位区包括与前景外扩区对应的区域；将前景外扩区和模板粗定位区进行特征匹配，以获得第一匹配结果；根据第一匹配结果，确定模板图像中与前景区对应的模板精定位区；以及至少根据前景区中每个像素的像素值与模板精定位区中对应像素的像素值，提取前景。
[0005]示例性地，至少根据前景区中每个像素的像素值与模板精定位区中对应像素的像素值，提取前景，包括：对模板精定位区或前景区进行亮度调整，以使在调整后模板精定位区与前景区处在相同的亮度水平；以及通过比对处于相同亮度水平的前景区中每个像素的像素值与模板精定位区中的对应像素的像素值，提取前景。
[0006]示例性地，对模板精定位区或前景区进行亮度调整，包括：基于前景外扩区和模板粗定位区的第一匹配结果，确定亮度映射关系；利用亮度映射关系，对模板精定位区或前景区进行亮度调整。
[0007]示例性地，前景外扩区包括围绕前景区四周的环形区域，模板粗定位区的外边缘尺寸大于前景外扩区的外边缘尺寸。
[0008]示例性地，前景外扩区的外边缘的宽度等于前景区的宽度的n1倍，前景外扩区的外边缘的高度等于前景区的高度的m1倍；模板粗定位区的外边缘的宽度等于前景区的宽度的n2倍，模板粗定位区的外边缘的高度等于前景区的高度的m2倍，其中，n1<n2和/或m1<m2。
[0009]示例性地，方法还包括：对前景进行噪声滤波，以获取滤波后的前景。
[0010]根据本申请的第二方面，提高一种异常检测方法，包括：将待检测图像输入训练好的检测模型，以获取待检测图像中的异常前景，其中，检测模型由已标注的训练样本图像训
练而成，已标注的训练样本图像是正常样本图像和利用上述前景提取方法提取的异常前景的合成图像。
[0011]示例性地，方法还包括：基于异常前景构建异常前景数据集；从异常前景数据集中随机选择当前异常前景；以第一概率对当前异常前景进行第一亮度调整，并与对应的正常样本图像进行合成，以获得大于或等于第一亮度阈值且包括异常标签的正样本图像；以第二概率对当前异常前景进行第二亮度调整，并与对应的正常样本图像进行合成，以获得小于第二亮度阈值且包括正常标签的负样本图像；其中，已标注的训练样本图像包括正样本图像和负样本图像，第一概率大于第二概率，第二亮度阈值＝第一亮度阈值*预设比例，预设比例小于0.5。
[0012]示例性地，在获取待检测图像中的异常前景之后，方法还包括：至少根据异常前景在待检测图像中的位置，确定正常模板图像中与异常前景对应的正常模板精定位区；分别对异常前景和正常模板精定位区进行灰度直方图统计分析，并比对统计分析结果，以确定异常前景的异常指标值。
[0013]示例性地，至少根据异常前景在待检测图像中的位置，确定正常模板图像中与异常前景对应的正常模板精定位区，包括：根据待检测图像中异常前景的位置信息，在待检测图像中获取位于异常前景周围的异常外扩区；根据待检测图像中异常区域的位置信息，确定正常模板图像中的正常模板粗定位区，其中，正常模板粗定位区包括与异常外扩区对应的区域；对异常外扩区和正常模板粗定位区进行特征匹配，以获得第二匹配结果；基于第二匹配结果，确定正常模板图像中与异常前景对应的正常模板精定位区。
[0014]示例性地，在分别对异常前景和正常模板精定位区进行灰度直方图统计分析之前，方法还包括：对正常模板精定位区或者异常前景进行亮度调整，以使在调整后模板精定位区与异常前景处在相同的亮度水平。
[0015]示例性地，分别对异常前景和正常模板精定位区进行灰度直方图统计分析，并比对统计分析结果，以确定异常区域的异常指标值，包括：分别获取异常前景的第一灰度直方图和正常模板精定位区的第二灰度直方图；基于第一灰度直方图和第二灰度直方图的统计分析确定异常前景的多个异常指标值；根据多个异常指标值确定异常前景的综合异常指标值。
[0016]根据本申请的第三方面，还提供一种前景提取系统，包括：获取模块，用于根据待提取图像中前景区的位置信息，在待提取图像中获取位于前景区附近的前景外扩区；第一确定模块，用于根据待提取图像中前景区的位置信息，确定模板图像中的模板粗定位区，其中，模板粗定位区包括与前景外扩区对应的区域；匹配模块，用于将前景外扩区和模板粗定位区进行特征匹配，以获得第一匹配结果；第二确定模块，用于根据第一匹配结果，确定模板图像中与前景区对应的模板精定位区；以及提取模块，用于至少根据前景区中每个像素的像素值与模板精定位区中对应像素的像素值，提取前景。
[0017]根据本申请的第四方面，还提供一种异常检测系统，包括：检测模块，用于将待检测图像输入训练好的检测模型，以获取待检测图像中的异常前景，其中，检测模型由已标注的训练样本图像训练而成，已标注的训练样本图像是正常样本图像和利用上述的前景提取方法提取的异常前景的合成图像。
[0018]根据本申请的第五方面，还提供一种电子设备，包括处理器和存储器，其中，存储
器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述前景提取方法或异常检测方法。
[0019]根据本申请的第六方面，还提供一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述前景提取方法或异常检测方法。
[0020]在本申请的上述方案中，根据前景区在待提取图像中的位置信息，在确定待提取图像中的前景外扩区和模板图像中的模板粗定位区的基础上，对该两个区域进行特征匹配。并基于匹配结果，确定模板图像中的模板精定位区。最后根据前景区中每个像素的像素值与模板精定位区中对应像素的像素值，提取前景图像。该方案提取到的前景图像的准确性较高、也是真实应用的异常前景。利用该前景图像和正常图像进行合成，即可获得检测模型的多种异常样本训练图像，因此可以降低异常样本的收集难度，节省收集和标注的时间和精力。另外，该前景提取方法的计算量也较小，较节省本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种前景提取方法，其特征在于，包括：根据待提取图像中前景区的位置信息，在待提取图像中获取位于所述前景区附近的前景外扩区；根据所述待提取图像中所述前景区的位置信息，确定模板图像中的模板粗定位区，其中，所述模板粗定位区包括与所述前景外扩区对应的区域；将所述前景外扩区和所述模板粗定位区进行特征匹配，以获得第一匹配结果；根据所述第一匹配结果，确定所述模板图像中与所述前景区对应的模板精定位区；以及至少根据所述前景区中每个像素的像素值与所述模板精定位区中对应像素的像素值，提取前景。2.如权利要求1所述的前景提取方法，其特征在于，所述至少根据所述前景区中每个像素的像素值与所述模板精定位区中对应像素的像素值，提取前景，包括：对所述模板精定位区或所述前景区进行亮度调整，以使在调整后所述模板精定位区与所述前景区处在相同的亮度水平；以及通过比对处于相同亮度水平的所述前景区中每个像素的像素值与所述模板精定位区中的对应像素的像素值，提取所述前景。3.如权利要求2所述的前景提取方法，其特征在于，所述对所述模板精定位区或所述前景区进行亮度调整，包括：基于所述前景外扩区和所述模板粗定位区的所述第一匹配结果，确定亮度映射关系；利用所述亮度映射关系，对所述模板精定位区或所述前景区进行亮度调整。4.如权利要求1至3任一项所述的前景提取方法，其特征在于，所述前景外扩区包括围绕前景区四周的环形区域，所述模板粗定位区的外边缘尺寸大于所述前景外扩区的外边缘尺寸。5.如权利要求4所述的前景提取方法，其特征在于，所述前景外扩区的外边缘的宽度等于所述前景区的宽度的n1倍，所述前景外扩区的外边缘的高度等于所述前景区的高度的m1倍；所述模板粗定位区的外边缘的宽度等于所述前景区的宽度的n2倍，所述模板粗定位区的外边缘的高度等于所述前景区的高度的m2倍，其中，n1<n2和/或m1<m2。6.如权利要求1至3任一项所述的前景提取方法，其特征在于，所述方法还包括：对所述前景进行噪声滤波，以获取滤波后的所述前景。7.一种异常检测方法，其特征在于，包括：将待检测图像输入训练好的检测模型，以获取所述待检测图像中的异常前景，其中，所述检测模型由已标注的训练样本图像训练而成，所述已标注的训练样本图像是正常样本图像和利用权利要求1至6任一项所述的前景提取方法提取的异常前景的合成图像。8.如权利要求7所述的异常检测方法，其特征在于，所述方法还包括：基于所述异常前景构建异常前景数据集；从所述异常前景数据集中随机选择当前异常前景；以第一概率对当前异常前景进行第一亮度调整，并与对应的正常样本图像进行合成，
以获得大于或等于第一亮度阈值且包括异常标签的正样本图像；以第二概率对当前异常前景进行第二亮度调整，并与对应的正常样本图像进行合成，以获得小于第二亮度阈值且包括正常标签的负样本图像；其中，所述已标注的训练样本图像包括所述正样本图像和所述负样本图像，所述第一概率大于所述第二概率，所述第二亮度阈值＝所述第一亮度阈值*预设比例，所述预设比例小于0.5。9.如权利要求7所述的异常检测方法，其特征在于，在获取所述待检测图像中的异常前景之后，所述方法还包括：至少根据所述异常...

【专利技术属性】
技术研发人员：孙新，韩晓，代杰，
申请(专利权)人：苏州镁伽科技有限公司，
类型：发明
国别省市：