在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品技术

提供了在样本图像中检测背景物上的外来物的计算机实现的方法。计算机实现的方法包括：提取样本图像的图像特征；检测样本图像中的显著区域；以及，分割显著区域以基于分割显著区域的结果确定外来物区域的轮廓。在无用户交互的情况下通过自动Garbcut操作执行分割显著区域。

The method of computer realization for detecting foreign objects on background in image, the equipment for detecting foreign objects on background in image and computer program products

【技术实现步骤摘要】
【国外来华专利技术】在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品
本专利技术涉及图像处理技术，更具体地，涉及在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品。
技术介绍
在许多场景中，外来物检测对于执行或规划任务而言是有用的。例如，太阳能板常常被诸如鸟粪和树叶之类的外来物所污染。由于太阳能板电厂中的太阳能板的表面积较大，对太阳能板的受污染区域的定向清洁可十分困难。自动检测太阳能板的图像中的外来物可有助于太阳能板的清洁，特别是针对那些受污染的区域而言。又例如，在半导体制造中使用的掩膜板上的外来物可不利地影响所制造的装置的质量。因此，对掩膜板进行定向清洁将极大地有利于制造过程。
技术实现思路
一方面，本专利技术提供了一种在样本图像中检测背景物上的外来物的计算机实现的方法，包括：提取样本图像的图像特征；检测样本图像中的显著区域；以及，分割显著区域以基于分割显著区域的结果确定外来物区域的轮廓；其中，在无用户交互的情况下通过自动Garbcut操作执行分割显著区域。可选地，分割显著区域包括：自动地生成外接显著区域的矩形区域；通过放大外接显著区域的矩形区域来自动地生成放大的矩形区域；自动地将放大的矩形区域与样本图像组合，并且对样本图像执行裁剪操作以生成感兴趣区域(ROI)图像；基于ROI图像自动地生成初始格，初始格与ROI图像具有相同的纵横比；以及，利用ROI图像和初始格作为输入自动地执行自动Grabcut操作。可选地，自动地生成放大的矩形区域包括：通过沿外接显著区域的矩形区域的全部四条边以相同比率放大外接显著区域的矩形区域来自动地生成等向放大的矩形区域，其中，等向放大的矩形区域和外接显著区域的矩形区域具有相同的纵横比。可选地，自动地生成放大的矩形区域还包括：基于确定等向放大的矩形区域位于样本图像的边界内，将等向放大的矩形区域指定为放大的矩形区域。可选地，自动地生成放大的矩形区域还包括：基于确定等向放大的矩形区域的至少一条边位于样本图像的边界外，收缩等向放大的矩形区域的该至少一条边以获得收缩的矩形区域；以及，基于确定收缩的矩形区域位于样本图像的边界内，将收缩的矩形区域指定为放大的矩形区域。可选地，基于ROI图像自动地生成初始格包括：通过沿与ROI图像对应的区域的全部四条边以相同比率收缩与ROI图像对应的区域来生成等向收缩的矩形区域。可选地，利用ROI图像和初始格作为输入自动地执行自动Grabcut操作包括：将ROI图像和初始格输入自动Grabcut操作中；基于ROI图像和初始格生成背景并检测前景；以及，将前景映射至样本图像上以生成外来物区域。可选地，生成背景并检测前景包括：自动地将初始格以外的ROI图像的区域中的像素指定为背景像素；自动地将初始格内的ROI图像的区域中的像素指定为未定义像素；利用建模算法自动地将未定义像素重新指定到背景像素或前景像素中；以及，自动地检测前景像素和背景像素之间的边界，从而生成背景和前景。可选地，利用高斯混合模型算法执行生成背景并检测前景。可选地，所述计算机实现的方法还包括：将原始图像去噪以生成样本图像；其中，将原始图像去噪包括：将原始图像转换为灰度图像；从原始图像移除与背景物对应的子图像；以及，利用指定的灰度值填充与背景物对应的移除区域。另一方面，本专利技术提供了一种在样本图像中检测背景物上的外来物的设备，包括：存储器；以及，一个或多个处理器；其中，存储器和所述一个或多个处理器彼此连接；并且，存储器存储计算机可执行指令以控制所述一个或多个处理器：提取样本图像的图像特征；检测样本图像中的显著区域；以及，分割显著区域以基于分割显著区域的结果确定外来物区域的轮廓；其中，在无用户交互的情况下通过自动Garbcut操作执行分割显著区域。可选地，为了分割显著区域，存储器存储计算机可执行指令以控制所述一个或多个处理器：自动地生成外接显著区域的矩形区域；通过放大外接显著区域的矩形区域来自动地生成放大的矩形区域；自动地将放大的矩形区域与样本图像组合，并且对样本图像执行裁剪操作以生成感兴趣区域(ROI)图像。基于ROI图像自动地生成初始格，初始格与ROI图像具有相同的纵横比；以及，利用ROI图像和初始格作为输入自动地执行自动Grabcut操作。可选地，为了自动地生成放大的矩形区域，存储器存储计算机可执行指令以控制所述一个或多个处理器：通过沿外接显著区域的矩形区域的全部四条边以相同比率放大外接显著区域的矩形区域来自动地生成等向放大的矩形区域，其中，等向放大的矩形区域和外接显著区域的矩形区域具有相同的纵横比。可选地，为了自动地生成放大的矩形区域，存储器还存储计算机可执行指令以控制所述一个或多个处理器：基于确定等向放大的矩形区域位于样本图像的边界内，将等向放大的矩形区域指定为放大的矩形区域。可选地，为了自动地生成放大的矩形区域，存储器还存储计算机可执行指令以控制所述一个或多个处理器：基于确定等向放大的矩形区域的至少一条边位于样本图像的边界外，收缩等向放大的矩形区域的该至少一条边以获得收缩的矩形区域；以及，基于确定收缩的矩形区域位于样本图像的边界内，将收缩的矩形区域指定为放大的矩形区域。可选地，为了基于ROI图像自动地生成初始格，存储器还存储计算机可执行指令以控制所述一个或多个处理器：通过沿与ROI图像对应的区域的全部四条边以相同比率收缩与ROI图像对应的区域来生成等向收缩的矩形区域。可选地，存储器还存储计算机可执行指令以控制所述一个或多个处理器：将ROI图像和初始格输入至自动Grabcut操作中；基于ROI图像和初始格生成背景并检测前景；以及，将前景映射至样本图像上以生成外来物区域。可选地，为了生成背景并检测前景，存储器还存储计算机可执行指令以控制所述一个或多个处理器：自动地将初始格以外的ROI图像的区域中的像素指定为背景像素；自动地将初始格内的ROI图像的区域中的像素指定为未定义像素；利用建模算法自动地将未定义像素重新指定到背景像素或前景像素中；以及，自动地检测前景像素和背景像素之间的边界，从而生成背景和前景。可选地，所述设备还包括图像捕获装置，其配置为获得在背景物上具有外来物的样本图像。另一方面，本专利技术提供了一种计算机程序产品，其包括其上具有计算机可读指令的非暂时性有形计算机可读介质，所述计算机可读指令由处理器可执行，以使得所述处理器执行：提取样本图像的图像特征；检测样本图像中的显著区域；以及，分割显著区域以基于分割显著区域的结果确定外来物区域的轮廓；其中，在无用户交互的情况下通过自动Garbcut操作执行分割显著区域。附图说明以下附图仅为根据所公开的各种实施例的用于示意性目的的示例，而不旨在限制本专利技术的范围。图1是根据本公开的一些实施例中的在背景物上具有外来物的图像。图2是根据本公开的一些实施例中的在背景物上具有外来物的图像。图3示出了根据本公开的一些实施例中的若干个示例性图像的图像特征和显著区域掩膜。图4A至图4D示出了根据本公开的一些实施例中的在无用户交互的情况下利用自动Grabcut操作分割显著区域的方法。图5A至图5E示出了根据本公开的一些实施例中的在无用户交互的情况下利用自动Grabcut操作分割显著区域的方法本文档来自技高网...

【技术保护点】
1.一种在样本图像中检测背景物上的外来物的计算机实现的方法，包括：提取所述样本图像的图像特征；检测所述样本图像中的显著区域；以及分割所述显著区域以基于分割所述显著区域的结果确定外来物区域的轮廓；其中，在无用户交互的情况下通过自动Garbcut操作执行分割所述显著区域。

【技术特征摘要】
【国外来华专利技术】1.一种在样本图像中检测背景物上的外来物的计算机实现的方法，包括：提取所述样本图像的图像特征；检测所述样本图像中的显著区域；以及分割所述显著区域以基于分割所述显著区域的结果确定外来物区域的轮廓；其中，在无用户交互的情况下通过自动Garbcut操作执行分割所述显著区域。2.根据权利要求1所述的计算机实现的方法，其中，分割所述显著区域包括：自动地生成外接所述显著区域的矩形区域；通过放大外接所述显著区域的所述矩形区域来自动地生成放大的矩形区域；自动地将所述放大的矩形区域与所述样本图像组合，并且对所述样本图像执行裁剪操作以生成感兴趣区域图像；基于所述感兴趣区域图像自动地生成初始格，所述初始格与所述感兴趣区域图像具有相同的纵横比；以及利用所述感兴趣区域图像和所述初始格作为输入自动地执行所述自动Grabcut操作。3.根据权利要求2所述的计算机实现的方法，其中，自动地生成所述放大的矩形区域包括：通过沿外接所述显著区域的所述矩形区域的全部四条边以相同比率放大外接所述显著区域的所述矩形区域来自动地生成等向放大的矩形区域，其中，所述等向放大的矩形区域和外接所述显著区域的所述矩形区域具有相同的纵横比。4.根据权利要求3所述的计算机实现的方法，其中，自动地生成所述放大的矩形区域还包括：基于确定所述等向放大的矩形区域位于所述样本图像的边界内，将所述等向放大的矩形区域指定为所述放大的矩形区域。5.根据权利要求3所述的计算机实现的方法，其中，自动地生成所述放大的矩形区域还包括：基于确定所述等向放大的矩形区域的至少一条边位于所述样本图像的边界外，收缩所述等向放大的矩形区域的所述至少一条边以获得收缩的矩形区域；以及基于确定所述收缩的矩形区域位于所述样本图像的边界内，将所述收缩的矩形区域指定为所述放大的矩形区域。6.根据权利要求2至5中任一项所述的计算机实现的方法，其中，基于所述感兴趣区域图像自动地生成所述初始格包括：通过沿与所述感兴趣区域图像对应的区域的全部四条边以相同比率收缩与所述感兴趣区域图像对应的区域来生成等向收缩的矩形区域。7.根据权利要求2至6中任一项所述的计算机实现的方法，其中，利用所述感兴趣区域图像和所述初始格作为输入自动地执行所述自动Grabcut操作包括：将所述感兴趣区域图像和所述初始格输入所述自动Grabcut操作；基于所述感兴趣区域图像和所述初始格生成背景并检测前景；以及将所述前景映射至所述样本图像上以生成所述外来物区域。8.根据权利要求7所述的计算机实现的方法，其中，生成所述背景并检测所述前景包括：自动地将所述初始格以外的所述感兴趣区域图像的区域中的像素指定为背景像素；自动地将所述初始格内的所述感兴趣区域图像的区域中的像素指定为未定义像素；利用建模算法自动地将所述未定义像素重新指定到所述背景像素中或重新指定到前景像素中；以及自动地检测所述前景像素和所述背景像素之间的边界，从而生成所述背景和所述前景。9.根据权利要求8所述的计算机实现的方法，其中，利用高斯混合模型算法执行生成所述背景并检测所述前景。10.根据权利要求1至9中任一项所述的计算机实现的方法，还包括：将原始图像去噪以生成所述样本图像；其中，将所述原始图像去噪包括：将所述原始图像转换为灰度图像；从所述原始图像移除与背景物对应的子图像；以及利用指定的灰度值填充与所述背景物对应的移除区域。11.一种在样本图像中检测背景物上的外来物的设备，包括：存储器；以及一个或多个处理器；其中，所述存储器和所述一个或多个处理器彼此连接；并且所述存储器存储计算机可执行指令以控制所述一个或多个处理器：提取所述样本图像的图像特征；检测所述样本图像中的显著区域；以及分割所述显著区...

【专利技术属性】
技术研发人员：许景涛，索健文，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11