用于实例分割的边界细化的方法和装置制造方法及图纸

本发明专利技术公开了用于实例分割的边界细化方法和装置

【技术实现步骤摘要】
【国外来华专利技术】用于实例分割的边界细化的方法和装置


[0001]本公开总体上涉及计算机视觉技术，并且更具体地，涉及用于实例分割的边界细化技术。

技术介绍

[0002]对象检测、语义分割和实例分割是常见的计算机视觉任务。具体地，实例分割技术旨在将具有类别标签的逐像素实例掩膜(Mask)分配给图像中的对象的每个实例，该实例分割技术在诸如自动驾驶、医疗、机器人等各种计算机视觉应用中具有巨大的潜力。因此，在实例分割技术上已经做出了很大的努力。
[0003]然而，当前实例分割技术预测的实例掩膜的质量仍然不令人满意。最重要的问题之一是实例边界周围的分割不精确。这导致预测的实例掩膜的边界通常是粗糙的。因此，需要提供有效的用于实例分割的边界细化技术。

技术实现思路

[0004]下文给出了根据本公开内容的一个或多个方面的简要概述，以便提供对这些方面的基本理解。该
技术实现思路
不是对所有预期方面的广泛概述，并且既不旨在标识所有方面的关键或重要元素，也不旨在描绘任何或所有方面的范围。其唯一目的是以简化形式呈现一个或多个方面的一些概念，作为稍后呈现的更详细描述的序言。
[0005]在本公开的一个方面，一种用于实例分割的方法包括：接收图像和标识所述图像中的实例的实例掩膜；基于所述实例掩膜的边界，从所述图像提取一组图像分块；基于与所述一组图像分块中的每个图像分块相对应的所述实例掩膜的至少一部分，生成针对所述一组图像分块中的每个图像分块的细化掩膜分块；以及基于所述一组图像分块中的每个图像分块的所述细化掩膜分块，细化所述实例掩膜的边界。
[0006]在本公开的另一方面，一种用于实例分割的装置包括：存储器；以及耦合到所述存储器的至少一个处理器。所述至少一个处理器被配置为接收图像和标识所述图像中的实例的实例掩膜；基于所述实例掩膜的边界，从所述图像提取一组图像分块；基于与所述一组图像分块中的每个图像分块相对应的所述实例掩膜的至少一部分，生成针对所述一组图像分块中的每个图像分块的细化掩膜分块；以及基于所述一组图像分块中的每个图像分块的所述细化掩膜分块，细化所述实例掩膜的边界。
[0007]在本公开的另一方面，一种用于实例分割的计算机程序产品包括处理器可执行计算机代码，所述处理器可执行计算机代码用于接收图像和标识所述图像中的实例的实例掩膜；基于所述实例掩膜的边界，从所述图像提取一组图像分块；基于与所述一组图像分块中的每个图像分块相对应的所述实例掩膜的至少一部分，生成针对所述一组图像分块中的每个图像分块的细化掩膜分块；以及基于所述一组图像分块中的每个图像分块的所述细化掩膜分块，细化所述实例掩膜的边界。
[0008]在本公开的另一方面，一种计算机可读介质存储用于实例分割的计算机代码。所
述计算机代码在由处理器执行时使所述处理器接收图像和标识所述图像中的实例的实例掩膜；基于所述实例掩膜的边界，从所述图像提取一组图像分块；基于与所述一组图像分块中的每个图像分块相对应的所述实例掩膜的至少一部分，生成针对所述一组图像分块中的每个图像分块的细化掩膜分块；以及基于所述一组图像分块中的每个图像分块的所述细化掩膜分块，细化所述实例掩膜的边界。
[0009]通过考虑以下详细描述和附图，本公开的其他方面或变型将变得清楚明白。
附图说明
[0010]以下附图仅出于说明的目的描绘了本公开的各种实施例。本领域技术人员将从以下描述中容易地认识到，在不脱离本文描述的本公开的精神和原理的情况下，可以实现本文公开的方法和结构的替代实施例。
[0011]图1示出了常见计算机视觉任务的结果的示例图。
[0012]图2示出了根据现有技术和本公开实施例的实例分割结果之间的比较图。
[0013]图3示出了根据本公开实施例的用于实例分割的方法的流程图。
[0014]图4示出了根据本公开实施例的用于细化实例掩膜的边界的过程。
[0015]图5A示出了根据本公开实施例的用于提取边界分块的过程。
[0016]图5B示出了根据本公开实施例的用于提取边界分块的过程。
[0017]图6示出了根据本公开实施例的装置的硬件实现的示例。
具体实施方式
[0018]在详细解释本公开的任何实施例之前，应当理解，本公开不将其应用局限于以下描述中阐述的结构细节和特征布置。本公开能够具有其他实施例并且能够以各种方式实现或执行。
[0019]对象检测是计算机视觉任务的一种类型，其处理识别和定位图像中的某些类别的对象。解释对象定位可以以各种方式完成，诸如在对象周围创建边界框。例如，如图1的图像110所示，用不同的边界框检测和识别三只绵羊(绵羊1、绵羊2和绵羊3)。
[0020]快速R
‑
CNN(Region
‑
based Convolutional Neural Network基于区域的卷积神经网络)是一种常用的对象检测模型。快速R
‑
CNN检测器由两个阶段组成。第一阶段通过RPN(Region Proposal Network区域提议网络)提出候选对象边界框。第二阶段使用ROI(Region of Interest感兴趣区域)池化从每个候选框中提取特征，并执行分类和边界框回归。最后，在上述两个阶段之后获得对象周围的边界框。
[0021]语义分割是计算机视觉任务的另一类型，其将图像中的每一像素分类到类别。图像是像素的集合。图像的语义分割是将图像中属于某一类别的每一像素进行分类的过程。因此，语义分割可作为每像素的分类问题来完成。例如，如图1的图像120所示，属于绵羊的像素被分类为绵羊，属于草坪的像素被分类为草坪，并且属于道路的像素被分类为道路，而属于相同类别(诸如绵羊)但该类别的不同实例(诸如绵羊1、绵羊2和绵羊3)的像素是不可区分的。
[0022]现代语义分割方法由FCNs(Fully Convolutional Networks全卷积网络)开创。FCN使用卷积神经网络将图像像素变换为像素类别。与传统的卷积神经网络不同，FCN通过
转置的卷积层将中间层特征图的高度和宽度变换回输入图像的尺寸，使得预测在空间维度(高度和宽度)上与输入图像具有一对一的对应性。在一个实例中，HRNet(High
‑
Resolution Network高分辨率网络)可用于语义分割，其在整个网络中维持高分辨率表示。
[0023]本公开主要涉及的实例分割旨在将具有类别标签的逐像素实例掩膜分配给图像中的对象的每个实例。例如，如图1的图像130所示，实例掩膜被分配给图像中的绵羊的每个实例，包括具有标签“绵羊1”的实例掩膜、具有标签“绵羊2”的实例掩膜和具有标签“绵羊3”的实例掩膜。实例掩膜“绵羊1”和实例掩膜“绵羊2”的边界部分重叠，并且实例掩膜“绵羊2”和实例掩膜“绵羊3”的边界部分重叠。具有标签“道路”的实例掩膜和具有标签“草坪”的实例掩膜也分别被分配给道路和草坪。
[0024]实例分割可以被认为是上述两个计算机视觉领域，即，对象检测和语本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于实例分割的方法，包括：接收图像和标识所述图像中的实例的实例掩膜；基于所述实例掩膜的边界，从所述图像提取一组图像分块；基于与所述一组图像分块中的每个图像分块相对应的所述实例掩膜的至少一部分，生成针对所述一组图像分块中的每个图像分块的细化掩膜分块；以及基于所述一组图像分块中的每个图像分块的所述细化掩膜分块，细化所述实例掩膜的边界。2.根据权利要求1所述的方法，其中，所述一组图像分块中的图像分块的中心覆盖所述实例掩膜的边界。3.根据权利要求1所述的方法，其中，所述提取一组图像分块包括：通过沿着所述实例掩膜的边界滑动窗口，从所述图像获得多个图像分块；以及基于重叠阈值，从所述多个图像分块中过滤出所述一组图像分块。4.根据权利要求3所述的方法，其中，所述过滤出所述一组图像分块基于非最大值抑制(NMS)算法，并且所述重叠阈值是NMS消除阈值。5.根据权利要求1所述的方法，还包括：基于所述实例掩膜的边界从所述实例掩膜提取一组掩膜分块，所述一组掩膜分块中的每个掩膜分块覆盖所述一组图像分块中的对应图像分块；其中，所述生成针对所述一组图像分块中的每个图像分块的细化掩膜分块是基于所述一组掩膜分块中的对应掩膜分块的。6.根据权利要求5所述的方法，其中，所述一组掩膜分块中的每个掩膜分块提供对应图像分块的上下文信息，所述上下文信息指示所述实例在所述对应图像分块中的位置和语义信息。7.根据权利要求1所述的方法，其中，所述生成针对所述一组图像分块中的每个图...

【专利技术属性】
技术研发人员：胡晓林，李建民，唐楚峰，陈航，李潇，杨昊，
申请(专利权)人：清华大学，
类型：发明
国别省市：