图像处理装置、图像处理方法及计算机可读记录介质制造方法及图纸

公开了一种图像处理装置、图像处理方法及计算机可读记录介质。图像处理装置包括获得类别分割图单元、预测单元以及聚类单元，其中：获得类别分割图单元被配置成对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象；预测单元和聚类单元被配置成针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行如下处理：预测单元被配置成按照预定规则从分割区域中选择一个对象并且预测所选对象的掩膜；以及聚类单元被配置成基于所预测的掩膜和像素区域的特征对像素区域进行聚类，以得到所选对象的轮廓。

Image processing device, image processing method and computer readable recording medium

【技术实现步骤摘要】
图像处理装置、图像处理方法及计算机可读记录介质
本公开涉及信息处理领域，具体涉及一种图像处理装置、图像处理方法及计算机可读记录介质。
技术介绍
图像语义分割是当前热门的研究领域。大多数语义分割算法可以分割出图像中属于同一类别的区域，但是，这些语义分割算法不能识别属于同一类的对象实例。
技术实现思路
在下文中给出了关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。鉴于以上问题，本公开的目的是提供能够解决现有技术中的一个或多个缺点的图像处理装置和图像处理方法。根据本公开的一方面，提供了一种图像处理装置，包括获得类别分割图单元、预测单元以及聚类单元，其中：获得类别分割图单元被配置成对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象；预测单元和聚类单元被配置成针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行如下处理：预测单元被配置成按照预定规则从分割区域中选择一个对象并且预测所选对象的掩膜；以及聚类单元被配置成基于所预测的掩膜和像素区域的特征对像素区域进行聚类，以得到所选对象的轮廓。根据本公开的另一方面，提供了一种图像处理方法，包括获得类别分割图步骤、预测步骤以及聚类步骤，其中：在获得类别分割图步骤中，对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象；针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行预测步骤和聚类步骤中的处理：在预测步骤中，按照预定规则从分割区域中选择一个对象并且预测所选对象的掩膜；以及在聚类步骤中，基于所预测的掩膜和像素区域的特征对像素区域进行聚类，以得到所选对象的轮廓。根据本公开的又一方面，提供了一种记录有程序的计算机可读记录介质，所述程序用于使得计算机执行获得类别分割图步骤、预测步骤以及聚类步骤：在获得类别分割图步骤中，对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象；针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行预测步骤和聚类步骤中的处理：在预测步骤中，按照预定规则从分割区域中选择一个对象并且预测所选对象的掩膜；以及在聚类步骤中，基于所预测的掩膜和像素区域的特征对像素区域进行聚类，以得到所选对象的轮廓。根据本公开的其它方面，还提供了用于实现上述根据本公开的方法的计算机程序代码和计算机程序产品。在下面的说明书部分中给出本公开实施例的其它方面，其中，详细说明用于充分地公开本公开实施例的优选实施例，而不对其施加限定。附图说明本公开可以通过参考下文中结合附图所给出的详细描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并形成说明书的一部分，用来进一步举例说明本公开的优选实施例和解释本公开的原理和优点。其中：图1是示出根据本公开实施例的图像处理装置的功能配置示例的框图；图2A和2B分别是示出原始图像和该原始图像的类别分割图的示例的图，以及图2C是示出所选对象的掩膜的示例的图；图3A和3B分别是示出根据本公开实施例的要构成超像素的像素的集合和所选对象的掩膜的示例的图；图4A是示出根据本公开实施例的有关超像素的图模型的示例的图，以及图4B是示出根据本公开实施例的有关超像素的图模型的示意图；图5是示出根据本公开实施例的确定分割区域中是否包括不止一个对象的示例的图；图6是示出根据本公开实施例的图像处理方法的流程示例的流程图；以及图7是示出作为本公开实施例中可采用的个人计算机的示例结构的框图。具体实施方式在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的设备结构和/或处理步骤，而省略了与本公开关系不大的其它细节。下面结合附图详细说明根据本公开的实施例。首先，将参照图1描述本公开实施例的图像处理装置100的功能框图。图1是示出根据本公开实施例的图像处理装置100的功能配置示例的框图。如图1所示，根据本公开实施例的图像处理装置100包括获得类别分割图单元102、预测单元104以及聚类单元106。获得类别分割图单元102可以被配置成对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象。现有的语义分割算法可以从原始图像分割出包括属于同一类别的对象的区域，从而获得分别与不同类别对应的类别分割图。作为示例，在获得类别分割图单元102中，可以利用现有的语义分割算法对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象。图2A和2B分别是示出原始图像和该原始图像的类别分割图的示例的图。在图2A所示的原始图像中，包括属于同一类别(即，车)的两个对象(即，两辆车)。在图2B所示的类别分割图中，从图2A所示的原始图像中分割出属于同一类别(即，车)的上述两个对象。预测单元104和聚类单元106可以被配置成针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行如下处理：预测单元104被配置成按照预定规则从分割区域中选择一个对象并且预测所选对象的掩膜；以及聚类单元106被配置成基于所预测的掩膜和像素区域的特征对像素区域进行聚类，以得到所选对象的轮廓。作为示例，类别分割图中的分割区域是类别分割图中的前景区域。例如，在图2B所示的类别分割图中，包括两辆车的区域为分割区域。作为示例，对于图2B所示的类别分割图中的分割区域，预测单元104从分割区域中选择一个对象例如位于左侧的车，并且利用现有技术预测图2B所示的位于左侧的车的掩膜。图2C是示出所选对象的掩膜的示例的图。图2C中的白色区域示出了图2B中位于左侧的车的掩膜。聚类单元106基于例如图2C所示的所预测的掩膜和像素区域的特征对像素区域进行聚类，从而可以得到图2B所示的位于左侧的车的轮廓。作为示例，聚类单元106可以使用k均值方法对原始图像中的本文档来自技高网...

【技术保护点】
1.一种图像处理装置，包括获得类别分割图单元、预测单元以及聚类单元，其中：/n所述获得类别分割图单元被配置成对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象；/n所述预测单元和所述聚类单元被配置成针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行如下处理：/n预测单元被配置成按照预定规则从所述分割区域中选择一个对象并且预测所选对象的掩膜；以及/n聚类单元被配置成基于所预测的掩膜和像素区域的特征对所述像素区域进行聚类，以得到所选对象的轮廓。/n

【技术特征摘要】
1.一种图像处理装置，包括获得类别分割图单元、预测单元以及聚类单元，其中：
所述获得类别分割图单元被配置成对原始图像进行语义分割而获得至少一个类别分割图，所述至少一个类别分割图中的每个类别分割图包括属于同一类别的对象；
所述预测单元和所述聚类单元被配置成针对所述至少一个类别分割图中预定的类别分割图中的分割区域进行如下处理：
预测单元被配置成按照预定规则从所述分割区域中选择一个对象并且预测所选对象的掩膜；以及
聚类单元被配置成基于所预测的掩膜和像素区域的特征对所述像素区域进行聚类，以得到所选对象的轮廓。


2.根据权利要求1所述的图像处理装置，其中，所述聚类单元被配置成将所述所选对象中的、其特性之间的差异小于预定阈值的像素构成的超像素作为所述像素区域，并基于所预测的掩膜和所述超像素的特征对所述超像素进行聚类，以得到所选对象的轮廓。


3.根据权利要求2所述的图像处理装置，其中，所述聚类单元进一步被配置成利用有关所述超像素的图模型来对所述超像素进行聚类，其中，所述图模型的顶点为超像素，所述图模型的边表示通过所述边连接的超像素之间的相似度。


4.根据权利要求1所述的图像处理装置，其中，所述预测单元进一步被配置为：当面积最大的对象比其余对象的面积大预定阈值时，选择所述面积最大的对象。


5.根据权利要求4所述的图像处理装置，其中，所述预测单元进一步被配置为：当两个对象的面积之间的差别小于所述预定阈值时，选择所述两个对象中的位于预定位置的一个对象。


6.根据权利要求1所述的图像处理装置，还包括确定单元，所述确定单元被配置成确定所述分割区域中是否包括不止一个对象。


7....

【专利技术属性】
技术研发人员：王若辰，于小亿，孙俊，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本;JP