半自动图像分割制造技术

对位于用户给定(例如，触摸屏接触)的点附近的对象的输入图像执行半自动(即时)彩色图像分割。确定在用户选择点周围(位于其周围或环绕其)的目标对象的尺寸、形状和颜色的数目，并且确定像素属于哪个区域，前景还是背景。生成二进制对象掩模，所述二进制对象掩模能够被用于去除环绕那个对象的素材，或反转掩模以去除所述对象的素材。

Semi-automatic image segmentation

A semi automatic (instant) color image segmentation is performed on the input image of an object located near a point given by a user (for example, touch screen contact). Determine the number, shape and color of the target object around the user selection point, and determine which area the pixel belongs to, or foreground or background. The binary object mask is generated, and the binary object mask can be used to remove the material that surrounds the object, or reverse mask to remove the material of the object.

【技术实现步骤摘要】
【国外来华专利技术】半自动图像分割相关申请的交叉引用不适用关于联邦政府赞助的研究或开发的声明不适用计算机程序附录通过引用结合不适用接受版权保护的素材的通知本专利文献中的部分素材受到美国和其它国家的版权法的版权保护。版权拥有者不反对任何人对专利文档或专利公开内容按照在美国专利商标局的公开可用的文件或记录中出现的那样进行的传真复制，但是除此之外在任何情况下都保留所有版权。版权所有者并不因此放弃其维持本专利文献保密的任何权利，包括但不限于依据37C.F.R.§1.14的权利。
本专利技术一般而言涉及图像处理，并且更具体地涉及半自动彩色图像分割。
技术介绍
图像分割是将彩色图像分成区域的处理。最简单的情况涉及从背景分离具有已知特性的前景对象。已经尝试了用于将对象的图像区域从其周围分割的不同方法。最简单的方法可能是基于阈值化。例如，给定用户选择的点，被分割的对象将是在某个范围内与用户选择的点处的颜色值(质心)具有相似颜色值的相邻像素的集合。这种方法仅针对单色对象，否则将要求用户选择多个质心值，并手动选择用于分割多色对象的颜色范围，以获取所选对象的所有元素。“抓取-切割”方法是另一种彩色图像分割方法，它是用于灰度图像分割的“图形切割”方法的修改版本，其中用于两个类(前景和背景)的灰度范围是通过前景或背景像素的方差自动选择的。在抓取-切割中，每个前景或背景类被进一步拆分成若干子类，以处理多色对象。由于向量值像素(即，红色、绿色和蓝色)，每个子类由质心颜色值和协方差矩阵表示。在传统意义上，这种模型被称为混合模型。颜色像素的概率密度函数常常通过用质心和协方差矩阵参数化的高斯函数的加权线性组合来近似，并且于是其被称为高斯混合模型(GMM，Gaussianmixturemodel)。使用GMM，将未标记的像素分类为最近的类，其中未标记的像素与每个类之间的距离用质心和协方差矩阵来计算。该做法不过是经典的贝叶斯分类器。抓取-切割的新颖性是针对距离测量的校正项(或平滑项)。未标记的像素周围的局部梯度的分析被考虑在内，并且那是抓取-切割比阈值方法执行得更好的一个原因。但是，抓取-切割要求用户在感兴趣的对象周围输入一个框。这个框实际上不仅提供了对象的位置，而且提供了粗略的尺寸。需要进一步的用户输入来对分割的对象进行微小的校正。但是，如上所述，适当的图像分割通常涉及大量的用户输入以达到适当的分割结果。因而，需要一种图像分割方法，其足够准确以允许半自动图像分割，同时克服了现有分割方法的缺点。
技术实现思路
在本公开中，以半自动(即时)分割位于用户给定的点附近的对象为目的来接收彩色图像。为了执行这种水平的半自动分割，就健壮性、由于平滑项引起的计算复杂性以及用户输入的简单性而言，以前的方法是不充分的。图1A至图1B图示了半自动图像分割的示例实施例。在图1A中，显示用户选择图像内的对象。应当认识到的是，虽然示出了触摸输入，但是可以类似地使用其它用户选择输入，包括但不限于触摸输入(接触和非接触)、到对象的光标移动，以及用于指向图像内的特定位置(待分割的对象关于该位置在表面上定位)的类似手段。在指向图像对象内时，与该对象相关联的像素被自动分割为在图1B中看到的。应当认识到的是，该示例图示了分割对象本身(丢弃背景)，而可替代地，从图像的其余部分中可去除该对象，或者在不背离本公开的教导的情况下以另一种方式利用的分割。为了准确地执行这种分割过程，不需要附加的用户输入。因此，所公开的方法被配置为用于半自动地估计在用户选择的点周围(位于其周围或环绕其)的目标对象的尺寸、形状和颜色的数量。一旦分割开始，该方法就自己决定像素属于哪个区域，前景还是背景。用户选择是所述过程的唯一非自动化部分，但是在不背离本专利技术的教导的情况下可以不太优选地添加其它步骤(例如，参数选择、验证步骤、选择分割对象等)。本公开介绍了半自动图像分割系统的一般框架。本专利技术的其它方面将在说明书的以下部分中提出，其中具体描述是为了全面公开本专利技术的优选实施例而不是对其进行限制。附图说明通过参考以下仅用于说明目的的附图，将更全面地理解本专利技术：图1A和图1B是示出根据本公开的实施例执行的用户选择对象(图1A)和从其周围分割的所选对象(图1B)的图像。图2A和图2B是根据本公开的实施例的半自动分割的流程图。图3是根据本公开的实施例的半自动已知对象分割的流程图。图4是根据本公开的实施例的半自动未知对象分割的流程图。图5是根据本公开的实施例的、使用预期最大化(EM，expectation-maximization)的半自动分割的流程图。图6是根据本公开的实施例的、在半自动图像分割期间的孔恢复的流程图。图7A至图7F是详细描述根据本公开的实施例的半自动图像分割处理中的步骤的图像。具体实施方式1.介绍本公开(系统/方法/装置)利用颜色直方图对比度的显著性检测的多个元素来克服
技术介绍
中发现的分割的问题。1.1.半自动分割本公开被配置用于考虑两种类型的对象：在本文中例示为人类对象的已知对象以及在本文中例示为非人类对象的未知对象。对于这些不同的对象类型，使用两种不同但相似的方法。1.2EM方法单触摸分割问题是具有挑战性的，特别是因为重要信息(包括对象的尺寸和形状、颜色数量(即，类参数))没有诸如响应于用户输入而提供给系统。没有类信息(参数)的分类问题被称为无监督分类问题。在解决分割问题时，系统被配置为同时对像素进行分类并估计类参数。用于解决这个问题的一种做法叫做预期最大化(EM)算法。这被用于本公开以根据本公开的实施例使用联合贝叶斯分类器来估计类参数和对象掩模(mask)。1.3多尺度(multi-scale)方案为了提高分割处理的稳定性并降低计算成本，依靠多尺度方案。在这个多尺度处理中，以粗糙的分辨率估计掩模，并且然后以更精细的分辨率逐渐细化。给出了用于缩小(downscale)到十六分之一(1/16)的分辨率的示例，但本公开的实施例还被配置为将输入图像缩小到六十四分之一(1/64)的分辨率。应当认识到的是，在不背离本公开的教导的情况下，本公开可以利用缩小到任何实际水平。1.4辨别已知对象在执行实际的分割之前，系统执行已知对象检测处理，在本文中用人脸检测处理(方法)对人类对象进行例示，以找出可能存在于给定图像中的任何脸部。使用检测到的脸部，相关联的人类对象被预先分割。然后确定用户选择的点是否在任何人类对象的区域内。如果选择点在这些人类对象之一内，那么使用预分割结果对对象掩模进行初始化，并且然后以更精细的分辨率对对象掩模进行细化。在本公开的至少一个实施例中，可以利用行人(全身的人)检测或其它对象检测方法的处理来识别特定对象的位置和尺寸。应当认识到的是，脸部检测处理仅仅是示例，而本领域普通技术人员将认识到的是，其它形式的对象检测是可用的并且可以类似地使用而不背离本公开，包括但不限于车辆检测、行人(全身的人)等等。1.5辨别未知对象对于未知对象，本方法首先通过二进制搜索方法搜索圆形初始掩模的最佳尺寸，并在分割处理中设置一些停止标准。只有当EM方法收敛时，分割才成功结束。基于分割处理如何结束，确定初始掩模的最佳尺寸。2.技术细节和实施例图2A至图2B图示了根据本公开的半自动分割处理的示例实施例10。接收原始输入数据12，诸如彩色图像之类，本文档来自技高网...

【技术保护点】
一种用于从图像的其余部分半自动分割图像对象的装置，包括：(a)处理器，被配置用于捕获的彩色数字图像的图像处理，以及接收用户选择输入作为所述彩色图像内用于识别要对其应用分割的对象的用户选择位置；以及(b)存储器，存储指令；(c)当所述指令由处理器执行时，执行所述彩色图像中作为前景的对象从其背景的分割，包括：(i)在分割对象开始时缩小所述彩色图像，并且随着分割的进行而选择一个或多个更精细的分辨率；(ii)利用联合贝叶斯分类器执行预期最大化(EM)，用于将附近像素分类为前景或背景，并且同时响应于利用针对每个像素的像素颜色值而估计用于对象的类参数和对象掩模；(iii)在执行对象的所述分割的同时执行二进制搜索，用于确定初始掩模的最佳尺寸，并且在对象的所述分割期间检查停止标准，并且响应于EM收敛而完成成功的分割；以及(iv)为对象生成对象掩模。

【技术特征摘要】
【国外来华专利技术】2015.07.21 US 14/804,4331.一种用于从图像的其余部分半自动分割图像对象的装置，包括：(a)处理器，被配置用于捕获的彩色数字图像的图像处理，以及接收用户选择输入作为所述彩色图像内用于识别要对其应用分割的对象的用户选择位置；以及(b)存储器，存储指令；(c)当所述指令由处理器执行时，执行所述彩色图像中作为前景的对象从其背景的分割，包括：(i)在分割对象开始时缩小所述彩色图像，并且随着分割的进行而选择一个或多个更精细的分辨率；(ii)利用联合贝叶斯分类器执行预期最大化(EM)，用于将附近像素分类为前景或背景，并且同时响应于利用针对每个像素的像素颜色值而估计用于对象的类参数和对象掩模；(iii)在执行对象的所述分割的同时执行二进制搜索，用于确定初始掩模的最佳尺寸，并且在对象的所述分割期间检查停止标准，并且响应于EM收敛而完成成功的分割；以及(iv)为对象生成对象掩模。2.如权利要求1所述的装置，其中所述指令在由处理器执行时被配置用于执行分割，以从背景分离前景的图像对象。3.如权利要求1所述的装置，其中所述指令在由处理器执行时被配置用于响应于包括深度信息或直方图对比度信息或其组合的进一步信息而利用联合贝叶斯分类器执行预期最大化(EM)。4.如权利要求1所述的装置，所述指令在由处理器执行时还被配置用于当图像对象是具有已知特性的已知对象时执行预分割处理，所述已知特性被用来从背景中辨别所述已知对象的至少一部分。5.如权利要求4所述的装置，其中所述已知对象是具有人类对象特性的人类。6.如权利要求5所述的装置，其中所述指令在由处理器执行时被配置用于在脸部检测处理中利用所述人类对象特性来帮助从背景中预分割人类对象。7.如权利要求6所述的装置，其中所述指令在由处理器执行时被配置用于通过以下操作来执行所述预分割：针对每个检测到的脸部连同为围绕每个检测到的脸部的头发部分确定的边界和作为初始背景区域的超出头发边界确定的另一边界生成初始前景掩模。8.如权利要求1所述的装置，其中所述指令在由处理器执行时被配置用于基于用于识别将要对其应用分割的对象的所述用户选择位置来执行图像的所述分割，而不要求用户输入或以其它方式定义对象的尺寸或环绕对象的边界。9.如权利要求1所述的装置，其中所述指令在由处理器执行时被配置用于通过基于均方误差为前景和/或背景像素估计最佳适应性类数目来利用联合贝叶斯分类器执行预期最大化(EM)，并且执行通过量化器来量化前景和/或背景像素以生成用于前景和/或背景区域的初始类，从中生成指示前景像素与最近的背景类有多近的置信图，并且类参数的评估和更新基于当前类(E步骤)，随后是使用联合贝叶斯分类器在评估点处对像素进行评估以对像素进行分类(M步骤)。10.如权利要求1所述的装置，所述指令在由处理器执行时被配置用于基于所述用户选择位置来执行所述分割，所述用户选择位置包括在其上显示所述彩色图像的屏幕上的触摸输入。11.一种用于从图像的其余部分半自动分割图像对象的装置，包括：(a)处理器，被配置用于捕获的彩色数字图像的图像处理，以及接收用户选择输入作为所述彩色图像内用于识别要对其应用分割的对象的用户选择位置；以及(b)存储器，存储指令；(c)当所述指令由处理器执行时，执行所述彩色图像中作为前景的对象从其背景的分割，包括：(i)在分割对象开始时缩小所述彩色图像，并且随着分割的进行而选择一个或多个更精细的分辨率；(ii)利用联合贝叶斯分类器执行预期最大化(EM)，用于将所述用户选择位置附近的像素分类为前景或背景，并且同时响应于利用针对每个像素的像素颜色值、深度和直方图对比度来估计用于对象的类参数和对象掩模；(iii)在执行对象的所述分割的同时执行二进制搜索，用于确定初始掩模的最佳尺寸，并且在对象的所述分割期间检查停止标准，并且响应于EM收敛而完成成功的分割；以及(iv)随着用户选择而为对象生成对象掩模。12.如权利要求11所述的装置，所述指令在由处理器执行时还被配置用于当图像对象是具有已知特性的已知对象时执行预分割处理，所述已知特性被用来从背景像素中辨...

【专利技术属性】
技术研发人员：武田浩行，穆哈默德·加拉维阿尔克汉萨里，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP