对象提取方法和对象提取设备技术

公开了一种对象提取方法和对象提取设备。该对象提取方法包括：计算背景图像中像素的梯度和梯度方向，将梯度与第一阈值比较，提取背景图像的二值化边缘图；计算包括前景对象的当前帧中像素的梯度和梯度方向，将梯度与第二阈值比较，提取当前帧的二值化边缘图；基于背景图像和当前帧的二值化边缘图、以及背景图像和当前帧中的像素的梯度方向，提取前景对象的二值化边缘图；将前景对象的二值化边缘图中的包括前景对象的区域划分成具有预定大小的单元，找到前景对象的边界单元；以及将边界单元分割为前景边界部分和背景部分，得到前景对象的边界，从而得到前景对象的掩膜。根据本公开的实施例，能够实现无需任何用户交互的自动对象提取。

【技术实现步骤摘要】

本公开涉及背景前景分割、人体识别以及虚拟现实等领域，更具体地，涉及一种能够实现无需任何用户交互的自动对象提取的对象提取方法和对象提取设备。
技术介绍
对象提取是计算机视觉的基本研究问题，也是近几年来比较热门的研究方向之一。对象提取是指从图像或视频序列中提取出感兴趣的前景物体。由于光改变以及摄像装置自动白平衡，从背景中提取前景对象是具有挑战性的任务。对于人工智能、面部检测、以及其他应用，前景对象提取是非常有用的。随着计算机视觉的发展，涌现了大量的图像和视频对象提取算法。这些算法可分为交互式对象提取和自动对象提取两类。近几年，交互式对象提取研究已经有了很大的发展和提高；然而，由于对象提取本身的二义性，对于完全自动对象提取仍然是一个挑战性任务。对于复杂场景的对象提取，无需任何用户交互的自动对象提取是极其困难的。因此，大部分对象提取算法都基于用户交互。然而，自动对象提取算法在某些特定的领域有着非常重要的应用，如网络会议、视频聊天、手机摄像等嵌入式设备的应用。
技术实现思路
在下文中给出了关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。鉴于以上问题，本公开的目的是提供一种新颖且鲁棒的对象提取方法和对象提取设备，其能够实现无需任何用户交互的自动对象提取。根据本公开的一方面，提供了一种用于在视频序列中提取前景对象的对象提取方法，包括：背景图像二值化边缘图提取步骤，用于计算背景图像中的每个像素的梯度和梯度方向，通过将背景图像中的每个像素的梯度与第一阈值比较，提取背景图像的二值化边缘图；当前帧二值化边缘图提取步骤，用于计算包括前景对象的当前帧中的每个像素的梯度和梯度方向，通过将当前帧中的每个像素的梯度与第二阈值比较，提取当前帧的二值化边缘图；前景对象二值化边缘图提取步骤，用于基于背景图像的二值化边缘图和当前帧的二值化边缘图、以及背景图像中的像素的梯度方向和当前帧中的像素的梯度方向，提取前景对象的二值化边缘图；前景对象边界单元查找步骤，用于将前景对象的二值化边缘图中的包括前景对象的区域划分成具有预定大小的单元，找到位于前景对象的边界处的边界单元；以及前景对象掩膜获得步骤，用于将边界单元分割为前景边界部分和背景部分，以得到前景对象的边界，从而利用前景对象的边界得到前景对象的掩膜。根据本公开的另一方面，还提供了一种用于在视频序列中提取前景对象的对象提取设备，包括：背景图像二值化边缘图提取模块，被配置成计算背景图像中的每个像素的梯度和梯度方向，通过将背景图像中的每个像素的梯度与第一阈值比较，提取背景图像的二值化边缘图；当前帧二值化边缘图提取模块，被配置成计算包括前景对象的当前帧中的每个像素的梯度和梯度方向，通过将当前帧中的每个像素的梯度与第二阈值比较，提取当前帧的二值化边缘图；前景对象二值化边缘图提取模块，被配置成基于背景图像的二值化边缘图和当前帧的二值化边缘图、以及背景图像中的像素的梯度方向和当前帧中的像素的梯度方向，提取前景对象的二值化边缘图；前景对象边界单元查找模块，被配置成将前景对象的二值化边缘图中的包括前景对象的区域划分成具有预定大小的单元，找到位于前景对象的边界处的边界单元；以及前景对象掩膜获得模块，被配置成将边界单元分割为前景边界部分和背景部分，以得到前景对象的边界，从而利用前景对象的边界得到前景对象的掩膜。根据本公开的其它方面，还提供了用于实现上述根据本公开的方法的计算机程序代码和计算机程序产品以及其上记录有该用于实现上述根据本公开的方法的计算机程序代码的计算机可读存储介质。在下面的说明书部分中给出本公开实施例的其它方面，其中，详细说明用于充分地公开本公开实施例的优选实施例，而不对其施加限定。附图说明本公开可以通过参考下文中结合附图所给出的详细描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并形成说明书的一部分，用来进一步举例说明本公开的优选实施例和解释本公开的原理和优点。其中：图1是示出根据本公开的实施例的用于在视频序列中提取前景对象的对象提取方法的流程示例的流程图；图2是示出根据本公开的实施例的所获得的平均背景图像的示例的图；图3是示出根据本公开的实施例的当前帧的示例的图；图4是示出根据本公开的实施例的用于计算边缘图的模板的示例的图；图5是示出根据本公开的实施例的背景图像的二值化边缘图的示例的图；图6是示出根据本公开的实施例的当前帧的二值化边缘图的示例的图；图7是示出根据本公开的实施例的初步的前景对象的二值化边缘图的示例的图；图8是示出根据本公开的实施例的前景对象的二值化边缘图的示例的图；图9是示出根据本公开的实施例的包括前景对象的区域的示例的图；图10是示出根据本公开的实施例的对前景对象的边缘进行连接的示例的图；图11是示出根据本公开的实施例的边界单元的示例的图；图12是示出根据本公开的实施例的在通过线扫描方法确定前景边界部分的处理中的扫描方向的示例的图；图13是示出根据本公开的实施例的前景对象的掩膜的示例的图；图14是示出根据本公开的实施例的前景对象的平滑后的边界的示例的图；15是示出根据本公开的实施例的将前景对象置于虚拟环境中的示例的图；16是示出根据本公开的实施例的对象提取设备的功能配置示例的框图；以及图17是示出作为本公开的实施例中可采用的信息处理设备的个人计算机的示例结构的框图。具体实施方式在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的设备结构和/或处理步骤，而省略了与本公开关系不大的其它细节。下面结合附图详细说明根据本公开的实施例。首先，将参照图1描述根据本公开的实施例的用于在视频序列中提取前景对象的对象提取方法的流程示例。图1是示出根据本公开的实施例的用于在视频序列中提取前景对象的对象提取方法的流程示例的流程图。如图1所示，根据本公开的实施例的对象提取方法可包括背景图像二值化边缘图提取步骤S102、当前帧二值化边缘图提取步骤S104、前景对象二值化边缘图提取步骤S106、前景对象边界单元查找步骤S108、以及前景对象掩膜获得步骤S110。以下将分别详细描述各个步骤中的处理。首先，在背景图像二值化边缘图提取步骤S102中，可以计算背景图像中的每个像素的梯度和梯度方向，通过将背景图像中的每个像素的梯度与第一阈值比较，提取背景图像的二值化边缘图。在背景本文档来自技高网...

【技术保护点】
一种用于在视频序列中提取前景对象的对象提取方法，包括：背景图像二值化边缘图提取步骤，用于计算背景图像中的每个像素的梯度和梯度方向，通过将所述背景图像中的每个像素的梯度与第一阈值比较，提取所述背景图像的二值化边缘图；当前帧二值化边缘图提取步骤，用于计算包括所述前景对象的当前帧中的每个像素的梯度和梯度方向，通过将所述当前帧中的每个像素的梯度与第二阈值比较，提取所述当前帧的二值化边缘图；前景对象二值化边缘图提取步骤，用于基于所述背景图像的二值化边缘图和所述当前帧的二值化边缘图、以及所述背景图像中的像素的梯度方向和所述当前帧中的像素的梯度方向，提取所述前景对象的二值化边缘图；前景对象边界单元查找步骤，用于将所述前景对象的二值化边缘图中的包括所述前景对象的区域划分成具有预定大小的单元，找到位于所述前景对象的边界处的边界单元；以及前景对象掩膜获得步骤，用于将所述边界单元分割为前景边界部分和背景部分，以得到所述前景对象的边界，从而利用所述前景对象的边界得到所述前景对象的掩膜。

【技术特征摘要】
1.一种用于在视频序列中提取前景对象的对象提取方法，包括：背景图像二值化边缘图提取步骤，用于计算背景图像中的每个像素的梯度和梯度方向，通过将所述背景图像中的每个像素的梯度与第一阈值比较，提取所述背景图像的二值化边缘图；当前帧二值化边缘图提取步骤，用于计算包括所述前景对象的当前帧中的每个像素的梯度和梯度方向，通过将所述当前帧中的每个像素的梯度与第二阈值比较，提取所述当前帧的二值化边缘图；前景对象二值化边缘图提取步骤，用于基于所述背景图像的二值化边缘图和所述当前帧的二值化边缘图、以及所述背景图像中的像素的梯度方向和所述当前帧中的像素的梯度方向，提取所述前景对象的二值化边缘图；前景对象边界单元查找步骤，用于将所述前景对象的二值化边缘图中的包括所述前景对象的区域划分成具有预定大小的单元，找到位于所述前景对象的边界处的边界单元；以及前景对象掩膜获得步骤，用于将所述边界单元分割为前景边界部分和背景部分，以得到所述前景对象的边界，从而利用所述前景对象的边界得到所述前景对象的掩膜。2.根据权利要求1所述的对象提取方法，其中，所述第一阈值小于所述第二阈值。3.根据权利要求2所述的对象提取方法，其中，在所述前景对象二值化边缘图提取步骤中，将所述当前帧的二值化边缘图与所述背景图像的二值化边缘图中的对应位置的像素值相减而得到像素差值，在所述像素差值小于或等于0的情况下，将所述前景对象的二值化边缘图中对应位置的像素设置为第一值，而在所述像素差值大于0的情况下，将所述前景对象的二值化边缘图中对应位置的像素设置为第二值。4.根据权利要求3所述的对象提取方法，其中，在所述当前帧的二
\t值化边缘图与所述背景图像的二值化边缘图中的对应位置的像素值均为所述第二值时，将所述当前帧与所述背景图像中的对应位置的像素的梯度方向相减而得到梯度方向差值，在所述梯度方向差值大于第三阈值的情况下，将所述前景对象的二值化边缘图中对应位置的像素设置为所述第二值。5.根据权利要求1所述的对象提取方法，其中，在所述前景对象边界单元查找步骤中，对于所述前景对象的二值化边缘图中的包括...

【专利技术属性】
技术研发人员：刘威，范伟，孙俊，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本;JP