基于地平面检测从图像序列中恢复人类对象的缺失脚部制造技术

一种对象分割系统，包括第一类型传感器，第二类型传感器和控制电路。第一类传感器捕获场景的彩色图像帧序列。第二类型传感器捕获彩色图像帧序列中的每个对应的彩色图像帧的深度图像。控制电路生成输入彩色图像帧的点云。控制电路从输入彩色图像帧的背景中分割前景人类对象。控制电路检测输入彩色图像帧中捕获的场景的地平面。控制电路恢复距离检测到的地平面的水平的限定区域中的脚部区域。控制电路基于对地平面的检测，从输入彩色图像帧的背景中提取具有恢复的脚部区域的前景人类对象。中提取具有恢复的脚部区域的前景人类对象。中提取具有恢复的脚部区域的前景人类对象。

【技术实现步骤摘要】
【国外来华专利技术】基于地平面检测从图像序列中恢复人类对象的缺失脚部
[0001]相关申请的交叉参考/引用
[0002]没有。


[0003]本公开的各种实施例涉及从图像序列的对象提取技术。更具体地，本公开的各种实施例涉及用于基于地平面检测从图像序列进行准确的人类对象的缺失脚部恢复的对象分割装置和方法。

技术介绍

[0004]图像处理领域的最新发展已经导致各种图像分割技术的进步。这样的技术便于基于不同的基于统计和/或概率图像特征的方法从特定图像分割感兴趣对象(诸如人体)。这种对象分割技术的示例可以包括基于压缩的对象分割技术、基于颜色的分割技术、基于深度的对象分割技术和基于直方图的对象分割技术。
[0005]当前，在基于特征颜色的分割方法中，可以基于从捕获图像减除预定的静态背景图像来分割感兴趣对象。然而，为了生成预定静态背景图像，当场景中不存在感兴趣对象时，需要常规对象分割装置来捕获场景的图像序列，这可能是不合需要的。场景的预定静态背景图像可以从所捕获的图像序列生成。背景图像减除方法可能进一步需要用静态相机从场景捕获图像序列。在另一基于深度的方法中，常规装置可通过使用可由深度传感器捕获的深度图像来分割感兴趣对象。在深度传感器捕获包括无效深度值的有噪声的深度图像的情况下，传统的对象分割装置可能错误地且不精确地从捕获图像分割感兴趣对象。基于这些方法分割的感兴趣对象(诸如人类对象)可能没有脚部区域，因为脚部区域靠近分割可能不准确的地平面。另外，人类对象的脚部区域周围的面积也可以被人类对象的阴影改变。因此，经分割的人类对象可能具有可能不期望的缺失的脚部区域。
[0006]通过将所描述的系统与本公开的一些方面进行比较，如在本申请的其余部分中并且参考附图所阐述的，常规和传统方法的进一步的限制和缺点对于本领域技术人员将变得显而易见。

技术实现思路

[0007]本专利技术提供了一种用于基于地平面检测从图像序列进行人类对象的缺失脚部恢复的对象分割装置和方法，其基本上如至少一幅附图所示和/或结合至少一幅附图进行描述，并在权利要求中更完整地阐述。
[0008]通过阅读本公开的以下详细描述以及附图，可以理解本公开的这些和其他特征和优点，在附图中，相同的附图标记始终表示相同的部件。
附图说明
[0009]图1是示出根据本公开的实施例的用于基于地面平面检测从图像序列进行人类对
象的缺失脚部恢复的示例性网络环境的框图。
[0010]图2是示出根据本公开的实施例的示例性对象分割装置的框图。
[0011]图3A、图3B、图3C、图3D、图3E、图3F、图3G和图3H共同地示出了根据本公开实施例的用于基于地面检测从图像序列进行人类对象的缺失脚部恢复的示例性操作。
[0012]图4A、图4B和图4C共同地描述了示出了根据本公开的实施例的用于基于地面检测从图像序列进行人类对象的缺失脚部恢复的示例性操作的流程图。
具体实施方式
[0013]以下描述的实现可以在所公开的用于基于地平面检测从图像序列进行人类对象的缺失脚部恢复的装置和方法中找到。本公开的示例性方面可以包括一种对象分割系统，其包括第一类型传感器和第二类型传感器。第一类型传感器可以被配置为捕获场景的彩色图像帧序列。第二类型传感器可以被配置为捕获该彩色图像帧序列中的每个对应彩色图像帧的深度图像。对象分割系统还可以包括控制电路，其被配置为生成从第一类型传感器接收的彩色图像帧序列的输入彩色图像帧的点云。可以基于从第二类型传感器接收的输入彩色图像帧的对应输入深度图像来生成输入彩色图像帧的点云。
[0014]根据实施例，对象分割装置可以被配置为基于第一图像参数集合从输入彩色图像帧的背景分割前景人类对象。经分割的前景人类对象可以缺少前景人类对象的脚部区域的至少部分。对象分割装置还可以被配置为基于与从所生成的点云中的每个点投影的每个向量相关联的取向信息来检测在输入彩色图像帧中捕获的场景的地平面。根据实施例，地平面可通过将从所生成的点云中的多个点投影的多个向量聚类成向量聚类集合来检测。可以基于与所生成的点云中的向量聚类集合中的一个向量聚类相关联的取向信息来检测场景的地平面。对象分割装置可以基于第二图像参数集合恢复距离输入彩色图像帧中的检测到的地平面的水平的限定区域中的脚部区域。第二图像参数集合可以不同于第一图像参数集合。对象分割装置还可以被配置为从彩色图像帧序列的输入彩色图像帧的背景提取具有恢复的脚部区域的前景人类对象。可以基于对地平面的检测以及所确定的距离所检测到的地平面的水平的限定区域中的多个前景像素来提取具有恢复的脚部区域的前景人类对象。
[0015]根据实施例，对象分割装置可以检测输入深度图像中的不存在深度值的多个区域。对象分割装置可以被配置为通过中值滤波器和均匀滤波器来平滑输入深度图像以填充多个区域处的深度值并减少输入深度图像中的噪声。对象分割装置还可以被配置为基于输入深度图像来确定所生成的点云中的多个点中的每个点的三维(3D)坐标。对象分割装置可以针对输入彩色图像帧中捕获的场景计算从所生成的点云中的多个点投影的多个向量。从所生成的点云中的多个点投影的多个向量可以基于所生成的点云的多个点中的感兴趣点和感兴趣点的两个相邻点的三维坐标来计算。
[0016]根据实施例，对象分割装置可以被配置为将所计算的与所生成的点云中的多个点相关联的多个向量聚类成向量聚类集合。可以基于与所计算的多个向量中的每个向量相关联的取向信息来对所计算的多个向量进行聚类，所计算的多个向量与所生成的点云中的多个点相关联。对象分割装置可以被配置为基于与在输入彩色图像帧中捕获的场景相关联的向量聚类集合，检测在输入彩色图像帧中捕获的场景的多个平面。
[0017]根据实施例，对象分割装置可以基于与在输入彩色图像帧中捕获的场景相关联的
向量聚类集合生成平面图。另外，可以通过映射在输入彩色图像帧的图像域中所检测到的多个平面来生成平面图。平面图可以包括在平面图中的所检测的多个平面的不同平面中分组的像素。可以基于与平面图中的每个像素相关联的相同取向信息来对像素进行分组，而不考虑在场景的输入彩色图像帧的图像域中，像素在平面图中的空间定位。对象分割装置还可以被配置为在平面图中的检测到的多个平面中检测多个隔离区域。可以基于平面图中的面积大小小于图像域中的第一阈值像素数量的多个隔离区域的面积大小来检测多个隔离区域。对象分割装置可消除平面图中的检测到的多个隔离区域。对象分割装置可通过中值滤波器进一步平滑小于图像域中的第二阈值像素数量的所检测到的多个隔离区域。
[0018]根据实施例，对象分割装置可针对场景从平面图中的所检测的多个平面中选择距离参考高度的最低平面。参考高度可以对应于捕获场景的彩色图像帧序列的第一类型传感器的高度。平面图中的所检测的多个平面中的所选最低平面可以是在输入彩色图像帧中捕获的场景的地平面。所述对象分割装置可以被配置为基于所述平面图中的像素的基于高度的分布而分离所述平面图中的不同水平面中的像素。对象分割装置还可以被配置为基于平面图中的像素的基本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种对象分割系统，包括：第一类型传感器，被配置为捕获场景的彩色图像帧序列；第二类型传感器，被配置为捕获所述彩色图像帧序列中的每个对应彩色图像帧的深度图像；以及控制电路，被配置为：基于从所述第二类型传感器接收的输入彩色图像帧的对应输入深度图像，生成从所述第一类型传感器接收的所述彩色图像帧序列的输入彩色图像帧的点云；基于第一图像参数集合从所述输入彩色图像帧的背景分割前景人类对象，其中，分割的前景人类对象缺少前景人类对象的脚部区域的至少部分；通过将从所生成的点云中的多个点投影的多个向量聚类成向量簇集合来检测在所述输入彩色图像帧中捕获的所述场景的地平面，其中，基于与所生成的点云中的所述向量聚类集合中的一个向量聚类相关联的取向信息来检测所述场景的地平面；基于与所述第一图像参数集合不同的第二图像参数集合，恢复距离所述输入彩色图像帧中所检测到的地平面的水平的限定区域中的脚部区域；以及基于对地平面的检测和距离所检测到的地平面的水平的限定区域中的多个前景像素，从所述彩色图像帧序列的输入彩色图像帧的背景中提取包括所恢复的脚部区域的前景人类对象。2.根据权利要求1所述的系统，其中，所述控制电路还被配置为：检测输入深度图像中不存在深度值的多个区域；以及通过中值滤波器和均匀滤波器来平滑所述输入深度图像，以填充所述多个区域处的深度值并减少所述输入深度图像中的噪声。3.根据权利要求1所述的系统，其中，所述控制电路还被配置为基于所述输入深度图像来确定所生成的点云中的每个点的三维3D坐标。4.根据权利要求3所述的系统，其中，所述控制电路还被配置为基于针对在所述输入彩色图像帧中捕获的所述场景所生成的点云的所述多个点中的感兴趣点和所述感兴趣点的两个相邻点的三维3D坐标，计算从所生成的点云中的多个点投影的多个向量，其中，基于与所计算的多个向量中的每个向量相关联的取向信息，将与所生成的点云中的所述多个点相关联的所计算的多个向量聚类到所述向量聚类集合。5.根据权利要求4所述的系统，其中，所述控制电路还被配置为基于与在所述输入彩色图像帧中捕获的所述场景相关联的所述向量聚类集合，检测在所述输入彩色图像帧中捕获的所述场景的多个平面。6.根据权利要求5所述的系统，其中，所述控制电路还被配置为基于与在所述输入彩色图像帧中捕获的场景相关联的所述向量聚类集合来生成平面图，其中，所述输入彩色图像帧的图像域中的所检测到的多个平面被映射以生成所述平面图。7.根据权利要求6所述的系统，其中，所述平面图包括基于与所述平面图中的每个像素相关联的相同取向信息而在所述平面图中的所检测到的多个平面的不同平面中分组的像素，而不考虑在所述场景的所述输入彩色图像帧的所述图像域中，所述像素在所述平面图中的空间定位。8.根据权利要求7所述的系统，其中，所述控制电路还被配置为基于所述平面图中的面
积大小小于所述图像域中的第一阈值像素数量的多个隔离区域的面积大小来检测所述平面图中的所检测到的多个平面中的多个隔离区域。9.根据权利要求8所述的系统，其中，所述控制电路还被配置为消除所述平面图中的所检测到的多个隔离区域，之后通过中值滤波器的平滑操作来平滑小于所述图像域中的第二阈值像素数量的所检测到的多个隔离区域。10.根据权利要求7所述的系统，其中，所述控制电路还被配置为针对所述场景的从所述平面图中的所检测到的多个平面中选择距离参考高度的最低平面，其中，所述参考高度对应于捕获所述场景的所述彩色图像帧序列的所述第一类型传感器的高度，并且其中，所述平面图中的所检测到的多个平面中的所选择的最低平面是在所述输入彩色图像帧中捕获的所述场景的地平面。11.根据权利要求7所述的系统，其中，所述控制电路还被...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：索尼公司，
类型：发明
国别省市：