基于立体摄像机的物体检测方法和装置制造方法及图纸

本发明专利技术公开了一种基于立体摄像机的物体检测方法和装置。该方法包括下述步骤：对立体摄像机拍摄物体获得的立体图像进行坐标转化，获得相当于假想的摄像机沿预定方向拍摄物体的立体图像，并且获得该坐标转化后的立体图像在该预定投影方向上的平面投影视图；对于该投影视图，基于检测参数进行物体检测；计算出被检测出物体遮挡的区域；对于在被检测出物体遮挡的区域内的位置，调整检测参数；以及对于在被检测出物体遮挡的区域内的位置，基于该调整后的检测参数来检测物体。本发明专利技术的物体检测方法和装置有效地解决了遮挡对物体检测和跟踪的影响，可以更准确和尽可能地利用已有图像数据检测到物体。

【技术实现步骤摘要】
基于立体摄像机的物体检测方法和装置
本专利技术总体地涉及图像处理，更具体地涉及基于立体摄像机的物体检测方法和装置。
技术介绍
图像处理领域中对人的检测的方法已经有很多方法，其中大多数使用的是彩色 (或灰度)图像。比如，基于混合高斯(GMM)的动态背景建模结合前景分割的方法，基于Haar 特征的人脸检测，基于HOG的行人检测方法等等。由于采集设备的限制，彩色(或灰度)图像 只包含二维信息，所以当存在遮挡时由于特征的不完整，检测失败是无法避免的难题。目前出现了许多立体信息采集设备。一类立体摄像机使用主动发射红外光来辅助 生成立体信息，这类摄像机有微软的Kinect。另一类立体摄像机基于立体视距的双目原理， 称为双目摄像机。已经存在一些利用立体摄像机采集的图像来检测对象的技术。例如，在标题为“METHOD AND SYSTEM TO SEGMENT DEPTH IMAGES AND TO DETECT SHAPES IN THREE-DIMENSIONALLY ACQUIRED DATA” 的专利文献 US8009871B2 中提出一种 对深度图像的分割技术，可以从三维信息中检测出某种形状的物体。在该公开的技术中，首 先，对深度图像中相临近的有相似深度值的像素赋予相同的标记，从而完成分割。然后，由 于遮挡的存在，不同对象会被粗划分为同一个区域内，将该区域内的像素先进行连通域分 析然后进行统计直方图的处理。直方图可以帮助细划分出不同的区域。标题为“SURFACE GENERATION METHOD FROM BOUNDARIES OF STEREO IMAGES” 的 专利文献US5202928A中提出一种使用立体图像检测平面的方法。该方法首先在不同角度 摄像机得到的图像中检测边缘并计算出各图像中的边缘对应同一物体的同一个边缘；然后 对边缘进行分类为真实的分割边界，假象的分割边界和未定义边界。最后，使用点的相互遮 挡的信息计算出一个平面的边界。另外，MichaelHarville 在 2003 年发表的文章〃Stereo Person Tracking with Adaptive Plan-View Templates of Height and Occupancy Statistics(下文中称为非 专利文献3)中提出了一种使用立体相机在投影图中对人进行跟踪的方法。具体地说，提出 了使用固定阈值对累加俯视图二值化，然后作为掩膜(mask)模板对高度俯视图进行操作； 最终人的检测在操作后的图像中完成。如上，在已知文献中介绍了使用立体摄像机检测对象的方法，然而当存在遮挡，尤 其是较严重的遮挡时如何检测仍然是待解决的难题。
技术实现思路
本专利技术的一个目的是希望提供一种物体检测方法和装置，其对物体遮挡具有较强 的鲁棒性，能够准确且尽可能多地检测出对象。根据本专利技术的实施例，一种基于立体摄像机的物体检测方法，可以包括下述步骤:对立体摄像机拍摄物体获得的立体图像进行坐标转化，获得相当于假想的摄像机沿预定方 向拍摄物体的立体图像，并且获得该坐标转化后的立体图像在该预定方向上的平面投影视 图；对于该投影视图，基于检测参数进行物体检测；计算出被检测出物体遮挡的区域；对于 在被检测出物体遮挡的区域内的位置，调整检测参数；以及对于在被检测出物体遮挡的区 域内的位置，基于该调整后的检测参数来检测物体。根据本专利技术的另一实施例，提供了一种基于立体摄像机的物体检测装置，包括:投 影视图获得部件，用于对立体摄像机拍摄物体获得的立体图像进行坐标转化，获得相当于 假想的摄像机沿预定方向拍摄物体的立体图像，并且获得该坐标转化后的立体图像在该预 定方向上的平面投影视图；第一物体检测部件，用于对于该投影视图，基于检测参数进行物 体检测；遮挡区域计算部件，用于计算出被检测出物体遮挡的区域；检测参数调整部件，用 于对于在被检测出物体遮挡的区域内的位置，调整检测参数；以及第二物体检测部件，用于 对于在被检测出物体遮挡的区域内的位置，基于该调整后的检测参数来检测物体。利用根据本专利技术实施例的物体检测方法和装置，可以消除或减轻遮挡的影响，更 准确和尽可能多地检测出对象。【附图说明】图1示出了根据本专利技术一个实施例的物体检测方法的总体流程图。图2给出了摄像机垂直方位、水平方位以及倾斜方位这三种布置下的覆盖范围和 遮挡情况的对比示意图。图3a示出了将立体摄像机获得的立体图像进行坐标转化，获得相当于假想的摄 像机垂直拍摄物体的立体图像的示意图，图3b示意性示出了真实立体摄像机拍摄的图像 和假想的摄像机拍摄的图像的对比示意图。图4a75出了人的累加俯视图的不意图，图4b不出人的闻度俯视图的不意图，图4c 示出了根据本专利技术一个实施例的在累加俯视图中标识出的由检测出的人遮挡的区域的示 意图。图5示出了通过物体模板和累加俯视图中候选区域匹配进行对象检测的示例性 方法120的流程图。图6示出了在图5的示例性方法120中使用的匹配窗口的示意图。图7a示出了用三维高斯核(Gaussian Kernel)函数来模拟立体人的示意图，图7b 示出了高斯核函数的累加俯视图的示意图。图8示出了在对图5的示例性方法120中的检测结果进行阈值化处理后的检测结 果的示意图。图9示出了根据本专利技术实施例的遮挡区域计算和检测参数调整的示例性方法的 流程图。图10示出了一种示例性遮挡模型的示意图。图11示出了一种被遮挡曲线的示意图。图12示出了根据本专利技术一个实施例的示例性物体检测装置的功能配置框图。图13是示出按照本专利技术实施例的物体检测系统的总体硬件框图。【具体实施方式】为了使本领域技术人员更好地理解本专利技术，下面结合附图和【具体实施方式】对本发 明作进一步详细说明。将按下列顺序进行描述:1、物体检测方法的整体过程2、坐标转换和平面投影视图的获得3、具体物体检测方法的示例[0031 ] 4、遮挡区域计算和检测参数调整的方法示例5、物体检测装置6、系统硬件配置7、总结1、物体检测方法的整体过程下面描述根据本专利技术一个实施例的、利用针对预定空间布置的立体摄像机，来对 该预定空间中的物体进行检测的整体过程。图1示出了根据本专利技术一个实施例的物体检测方法100的总体流程图。为便于描述，该总体流程图假定针对一预定空间中，布置了一个或多个立体摄像 机，以对出现于该预定空间中的对象进行立体成像，通过对立体图像进行处理来进行对象 检测。关于预定空间，例如可以是一个房间，例如超市、厂房等，不过也可以是室外的空 间，例如学校场地、军工场所等，只要是可以作为监控对象的空间即可。关于被检测的对象， 没有特别限制，可以是人、动物、飞行物、汽车、椅子等等。关于立体摄像机是指能够对物体进行三维成像或立体成像的摄像机，一般可同 时输出深度图像和彩色图像(或灰度图像)。如前所述，一类立体摄像机使用主动发射红外 光来辅助生成立体信息，这样的摄像机例子，有微软的Kinect，还有基于红外光飞行时间 (Time of Flight，T0F)技术的类型，或者基于纹理光的类型。另一类立体摄像机基于立体 视距的双目原理，例如双目摄像机或多目摄像机。为描述便利，下文将采用双目摄像机为例 进行说明，不过本专利技术并不局限于此，而是可以应用任何立体摄本文档来自技高网...

【技术保护点】
一种基于立体摄像机的物体检测方法，包括：对立体摄像机拍摄物体获得的立体图像进行坐标转化，获得相当于假想的摄像机沿预定方向拍摄物体的立体图像，并且获得该坐标转化后的立体图像在该预定方向上的平面投影视图；对于该投影视图，基于检测参数进行物体检测；计算出被检测出物体遮挡的区域；对于在被检测出物体遮挡的区域内的位置，调整检测参数；以及对于在被检测出物体遮挡的区域内的位置，基于该调整后的检测参数来检测物体。

【技术特征摘要】
1.一种基于立体摄像机的物体检测方法，包括:对立体摄像机拍摄物体获得的立体图像进行坐标转化，获得相当于假想的摄像机沿预 定方向拍摄物体的立体图像，并且获得该坐标转化后的立体图像在该预定方向上的平面投 影视图；对于该投影视图，基于检测参数进行物体检测；计算出被检测出物体遮挡的区域；对于在被检测出物体遮挡的区域内的位置，调整检测参数；以及对于在被检测出物体遮挡的区域内的位置，基于该调整后的检测参数来检测物体。2.如权利要求1所述的方法，其中，在所述调整检测参数的步骤中调整的检测参数是 阈值和/或物体模板，其中通过将被检测物体和物体模板进行匹配、确定匹配程度、比较匹 配程度和阈值来检测物体。3.如权利要求1或2所述的方法，其中，按照距离立体摄像机由近及远的顺序来检测物体。4.如权利要求1或2所述的方法，其中，利用遮挡模型来计算出被检测出物体遮挡的区 域，该遮挡模型建立了遮挡程度与摄像机位置以及检测出物体的位置之间的关系。5.如权利要求4所述的方法，其中在表格中将投影摄图中的每个位置与对应的检测参 数相关联地存储，以及在调整检测参数时，对于在被检测出物体遮挡的区域内的位置，根据 遮挡模型确定的与该位置对应的遮挡程度来调整检测参数，以及利用调整后的检测参数更 新表格中对应的检测参数。6.如权利要求1或2所述...

【专利技术属性】
技术研发人员：王鑫，范圣印，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：