一种深度图像中基于多叉树的局部凸出对象提取方法技术

本发明专利技术涉及一种深度图像中基于多叉树的局部凸出对象提取方法，包括以下步骤：对输入深度图像进行逐像素邻域差分，建立基于多叉树数据结构的深度树模型以及深度树节点与图像像素的映射图；对深度树的叶子节点进行局部优化，去除噪声；遍历深度树的叶子节点得到深度图像的局部极值区域，利用判决函数确定叶子节点的子树根节点位置，从而提取出局部凸出对象区域。本发明专利技术能够快速、准确的提取出多个凸出对象区域，提升深度图像中凸出物体检测的准确度。

【技术实现步骤摘要】

本专利技术涉及计算机视觉
中的的物体检测技术，特别是涉及一种深度图像 中基于多叉树的局部凸出对象提取方法。
技术介绍
随着深度传感器（比如微软的Kinect等）的普及以及双目立体视觉（比如英特 尔的RealSen Se3D摄像头等）的发展，立体视觉在最近十年逐渐成为热门领域，相比传统二 维平面图像，深度图像增加了三维深度信息。深度信息的潜在应用前景是巨大的，而其中一 个重要的应用场景就是物体检测。 物体检测是计算机视觉领域的一个重要问题，同时也是一个难点问题，获得尽可 能少且与物体类别无关的对象区域是物体检测的重中之重。传统的方法多基于矩形框， 也就是用一系列矩形框尽可能紧致的框出图像中的对象（比如Pascal Visual Object Classes Challenge等），这类方法在传统二维图像领域被广泛应用，在兼顾速度的同时取 得了较好的检测精度，但是这种方法亦然存在着生成备选框较多，备选框紧致度低，框内存 在大量无用信息等问题。另一种方法是基于区域分割，也就是分割出图像中具有特定现实 意义的对象区域，即语义对象，这类方法的精度一般较高，但是算法复杂度高，速度一般较 慢。传统的物体检测多采用灰度信息，而很少涉及深度信息，针对现实中的应用需求，亟需 一种兼顾速度和精度的深度图像中局部凸出对象提取方法。
技术实现思路
本专利技术所要解决的技术问题是提供一种深度图像中基于多叉树的局部凸出对象 提取方法，能够快速、准确的提取出多个凸出对象区域，提升深度图像中凸出物体检测的准 确度，使得检测结果既能满足人眼视觉要求又能够较好满足现实应用中对速度与精度的需 求。 本专利技术解决其技术问题所采用的技术方案是：提供一种深度图像中基于多叉树的 局部凸出对象提取方法，包括以下步骤： (1)对输入深度图像进行逐像素邻域差分，建立基于多叉树数据结构的深度树模 型以及深度树节点与图像像素的映射图； (2)对深度树的叶子节点进行局部优化，去除噪声； (3)遍历深度树的叶子节点得到深度图像的局部极值区域，利用判决函数确定叶 子节点的子树根节点位置，从而提取出局部凸出对象区域。 所述步骤（1)具体包括以下子步骤： (11)创建并初始化深度树根节点和映射图，根节点的深度值设为最小值，将该节 点位置保存到映射图中； (12)对输入深度图像进行逐像素邻域差分，判断当前像素深度值是否是邻域内极 值点； (13)如果当前像素是极值点，则创建新的节点； (14)如果当前像素不是极值点，则插入邻域内某一像素的节点中； (15)将该节点位置保存在映射图中，并重复步骤（12)。 所述步骤（12)中对输入深度图像进行逐像素邻域差分时，若该像素是深度图像 原点且深度值为最小值，则直接存储入根节点，并执行步骤（15)，否则判断为邻域内极值 点；若该像素是深度图像的上边缘点，则与左像素点差分，判断是否是邻域内极值点；若该 像素是深度图像的左边缘点，则与上像素点差分，判断是否是邻域内极值点；若该像素是深 度图像的其他点，则分别与上像素点和左像素点差分，判断是否是邻域内极值点。 所述步骤（13)包括以下子步骤：对邻域内其他两像素点所在子树进行合并；将邻 域内深度值较大的像素所在节点确认为待插入节点的父节点，创建新叶子节点，调整父节 点、兄弟节点和孩子节点，并保存像素位置值，返回该节点位置。 所述步骤（14)包括以下子步骤： 对邻域内其他两像素点所在子树进行合并； 若该像素深度值与邻域内某一像素深度值相同，则将该像素的节点确认为待插入 节点，保存像素位置值，返回该节点位置； 若该像素深度值与邻域内某一像素的父辈节点深度值相等，则将该父节点确认为 待插入节点，保存像素位置值，返回该节点位置； 若该像素深度值介于邻域内某一像素的父辈节点及其子节点之间，则将该父节点 确认为待插入节点的父节点，创建新子节点，调整父节点、兄弟节点和孩子节点，并保存像 素位置值，返回该节点位置。 所述对邻域内其他两像素点所在子树进行合并的步骤具体包括： 若两像素点所在节点是同一节点，则合并完成； 若两像素点所在节点不是同一节点但两像素深度值相同，则合并两像素所在节点 的点集，调整两像素所在节点的父节点、兄弟节点和子节点，调整映射图，删除废弃节点，则 合并完成； 若两像素点所在节点不是同一节点且两像素深度值不同，且深度值较大节点的父 节点的深度值仍大于或等于另一深度值较小节点，则对深度值较大节点的父辈节点及较小 节点执行合并步骤； 若两像素点所在节点不是同一节点且两像素深度值不同，且深度值较大节点的父 节点的深度值小于另一深度值较小节点，则调整两节点的父节点、兄弟节点和孩子节点，则 合并完成。 所述步骤（2)具体包括以下子步骤： (21)遍历深度树； (22)若当前节点不是叶子节点，则继续遍历； (23)若当前节点是叶子节点，则计算点集数，求得该节点面积，判断是否小于阈 值； (24)若当前节点面积大于等于阈值，则继续遍历； (25)若当前节点面积小于阈值，则将该叶子节点的点集合并入父节点中，并调整 父节点、兄弟节点，调整映射图，删除该节点，继续遍历，从而完成对深度树的叶子节点的局 部优化去除噪声。 所述步骤（3)具体包括以下子步骤： (31)遍历深度树； (32)若当前节点不是叶子节点，则继续遍历； (33)若当前节点是叶子节点，则求解判决函数的最优解，求得的解即为子树根节 点位置，而子树内所有节点点集的并集，即为局部凸出对象的区域；其中，解判决函数为：式中，M是松弛因子，队是子树根节点， Ntl是叶子节点，F(Ni)是对节点队的点集区域提取特征，Av,是节点Ni的深度值，a JP β i 为权重参数，判决函数的最大值即为节点Ntl的根节点位置。 有益效果 由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效 果：本专利技术将多叉树模型运用到深度图像中局部凸出对象提取，提出了一种全新的基于区 域的图像分割方法，为深度图像中快速物体检测提供了新的解决方案；方法对深度图像的 质量要求较低，从而降低了双目立体视觉中对立体匹配的精度要求，适应性与应用前景更 广；方法中的树型结构完好的利用和保存了场景中凸出对象的结构信息，每棵子树就代表 一个独立的对象，通过先定位局部极值区域再提取出凸出对象完整区域，能够高效快速的 提取出多个凸出对象区域，提升了深度图像中局部凸出对象提取效果，使其既能满足人眼 视觉要求又能够较好满足现实应用中对速度与精度的需求。【附图说明】 图1是本专利技术的流程图； 图2是本专利技术中建立基于多叉树数据结构的深度树模型以及深度树节点与图像 像素的映射图的流程图； 图3是本专利技术的建立基于多叉树数据结构的深度树模型以及深度树节点与图像 像素的映射图中创建节点的流程图； 图4是本专利技术的建立基于多叉树数据结构的深度树模型以及深度树节点与图像 像素的映射图中插入节点流程图； 图5是本专利技术的对邻域内其他两像素点所在子树进行合并的流程图； 图6是本专利技术的遍历深度树的叶子节点进行局部优化的流程图； 图7是本专利技术的遍历深度树的叶子节点，利用判决函数确定叶子节点的子树根节 点位置，从而提取出局部凸出对象区域的流程图； 图8和图9均为本专利技术的实验结果示意图，其中，（本文档来自技高网...

【技术保护点】
一种深度图像中基于多叉树的局部凸出对象提取方法，其特征在于，包括以下步骤：(1)对输入深度图像进行逐像素邻域差分，建立基于多叉树数据结构的深度树模型以及深度树节点与图像像素的映射图；(2)对深度树的叶子节点进行局部优化，去除噪声；(3)遍历深度树的叶子节点得到深度图像的局部极值区域，利用判决函数确定叶子节点的子树根节点位置，从而提取出局部凸出对象区域。

【技术特征摘要】

【专利技术属性】
技术研发人员：曲磊，谷宇章，郑春雷，崔振珍，张诚，占云龙，皮家甜，杜若琪，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：上海;31