基于RGB‑D图像的室内场景布局估计及目标区域提取方法技术

本发明专利技术公开一种基于RGB‑D图像的室内场景布局估计及目标区域提取方法，包括：场景布局估计；利用基于图的分割算法与约束参数最小割算法对预处理后的深度图与RGB图做过分割，得到不同大小的区域集合；过分割层次分组，利用四种不同的相似度衡量方式进行区域合并以完成区域层次分组，获取所有尺度大小的目标区域；以及目标边界框匹配。本发明专利技术实现了室内场景的高效、高召回率的目标区域提取。

The extraction method of indoor scene layout estimation and target area RGB based on D images

The invention discloses an extraction method, indoor scene layout estimation and target area RGB based on D image includes scene layout estimation; using segmentation algorithm and constraint parameter graph based on minimum cut algorithm on the preprocessed depth map and RGB map did get the regional segmentation, the small set of different levels of over segmentation; the packet, using four different similarity measure way to complete the regional level grouping region merging, obtain the target area of all sizes and bounding box matching. The invention realizes the extraction of the target area with high efficiency and high recall rate.

【技术实现步骤摘要】
基于RGB-D图像的室内场景布局估计及目标区域提取方法
本专利技术属于人工智能计算
，特别是一种基于RGB-D图像的室内场景布局估计及目标区域提取方法，应用于室内服务机器人技术。
技术介绍
室内场景解析的研究是国内外学者的研究热点之一，对于室内机器人语义定位和地图生成有着重要的应用价值，同时对于解决一些高级计算机视觉问题也有着非常重要的意义。目标分割与提取算法目的在于得到高质量的目标定位与实例分割结果，是场景解析的关键步骤之一。目标提取结果通常为目标候选区域或目标边界框，经过多年的发展，目标提取算法目前可分为两类：第一类是基于滑动窗口检测思想的算法，第二类是基于分割的算法，包含图像过分割与分割拼合策略。第一类算法比较经典的是DPM(DeformablePartsModel)目标检测算法，采用改进HOG特征和SVM分类器，对目标的形变具有很强的鲁棒性，但是这类算法计算代价较大，并且不能使用比较复杂的特征表示。第二类算法中较为经典的是GBS(graphbasedsegmentation)基于图的图像分割算法，该算法实现简单，速度较快，能够找出视觉上一致的区域，但是容易导致过分割；还有约束参数最小割的目标分割算法，该算法分割效果良好，但只包含前景分割区域。近些年由于深度传感器的普及，出现了大量包含深度图像的RGB-D图像数据集，研究者开始利用RGB-D数据集通过增加几何特征或深度信息来提升效果，但这些算法通常都为有监督算法，需要训练预先得到的轮廓模型，计算复杂度较大，虽然部分提高了目标提取的准确度，但是目标类别较少且召回率较低，并且检测时容易忽视平面区域物体。另外也有一些无监督的RGB-D目标提取与分割算法，计算速度较快，但对图像亮度变化、噪声等比较敏感，鲁棒性不高。虽然目标提取算法在不断的发展，但是由于RGB图像纹理、颜色、亮度等特征的局限性，在应用于复杂的室内场景时，还是存在以下问题：1)遮挡问题，由于遮挡检测不到一些大目标；2)平面区域物体与小尺寸物体容易被忽视的问题，使得召回率偏低；3)计算复杂度较大，需要预训练，不适于实际系统应用；4)对图像中的不确定因素影响反应能力较差，鲁棒性低。
技术实现思路
本专利技术为了克服上述现有技术的不足，兼顾召回率与快速性，解决复杂室内场景下布局估计与目标提取的问题，提出了一种基于RGB-D图像的室内场景布局估计及目标区域提取方法，实现了室内场景的高效、高召回率的目标区域提取。基于RGB-D图像的室内场景布局估计及目标区域提取方法，包括以下步骤，步骤1、场景布局估计：将深度图转化为密集3D点云，通过计算点云间的三维欧式距离进行平面分割划分平面区域与非平面区域，并将所得平面区域进行分类，分为边界平面与非边界平面；步骤2、图像过分割：利用基于图的分割算法与约束参数最小割算法对预处理后的深度图与RGB图做过分割，得到不同大小的区域集合；步骤3、过分割层次分组：利用颜色、纹理、尺寸、吻合四种不同的相似度衡量方式进行区域合并以完成区域层次分组，获取所有尺度大小的目标区域；步骤4、目标边界框匹配：对平面区域与非平面区域的目标，分为边界平面、非边界平面、平面区域中、非平面区域四种情况采取不同的策略匹配包含目标的最小矩形边界框，得到目标区域边界框。本专利技术利用输入的3D点云做平面分割与分类，利用了点云的几何连续性降低遮挡对布局估计的影响，提升了场景布局估计的效果；利用基于图的分割算法与约束参数最小割算法对预处理后的深度图与RGB图做过分割，结合了深度信息与RGB信息，提升了分割效果；利用四种不同的相似度衡量方式进行区域合并，获取了所有尺度大小的目标区域，并且考虑了多种图像情况，增加了算法的鲁棒性；对平面区域与非平面区域的目标区域采取不同的边界框匹配策略，既保留了平面区域中的物体，又改善了大物体由于遮挡造成的过分割问题；利用边界框交叠率消除冗余边界框，留下最佳目标区域边界框，在产生较少候选边界框的情况下有效提高了目标边界框召回率；全程不需要预训练，计算复杂度低，易于实现，计算速度快。附图说明图1为基于RGB-D图像的室内场景布局估计及目标区域提取方法一实施例的流程图；图2为图1实施例中深度图与3D点云示意图；图3为不同场景的平面分割与分类效果图；图4为图1实施例中同态滤波处理流程图；图5为图1实施例中一实施场景的目标区域提取的边界框效果图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。图1为本专利技术实施例所提出的基于RGB-D图像的室内场景布局估计及目标区域提取方法的总体流程图。该实施例步骤如下步骤(1)场景布局估计：首先将深度图转化为密集3D点云，如图2所示，然后通过计算点云间的三维欧式距离进行平面分割划分平面区域与非平面区域，并将所得平面区域进行分类，分为边界平面与非边界平面。步骤(1.1)平面分割：在深度图上进行一致性采样得到三角点集，对于其中的每个三角点组采用RANSAC算法匹配一个候选平面；然后在3D空间搜寻平面内点，每个内点可由深度图中的一个像素点及其对应的3D有效点表示，当一个点到该平面的三维欧氏距离小于内点距离公差Dtol时，定义该点为平面的内点，内点距离公差Dtol计算如式(1)所示；最后移除内点数量极少的细小平面，并且拼合空间上相近或者接近共面的平面。式中，f为焦距，b为传感器的基线长度，m为线性归一化参数，Z代表深度值。步骤(1.2)平面分类：根据得到的主要平面区域，假设平面的法线向量面向观察者，计算在平面另一面的点云数与整个场景的点云总数量之比，将小于一定阈值的平面分类为边界平面，大于一定阈值的平面分类为非边界平面。理想情况下该阈值即为0，考虑到噪声影响，设置为0.01。平面分类与分割的最终效果如图3所示。步骤(2)图像过分割：利用基于图的分割算法与约束参数最小割算法对预处理后的深度图与RGB图做过分割，得到不同大小的区域集合R＝{r1，…，rn}。结合RGB信息与深度信息，首先对来自不同信号通道的多个像素级别的图像进行不同程度的过分割，得到区域级别的图像，然后根据区域特征利用自底向上分组方法对区域进行层次分组直至整张图像成为一个区域，以获取包含所有大小目标区域的组级别图像。步骤(2.1)基于RGI颜色空间的分割：将RGB三通道图像转换为归一化RG通道加上亮度I通道，即RGI颜色空间，然后采用基于图的分割方法对RGI图像做三种不同程度的过分割。步骤(2.2)基于同态滤波后的灰度图的分割：先对RGB图像加上同态滤波处理，处理流程如图4所示，然后对处理后输出的灰度图采用基于图的分割方法进行三种不同程度的过分割。步骤(2.3)基于空洞填补后的深度图的分割：利用全局优化着色方法对深度图进行空洞填补，然后采用基于图的分割方法对填补后的深度图进行三种不同程度的过分割。步骤(2.4)基于RGB-D混合通道的分割：采用约束参数最小割的前景分割方法，结合RGB图像信息与深度信息，对RGB-D混合通道的图像进行过分割，该方法基于如下式(2)所示的能量公式：式中μ，v∈N，λ∈R，v是所有像素点的集合，ε为相邻像素间的边缘集合。Cλ为代价函数，本文档来自技高网...

【技术保护点】
基于RGB‑D图像的室内场景布局估计及目标区域提取方法，其特征在于：包括以下步骤，步骤1、场景布局估计：将深度图转化为密集3D点云，通过计算点云间的三维欧式距离进行平面分割划分平面区域与非平面区域，并将所得平面区域进行分类，分为边界平面与非边界平面；步骤2、图像过分割：利用基于图的分割算法与约束参数最小割算法对预处理后的深度图与RGB图做过分割，得到不同大小的区域集合；步骤3、过分割层次分组：利用颜色、纹理、尺寸、吻合四种不同的相似度衡量方式进行区域合并以完成区域层次分组，获取所有尺度大小的目标区域；步骤4、目标边界框匹配：对平面区域与非平面区域的目标，分为边界平面、非边界平面、平面区域中、非平面区域四种情况采取不同的策略匹配包含目标的最小矩形边界框，得到目标区域边界框。

【技术特征摘要】
1.基于RGB-D图像的室内场景布局估计及目标区域提取方法，其特征在于：包括以下步骤，步骤1、场景布局估计：将深度图转化为密集3D点云，通过计算点云间的三维欧式距离进行平面分割划分平面区域与非平面区域，并将所得平面区域进行分类，分为边界平面与非边界平面；步骤2、图像过分割：利用基于图的分割算法与约束参数最小割算法对预处理后的深度图与RGB图做过分割，得到不同大小的区域集合；步骤3、过分割层次分组：利用颜色、纹理、尺寸、吻合四种不同的相似度衡量方式进行区域合并以完成区域层次分组，获取所有尺度大小的目标区域；步骤4、目标边界框匹配：对平面区域与非平面区域的目标，分为边界平面、非边界平面、平面区域中、非平面区域四种情况采取不同的策略匹配包含目标的最小矩形边界框，得到目标区域边界框。2.根据权利要求1所述的基于RGB-D图像的室内场景布局估计及目标区域提取方法，其特征在于：步骤1具体过程为，步骤1.1、平面分割：在深度图上进行一致性采样得到三角点集，对于其中的每个三角点组采用RANSAC算法匹配一个候选平面；然后在3D点云空间搜寻平面内点，当一个点到该平面的三维欧氏距离小于内点距离公差Dtol时，定义该点为平面的内点，内点距离公差Dtol计算如式(1)；最后移除内点细小平面，并拼合空间上相近或者接近共面的平面；式中，f为焦距，b为传感器的基线长度，m为线性归一化参数，Z代表深度值；步骤1.2、平面分类：根据得到的主要平面区域，假设平面的法线向量面向观察者，计算在平面另一面的点云数与整个场景的点云总数量之比，将小于阈值的平面分类为边界平面，大于阈值的平面分类为非边界平面。3.根据权利要求1所述的基于RGB-D图像的室内场景布局估计及目标区域提取方法，其特征在于：步骤2具体过程为，步骤2.1、基于RGI颜色空间的分割：将RGB三通道图像转换为归一化RG通道加上亮度I通道，即RGI颜色空间，然后采用基于图的分割方法对RGI图像做过分割；步骤2.2、基于同态滤波后的灰度图的分割：对RGB图像加上同态滤波处理，对处理后输出的灰度图采用基于图的分割方法进行过分割；步骤2.3、基于空洞填补后的深度图的分...

【专利技术属性】
技术研发人员：吴晓秋，霍智勇，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32