基于RGBD描述符的室内场景语义分割方法技术

本发明专利技术公开了一种基于RGB-D描述符的室内场景语义分割方法。涉及图像处理方法技术领域。该方法包括：利用Kinect获取具有深度信息的室内图像；利用边界全局分割算法bgs分别对RGB图和深度图进行分层分割；将得到的bgs_rgb和bgs_d线性结合得到最终的分层分割结果图；利用得到的分层分割图和RGBD图确定房间的重力方向，获得与重力方向有关的位姿特征；提取RGBD描述符；将得到的位姿特征与RGBD描述符串联得到特征集；选用线性支撑矢量机SVM作为分类器作用于特征集产生语义分割结果。通过所述方法得到的室内物品的语义分割结果准确率较高，可为室内物体识别和室内监控等方面提供一种有效的方法。

【技术实现步骤摘要】

本专利技术涉及图像处理方法
，尤其涉及一种基于RGBD描述符的室内场景语义分割方法。
技术介绍
图像分割作为一个计算机视觉领域的基础问题在物体识别、场景理解、机器人避障等领域有着广泛的应用。大多数的场景标注研究集中在室外场景，2010年，Gupta等人将场景解析为语义分割、深度顺序、几何估计和支撑关系组成三维图结构。室内场景标注是一个富有挑战性和了解不充分的问题，相对于室外场景推断，室内场景往往因为室内环境的杂乱性和复杂性而变得困难。随着RGB-D传感器推出，例如MicrosoftKinect，有很多新的研究已经开始展开，它们利用3D信息解决在计算机视觉方面比较困难的问题。Kinect提供同步的颜色和深度信息，提供了普通摄像机在三维投影过程中丢失的3D几何信息，并且包含的深度信息可作为一个独立于室内环境照明条件的通道。由于深度图像像素点的信息具有空间定位性，因此在应用中可以利用空间几何量来做分割处理，这样做会有更好的稳定性，这一思路也是最近深度图像分割研究的一个主要方向。目前大多数的研究都侧重于物体识别而不是场景理解。其中Silberman于2012年发表在ECCV上的文章不仅在区域级上解析了室内场景中的主要平面和物体，还利用得到的平面信息对室内场景中物体的支撑关系进行了推断。但是它在NYURGBD数据集中仅能获得56.6％的准确性，下一步研究方向是提高语义分割的准确性。深度图像分割方法有近百种之多，主要可以归结3大类：基于边缘的方法；基于区域的方法；边缘和区域相结合的方法。边缘法能够非常准确地定位区域边界，这种方法计算速度快但是在实际应用中很容易受到噪声和遮挡等因素的影响，难以得到连续的区域边界。区域分割的实质是将近邻的有相似特征的像素点归为一个区域，逐像素点归类后整个数据集被划分为很多个小区域，然后再根据一定的判定条件对得到的小区域进行合并，最后得到一个具有一致性的区域的集合。边缘法和区域法的结合先进行边缘提取，用其结果确定区域的位置和数量，这种方法兼顾了速度和分割的准确性。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于RGBD描述符的室内场景语义分割方法，所述方法能够对室内物体进行有效的语义标注。为解决上述技术问题，本专利技术所采取的技术方案是：一种基于RGBD描述符的室内场景语义分割方法，其特征在于包括如下步骤：利用Kinect获得具有深度信息的室内场景图；利用图像的局部信息形成一个局部边界检测算子，再将其与多尺度信息结合并进行谱聚类形成带有全局信息的边界检测算子，利用边界全局检测算子对图像处理得到轮廓图，在此基础上进行分水岭分割和超度量映射得到最后的分层分割图，利用边界全局分割算法bgs分别对RGB图和深度图进行分层分割得到bgs_rgb和bgs_d；将得到的bgs_rgb和bgs_d线性结合得到最终的分层分割结果图；利用得到的分层分割结果图和RGBD图确定室内的重力方向，获得与重力方向有关的位姿特征；提取RGBD描述符；用有效匹配算法对得到的RGBD描述符进行处理得到相应的低维空间的向量表达，再将它们与位姿特征串联得到特征集；采用SVM分类器进行分类得到语义分割结果。采用上述技术方案所产生的有益效果在于：本专利技术利用RGBD图像的深度信息，通过重力方向的确定和描述符的提取获得大量有效的图像特征，描述符在捕获表观和形状相似性方面非常有效，得到的室内物品的语义分割结果准确率较高，可为室内物体识别和室内监控等方面提供一种有效的方法。附图说明下面结合附图和具体实施方式对本专利技术作进一步详细的说明。图1为基于RGB-D描述符的室内场景语义分割方法的基本流程图；图2为本专利技术中边界全局分割方法bgs的流程图；图3为本专利技术中获取与重力方向有关的方向特征的示意图；图4为本专利技术中获取与重力方向有关的面积特征的示意图；图5为本专利技术中局部二值模式描述符中局部二值列向量的确定方法示例图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是本专利技术还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广，因此本专利技术不受下面公开的具体实施例的限制。本专利技术公开了一种基于RGB-D描述符的室内场景语义分割方法，所述方法能够广泛地应用于图像轮廓检测与分割，室内场景理解等领域。图1示出了该室内场景语义分割方法的基本流程图。如图1所示，所述方法包括如下步骤：步骤1.使用Kinect获取RGBD图像，获得图像的深度信息。由Kinect获取的RGBD图像，深度信息和颜色信息是同步的，便于利用和分析。步骤2.bgs分割算法，现将该算法做一个简单介绍，算法流程图如图2所示，首先利用图像的局部亮度、颜色、纹理信息形成一个局部边界检测算子Lb(x，y，θ)，预测在像素(x，y)处带有方向θ的边界后验概率。对于图像中的像素(x，y)，以该位置为圆心画一半径为r的圆，并将它在θ方向沿直径方向分为两半。对于每个半圆盘，计算像素灰度值的直方图，将半圆盘之间的χ2距离作为梯度幅值输出，用g和h表示两个半圆盘：χ2(g,h)=12Σi(g(i)-h(i))2g(i)+h(i)]]>如果两个半圆盘之间差异较大，意味着图片在圆盘直径方向的不连续性。即如果χ2距离取值较大那么这个像素很有可能位于两个独立区域的边界上。Lb检测算子是4个独立特征通道的梯度信息的结合，前3个特征通道对应于CIELab颜色空间，即亮度，颜色a，颜色b通道，对于灰度图只有亮度通道。第4个特征通道是纹理通道。在Lb算子的基础上对结合多尺度信息形成mLb算子，为了检测到粗糙构的边界，对每个通道考虑3个尺寸σ是圆盘半径(单位是像素个数)，对于亮度通道，使用σ＝5，对于颜色通道与纹理通道使用σ＝10。线性结合这些局部信息作为一个多尺度方向信号：mLb(x,y,θ)=ΣsΣiαi,sGσ(i,s)(x,y,θ)]]>其中s表示尺寸，i表示特征，Gi，σ(i，s)(x，y，θ)衡量了位于圆心(x，y)处半径为σ(i，s)的被θ方向的直本文档来自技高网...

【技术保护点】
一种基于RGBD描述符的室内场景语义分割方法，其特征在于包括如下步骤：利用Kinect获得具有深度信息的室内场景图；利用图像的局部信息形成一个局部边界检测算子，再将其与多尺度信息结合并进行谱聚类形成带有全局信息的边界检测算子，利用边界全局检测算子对图像处理得到轮廓图，在此基础上进行分水岭分割和超度量映射得到最后的分层分割图，利用边界全局分割算法bgs分别对RGB图和深度图进行分层分割得到bgs_rgb和bgs_d；将得到的bgs_rgb和bgs_d线性结合得到最终的分层分割结果图；利用得到的分层分割结果图和RGBD图确定室内的重力方向，获得与重力方向有关的位姿特征；提取RGBD描述符；用有效匹配算法对得到的RGBD描述符进行处理得到相应的低维空间的向量表达，再将它们与位姿特征串联得到特征集；采用SVM分类器进行分类得到语义分割结果。

【技术特征摘要】
1.一种基于RGBD描述符的室内场景语义分割方法，其特征在于包括如下步骤：
利用Kinect获得具有深度信息的室内场景图；
利用图像的局部信息形成一个局部边界检测算子，再将其与多尺度信息结合并进行谱
聚类形成带有全局信息的边界检测算子，利用边界全局检测算子对图像处理得到轮廓图，
在此基础上进行分水岭分割和超度量映射得到最后的分层分割图，利用边界全局分割算法
bgs分别对RGB图和深度图进行分层分割得到bgs_rgb和bgs_d；
将得到的bgs_rgb和bgs_d线性结合得到最终的分层分割结果图；
利用得到的分层分割结果图和RGBD图确定室内的重力方向，获得与重力方向有关的位
姿特征；
提取RGBD描述符；
用有效匹配算法对得到的RGBD描述符进行处理得到相应的低维空间的向量表达，再将
它们与位姿特征串联得到特征集；
采用SVM分类器进行分类得到语义分割结果。
2.如权利要求1所述的基于RGBD描述符的室内场景语义分割方法，其特征在于所述的
边界全局分割算法bgs具体如下：
首先利用室内场景图像的局部亮度、颜色、纹理信息形成一个局部边界检测算子Lb(x，
y)，预测在像素(x，y)处带有方向θ的边界后验概率；对于图像中的像素(x，y)，以该位置为
圆心画一半径为...

【专利技术属性】
技术研发人员：程建，邹瑞雪，王峰，刘海军，刘瑞，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51