一种基于信息边缘和多模态特征的室内场景布局估计方法技术

本发明专利技术公开了一种基于信息边缘和多模态特征的室内场景布局估计方法，针对图像用边缘检测提取直线段由此估计出图像消失点，从消失点出发做采样射线粗划分图像区域；用全卷积神经网络（FCNs）获取信息边缘图，选取图中能量较高区域并细采样产生布局候选项；基于积分几何提取图像的线段、几何上下文、深度、法向量特征；考虑布局候选项与区域级特征一元和二元的映射关系，设计布局估计的结构化回归模型，引入结构化学习算法，能量函数最小的即为室内场景布局估计。本发明专利技术逐步缩小候选项生成区域，并结合多种模态特征对布局候选项进行约束，提高了室内估计布局精度。

An indoor scene layout estimation method based on information edge and multimodal features

The invention discloses a method for estimation based on indoor scene layout information of edge and multimodal features, for the image edge detection is used to extract line segments can estimate the vanishing point from the image, the vanishing point of sampling ray image region with coarse division; convolutional neural network (FCNs) to obtain information of the edge map, select Map energy high area and fine sampling produces layout candidates; integral geometry extraction line, image geometric context, depth, vector based feature; consider the layout of candidate and regional characteristics of one yuan and two yuan of mapping relations, structured design layout estimation regression model, the introduction of structured learning algorithm, the minimum of the energy function is indoor scene layout estimation. The proposed method gradually reduces the generation area of candidate options and constrains the layout candidates with various modal features, thus improving the accuracy of indoor estimation layout.

【技术实现步骤摘要】
一种基于信息边缘和多模态特征的室内场景布局估计方法
本专利技术涉及一种基于信息边缘和多模态特征的室内场景布局估计方法，特别涉及一种基于信息边缘由粗到精布局候选项生成和多模态异构特征融合的室内场景布局估计方法。
技术介绍
图像场景理解是计算机视觉研究中的一项必要工作，笼统的来说，场景理解就是一个对传感器捕捉的场景、通过一系列视觉信息和知识信息的处理分析、最终得到图像语义解释的过程。图像场景理解其实是一种相对宽泛的概念，它包含了计算机视觉里的诸多研究范围和应用领域，诸如图像搜索引擎、自动导航、计算机摄影、图像视觉、人机交互、虚拟现实以及其他应用上的需求。图像场景理解有着广泛的应用前景和巨大的经济商业价值，能更好的提高人们的生活质量。在这些需求的推动下，基于视觉的图像场景理解能够有效地帮助和提高计算机对于复杂多变室内外场景的分析和认知能力，是计算机视觉领域研究的最终愿景。现实世界中，室内场景作为人类的主要生活场所，与室外场景相比具有更重要的地位。室内场景布局估计是图像场景理解的重要研究内容，是全局场景理解的分支。基本目标是通过给定的图像把握其所示场景空间中的几何结构。比如在智能家居中设计移本文档来自技高网...

【技术保护点】
一种基于信息边缘和多模态特征的室内场景布局估计方法，其特征在于，包括以下具体步骤：步骤A，针对室内场景图像，根据检测出的边缘直线段进行消失点估计，从消失点出发以设定第一采样频率对场景图像区域进行粗划分；步骤B，针对室内场景图像，采用卷积神经网络获取场景图像的信息边缘图，选取步骤1中粗划分后场景图像区域中能量高出设定阈值的区域，并对该区域进行以设定第二采样频率进行细划分，产生布局候选项；步骤C，针对室内场景图像，提取其线组成员、几何上下文、深度、法向量特征，并采用积分几何累加计算方法对四个特征进行累加，得到场景图像的区域级特征；步骤D，根据布局候选项到特征的一元和二元映射关系，设计布局估计的结构...

【技术特征摘要】
1.一种基于信息边缘和多模态特征的室内场景布局估计方法，其特征在于，包括以下具体步骤：步骤A，针对室内场景图像，根据检测出的边缘直线段进行消失点估计，从消失点出发以设定第一采样频率对场景图像区域进行粗划分；步骤B，针对室内场景图像，采用卷积神经网络获取场景图像的信息边缘图，选取步骤1中粗划分后场景图像区域中能量高出设定阈值的区域，并对该区域进行以设定第二采样频率进行细划分，产生布局候选项；步骤C，针对室内场景图像，提取其线组成员、几何上下文、深度、法向量特征，并采用积分几何累加计算方法对四个特征进行累加，得到场景图像的区域级特征；步骤D，根据布局候选项到特征的一元和二元映射关系，设计布局估计的结构化回归模型，引入结构化学习算法对结构化回归模型进行训练学习，通过训练学习完成的模型进行室内场景布局估计。2.根据权利要求1所述的一种基于信息边缘和多模态特征的室内场景布局估计方法，其特征在于，步骤A具体为：A1，针对室内场景图像，利用边缘检测算子对其进行边缘检测以获取场景图像中的边缘轮廓，并设定长度阈值筛选出边缘轮廓中的直线段；A2，采用Rother’s算法的投票策略，根据A1中获得的直线段进行消失点估计，得到空间直角坐标系中x、y、z方向上的三个正交消失点；A3，分别从x、y方向上的消失点出发，以z方向上的消失点为参照，等角度间隔、以设定第一采样频率做出射线对场景图像区域进行粗划分。3.根据权利要求2所述的一种基于信息边缘和多模态特征的室内场景布局估计方法，其特征在于，步骤A1中边缘检测算子为Canny算子或Roberts算子或Sobel算子或Prewitt算子。4.根据权利要求2所述的一种基于信息边缘和多模态特征的室内场景布局估计方法，其特征在于，步骤A2中采用Rother’s算法的投票策略，根据A1中获得的直线段进行消失点估计，具体为：1)将A1中获得的筛选后的直线段进行x、y、z方向上线段的划分，分别用于估计x、y、z方向上的消失点；2)x方向的线段集合记为{lvi}，1≤i≤n，n为x上的线段数目，pk为{lvi}中线段两两相交的形成第k个交点，1≤k≤K，K为{lvi}中线段两两相交的形成的交点数目，则第i个x方向线段lvi对pk的得分贡献为：其中，α表示lvi与pk和lvi中点的连线之间的夹角，γ是设定阈值；3)将所有x方向线段对pk的得分贡献进行求和，得到pk的得分4)所有K个交点中得分最高的即为x方向上的消失点vp1；5)基于如2)至4)中相同的投票得分机制，分别获得y方向上的消失点vp2与z方向上的消失点vp3。5.根据权利要求2所述的一种基于信息边缘和多模态特征的室内场景布局估计方法，其特征在于，步骤B具体为：B1，针对室内场景图像，利用全卷积神经网络、通过多个卷积层提取图像像素级的特征图，并将最后一层的特征图用反卷积层进行上采样，产生信息边缘图和几何上下文标签图；B2，分别统计步骤A中粗划分后的每个场景图像区域中的能量项高于设定能量阈值的数量；B3，以z方向上的消失点作为参考点，在其上、下、左、右四个方向各选取一个能量项数量最高的区域；B4，分别计算B3中选取的四个区域上两条射线的夹角角度，并以设定第二采样频率作出细采样射线对每个夹角进行等角度间隔划分，各细采样射线间的交点形成布局候选项的中墙角点，产生布局候选项。6.根据权利要求5所述的一种基于信息边缘和多模态特征的室内场景布局估计方法，其特征在于，步骤B1中采用Caffe深度学习基于VGG-16的全卷积神经网络，产生信息边缘图和几何上下文标签图。7.根据权利要求5所述的一种基于信息边缘和多模态特征的室内场景布局估计方法，其特征在于，步骤C具体为：C1，线组成员特征和几何上下文特征即为分别由步骤A1中获得的直线段信息和步骤B1获得的几何上下文信息；C2，基于单一多尺度卷积网络结构，在像素级别获取室内场景图像的深度特征和表面法向量特征；C3，采用积分几何累加计算方法，累加计算C1和C2中获取的所有特征，得到场景图像的区域级特征。8.根据权利要求7所述...

【专利技术属性】
技术研发人员：刘天亮，陆泮宇，戴修斌，刘峰，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32