基于二维图像生成房间结构模型的方法及装置制造方法及图纸

本发明专利技术实施例公开了一种基于二维图像生成房间结构模型的方法及装置，其中，获取房间的单张二维图像；将所述二维图像输入预先训练的三维图像神经网络，经所述三维图像神经网络输出所述二维图像对应的深度信息及结构分割信息、物品分割信息；获取所述深度信息对应点云数据；根据所述结构分割信息、物品分割信息，去除所述点云数据中的物品信息，保留结构信息；获取所述结构信息中的水平面信息和高度信息；根据所述水平面信息和高度信息对所述房间建立所述二维图像对应的三维房间结构模型。本发明专利技术方案将房间二维图像自动转换为三维模型，通过简单的普通相机采集房间图像，就能够推断出该房间的一个三维模型，能够满足快速简洁的全屋重建的需求。

【技术实现步骤摘要】
基于二维图像生成房间结构模型的方法及装置
本专利技术涉及计算机三维空间建模
，尤其是一种基于二维图像生成房间结构模型的方法及装置。
技术介绍
在室内三维模型的数据采集阶段，一般需要利用特殊设备，收集不同的拍摄点数据(包括深度数据和RGB图像数据)。在完成对数据收集以后，通过标定好的相机参数、RGB图片以及深度图片得到RGBD图。其中，RGB是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。深度图(DepthMap)是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中，DepthMap类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的，因而像素点之间具有一对一的对应关系。现有技术中，能够结合相机位姿将RGBD图转化为单个相机点位的点云。这需要找出不同拍摄点的在全局坐标系下的坐本文档来自技高网...

【技术保护点】
1.一种基于二维图像生成房间结构模型的方法，其特征在于，所述方法包括：/n获取房间的单张二维图像；/n将所述二维图像输入预先训练的三维图像神经网络，经所述三维图像神经网络输出所述二维图像对应的深度信息及结构分割信息、物品分割信息；所述三维图像神经网络根据预先获取的二维图像和对应的三维图像的对应关系训练；/n获取所述深度信息对应点云数据；根据所述结构分割信息、物品分割信息，去除所述点云数据中的物品信息，保留结构信息；/n获取所述结构信息中的水平面信息和高度信息；/n根据所述水平面信息和高度信息对所述房间建立所述二维图像对应的三维房间结构模型。/n

【技术特征摘要】
1.一种基于二维图像生成房间结构模型的方法，其特征在于，所述方法包括：
获取房间的单张二维图像；
将所述二维图像输入预先训练的三维图像神经网络，经所述三维图像神经网络输出所述二维图像对应的深度信息及结构分割信息、物品分割信息；所述三维图像神经网络根据预先获取的二维图像和对应的三维图像的对应关系训练；
获取所述深度信息对应点云数据；根据所述结构分割信息、物品分割信息，去除所述点云数据中的物品信息，保留结构信息；
获取所述结构信息中的水平面信息和高度信息；
根据所述水平面信息和高度信息对所述房间建立所述二维图像对应的三维房间结构模型。


2.如权利要求1所述的方法，其特征在于，所述三维图像神经网络，根据如下方式训练：
获取二维图像及对应的三维图像；
通过密集卷积神经网络模型，将所述二维图像中对应的像素与三维图像中的深度信息及结构分割信息对应，得到对应信息；
对所述对应信息进行处理，得到二维图像与三维图像的对应关系；
根据所述对应关系对所述三维图像神经网络进行训练。


3.如权利要求2所述的方法，其特征在于，所述三维图像神经网络的训练，还包括：
通过掩膜卷积神经网络模型，获取所述二维图像中房间物品的物品分割信息；
根据所述物品分割信息与对应的三维图像中的物品信息对所述三维图像神经网络进行训练。


4.如权利要求1所述的方法，其特征在于，所述获取所述深度信息对应点云数据，包括：
根据所述二维图像对应相机的参数，将所述深度信息转换为点云数据。


5.如权利要求1所述的方法，其特征在于，所述水平面信息，根据如下方式获取：
获取所述点云数据中的水平面点云数据；
根据最小二乘法拟合所述水平面点云数据的法线方向；
根据所述法线方向对所述点云数据进行竖直校正，得到垂直于竖直方向的点云数据的水平面信息。
<...

【专利技术属性】
技术研发人员：刘程林，
申请(专利权)人：贝壳技术有限公司，
类型：发明
国别省市：天津;12