室内场景模型重建方法及装置制造方法及图纸

本发明专利技术公开了一种室内场景模型重建方法及装置，所述方法包括：接收单张全景图并对所述单张全景图进行预处理；对进行预处理后的单张全景图提取其中的结构特征点，并进行场景布局的恢复；检测单张全景图中的主要物体，并在模型库中匹配与所述主要物体对应的物体模型；将所述场景布局和所述物体模型进行组合，生成整个室内场景的重建模型；采用三维建模工具对所述重建模型进行展示，实现与所述重建模型中物体的交互。

Reconstruction method and device of indoor scene model

【技术实现步骤摘要】
室内场景模型重建方法及装置
本专利技术涉及虚拟现实
，尤其涉及一种室内场景模型重建方法及装置。
技术介绍
室内场景的三维重建技术是一种在虚拟现实(VR)展示等领域有着广泛市场的技术。目前比较常见的方法是借助RGB-D相机，通过采集整个场景的点云数据，直接重建室内场景，但这种方法需要大量的点云数据，对于数据的采用和处理有一定的要求。另一种方法是使用单张图片进行室内场景的重建。通过计算机视觉的方法从图片中识别出室内场景的结构特征，再结合深度学习和视觉几何等方法推断出整个场景的三维布局。基于单张图片的室内场景重建有可以分为基于普通透视图的场景重建和基于全景图的场景重建。前者使用普通的透视图作为输入，可以重建局部的场景布局；而后者的输入是一张360°全景图，能够重建整个室内场景的布局。基于普通透视图的室内场景重建方法通过引入物体的CAD模型库，可以实现更为立体的场景恢复，但是受到图片视野大小的限制，难以完整的重建整个场景的布局。基于全景图的室内场景重建方法由于全景图的使用，可以实现对整个室内场景的布局恢复。但是，此方法仅仅恢复了场景的布局，并没有重建场景中的物体，这导致它的适用范围比较有限。
技术实现思路
本专利技术实施例提供一种室内场景模型重建方法及装置，用以解决现有技术中的上述问题。本专利技术实施例提供一种室内场景模型重建方法，包括：接收单张全景图并对所述单张全景图进行预处理；对进行预处理后的单张全景图提取其中的结构特征点，并进行场景布局的恢复；检测单张全景图中的主要物体，并在模型库中匹配与所述主要物体对应的物体模型；将所述场景布局和所述物体模型进行组合，生成整个室内场景的重建模型；采用三维建模工具对所述重建模型进行展示，实现与所述重建模型中物体的交互。本专利技术实施例还提供一种室内场景模型重建装置，包括：全景图输入模块，用于接收单张全景图并对所述单张全景图进行预处理；三维布局恢复模块，用于对进行预处理后的单张全景图提取其中的结构特征点，并进行场景布局的恢复；物体识别与匹配模块，用于检测单张全景图中的主要物体，并在模型库中匹配与所述主要物体对应的物体模型；场景重建模块，用于将所述场景布局和所述物体模型进行组合，生成整个室内场景的重建模型；场景可视化呈现欧快，用于采用三维建模工具对所述重建模型进行展示，实现与所述重建模型中物体的交互。本专利技术实施例还提供一种室内场景模型重建装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述室内场景模型重建方法的步骤。本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述室内场景模型重建方法的步骤。采用本专利技术实施例，解决了基于图片的室内场景重建方法中完整性和立体性难以兼顾的问题。使用室内场景的全景图作为输入，通过结构特征提取算法提取关键特征点来重建场景布局，通过目标检测算法标注场景中的物体并在模型库中匹配到合适的CAD模型，通过三维空间坐标推导重建整个室内场景。引入了一种调节算法，使得检测到的目标每次都会出现在视野的中央，避免了目标因为没有出现在合适的检测区域中而导致的遗漏或重复。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1是本专利技术实施例的室内场景模型重建方法的流程图；图2是本专利技术一个实施例的室内场景模型重建装置的示意图；图3是本专利技术另一个实施例的室内场景模型重建装置的示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。根据本专利技术的实施例，提供了一种室内场景模型重建方法，图1是本专利技术实施例的室内场景模型重建方法的流程图，如图1所示，根据本专利技术实施的室内场景模型重建方法具体包括：步骤101，接收单张全景图并对所述单张全景图进行预处理；具体包括如下处理：对所述单张全景图进行对其并提取所述单张全景图中的曼哈顿线。步骤102，对进行预处理后的单张全景图提取其中的结构特征点，并进行场景布局的恢复；具体包括如下处理：将进行预处理后的全景图导入预先训练好的特征点检测深度神经网络，通过所述特征点检测深度神经网络得到整个室内场景的所有结构特征点。根据所述结构特征点，推导出三维空间中的关键点坐标，使用三维建模工具搭建出整个场景布局。步骤103，检测单张全景图中的主要物体，并在模型库中匹配与所述主要物体对应的物体模型；具体包括如下处理：获取进行预处理后的单张全景图，根据预设参数对单张全景图进行分割，转换为一系列普通的透视图片，使用预先训练好的目标检测算法对所述透视图片进行处理，标注出每一张图片中的主要物体，通过负反馈算法排除掉目标检测中的遗漏或重复的主要物体，在所述单张全景图中标注出所有检测到的主要物体；基于特征提取算法分别处理已标注出主要物体的单张全景图和模型库中从多个角度拍照截图的物体模型，并通过比对算法在模型库中挑选出与所述主要物体对应的物体模型。步骤104，将所述场景布局和所述物体模型进行组合，生成整个室内场景的重建模型；步骤105，采用三维建模工具对所述重建模型进行展示，实现与所述重建模型中物体的交互。以下对本专利技术实施例的技术方案进行详细说明。本专利技术实施例为了在全景图目标检测时避免物体的遗漏和重复，在使用普通目标检测的基础上，增加了一个负反馈机制。通过自动调整全景图分割时的各个参数，使得待检测的物体不会因为切分而遗漏或重复。如图2所示，本专利技术实施例提出的基于全景图的室内场景CAD模型重建方法具体包括：模块一：全景图输入模块：接收全景图并做简单的预处理，包括全景图的对齐以及全景图中的曼哈顿线的提取。模块二：三维布局恢复模块：对模块一传递过来的全景图进行处理，提取其中的特征点，然后进行场景布局的恢复。该模块包含两个子模块：子模块一：特征点提取模块，用于接收到模块一传递的全景图后，导入预先训练好的一个特征点检测深度神经网络中，通过这个神经网络处理后，可以得到整个室内场景的所有结构特征点。子模块二：场景布局恢复，用于根据上一步得到的结构特征点，通过几何计算本文档来自技高网...

【技术保护点】
1.一种室内场景模型重建方法，其特征在于，包括：/n接收单张全景图并对所述单张全景图进行预处理；/n对进行预处理后的单张全景图提取其中的结构特征点，并进行场景布局的恢复；/n检测单张全景图中的主要物体，并在模型库中匹配与所述主要物体对应的物体模型；/n将所述场景布局和所述物体模型进行组合，生成整个室内场景的重建模型；/n采用三维建模工具对所述重建模型进行展示，实现与所述重建模型中物体的交互。/n

【技术特征摘要】
1.一种室内场景模型重建方法，其特征在于，包括：
接收单张全景图并对所述单张全景图进行预处理；
对进行预处理后的单张全景图提取其中的结构特征点，并进行场景布局的恢复；
检测单张全景图中的主要物体，并在模型库中匹配与所述主要物体对应的物体模型；
将所述场景布局和所述物体模型进行组合，生成整个室内场景的重建模型；
采用三维建模工具对所述重建模型进行展示，实现与所述重建模型中物体的交互。


2.如权利要求1所述的方法，其特征在于，对所述单张全景图进行预处理具体包括：
对所述单张全景图进行对其并提取所述单张全景图中的曼哈顿线。


3.如权利要求1所述的方法，其特征在于，对进行预处理后的单张全景图提取其中的结构特征点，并进行场景布局的恢复具体包括：
将进行预处理后的全景图导入预先训练好的特征点检测深度神经网络，通过所述特征点检测深度神经网络得到整个室内场景的所有结构特征点。
根据所述结构特征点，推导出三维空间中的关键点坐标，使用三维建模工具搭建出整个场景布局。


4.如权利要求1所述的方法，其特征在于，检测单张全景图中的主要物体，并在模型库中匹配与所述主要物体对应的物体模型具体包括：
获取进行预处理后的单张全景图，根据预设参数对单张全景图进行分割，转换为一系列普通的透视图片，使用预先训练好的目标检测算法对所述透视图片进行处理，标注出每一张图片中的主要物体，通过负反馈算法排除掉目标检测中的遗漏或重复的主要物体，在所述单张全景图中标注出所有检测到的主要物体；
基于特征提取算法分别处理已标注出主要物体的单张全景图和模型库中从多个角度拍照截图的物体模型，并通过比对算法在模型库中挑选出与所述主要物体对应的物体模型。


5.一种室内场景模型重建装置，其特征在于，包括：
全景图输入模块，用于接收单张全景图并对所述单张全景图进行预处理；
三维布局恢复模块，用于对进行预处理后的单张全景图提取其中的结构特征点，并进行场景布局的恢复；
物体识别与匹配...

【专利技术属性】
技术研发人员：邹博超，雒重阳，谢海永，
申请(专利权)人：中国电子科技集团公司电子科学研究院，
类型：发明
国别省市：北京;11