一种用于室内的三维全景构建方法和系统技术方案

本发明专利技术给出了一种用于室内的三维全景构建方法和系统，包括利用激光扫描设备获取室内的第一点云数据，并标定第一点云数据的特征信息；利用RGBD采集设备获取室内的第二点云数据以及对应的彩色图像，并提取彩色图像上的特征点获取第二点云数据的特征信息；基于相同的特征信息计算第一点云数据和第二点云数据的相对于相同的特征信息的坐标关系，并基于坐标关系融合第一点云数据和第二点云数据获得融合点云数据；对融合点云数据进行分割获取室内的几何模型，并基于融合点云数据获取室内的影像纹理，其中，几何模型包括主体框架模型和细节框架模型；利用几何模型和影像纹理获取室内三维的全景模型。利用上述方法可以精确的构建室内三维全景模型。

【技术实现步骤摘要】
一种用于室内的三维全景构建方法和系统
本专利技术涉及三维建模的
，尤其是一种用于室内的三维全景构建方法和系统。
技术介绍
随着AI技术的蓬勃发展以及新型设备的不断涌现，三维重建成为计算机图形学领域的热点。其主要任务是基于各种传感器采集的数据，采用多视图几何、概率统计学和优化理论等数学工具，对现实物理世界进行三维建模，建立起现实世界和虚拟世界的桥梁。因此，三维重建在制造、医疗、影视制作、文物保护、增强现实、虚拟现实、定位导航等众多不同的领域有着广泛的应用。室内场景三维重建技术的发展依赖于所使用的传感器的种类和性能的更新迭代，目前，室内场景三维重建主要分为两大类：基于激光的三维重建和基于视觉图像的三维重建。基于激光的室内场景三维重建己发展相对成熟，利用激光测距的原理，通过记录被测室内环境表面大量密集的点的三维坐标、反射率和纹理等信息，快速重建出被测室内环境的三维点云模型。但是由于激光传感器只能得到被测目标的三维坐标信息，而无法获得环境的颜色信息支持，而颜色信息严重影响了室内环境的三维重建效果。基于视觉图像的室内场景三维重建利用成本较低的视觉传感器，就可以达到较高的三维重建精度，且具有丰富的颜色信息。通过视觉可以获得外界环境的颜色、形状、纹理、距离等重要信息。例如近年来逐步落地的服务机器人，以服务机器人所处的周围环境的三维重建结果为输入，建立起环境的语义地图，这是它执行各项复杂任务的前提基础，服务机器人依据语义地图将环境中的事物分割成具体语义含义的部分，如人、桌子、门等等，对环境进行准确的理解认知，进而才能更好地服务人类。基于RGBD传感器的视觉SLAM室内三维重建框架己经发展得较为成熟。不管是视觉SLAM的前端视觉的特征提取和匹配、后端的优化方法，还是回环检测策略，传统的框架和算法相对成熟固定。但是基于RGBD传感器室内三维重建在重建的准确性、实时性和对环境的适应性方面依然存在瓶颈。一方面是由于RGBD传感器本身的物理特性的原因，另一方面是由于稠密的三维重建很大程度上仍需要借助于GPU加速计算，才能达到良好的效果。基于RGBD传感器的视觉SLAM室内三维重建系统的鲁棒性方面仍有待提升。
技术实现思路
针对现有技术中室内三维重建技术中存在的准确性、实时性和对环境的适应性还存在瓶颈的技术问题，本专利技术提出了一种用于室内的三维全景构建方法和系统，用以解决室内三维重建过程中存在的技术问题。在一个方面，本专利技术提出了一种用于室内的三维全景构建方法，包括以下步骤：根据本专利技术的一个方面，提出了一种用于室内的三维全景构建方法，其特征在于，包括以下步骤：S1：利用激光扫描设备获取室内的第一点云数据，并标定第一点云数据的特征信息；S2：利用RGBD采集设备获取室内的第二点云数据以及对应的彩色图像，并提取彩色图像上的特征点获取第二点云数据的特征信息；S3：基于相同的特征信息计算第一点云数据和第二点云数据的相对于相同的特征信息的坐标关系，并基于坐标关系融合第一点云数据和第二点云数据获得融合点云数据；S4：对融合点云数据进行分割获取室内的几何模型，并基于融合点云数据获取室内的影像纹理，其中，几何模型包括主体框架模型和细节框架模型；S5：利用几何模型和影像纹理获取室内三维的全景模型。在一些具体的实施例中，步骤S1和步骤S2同步进行。在一些具体的实施例中，在第一点云数据和第二点云数据包括室内的全局点云数据。在一些具体的实施例中，全局点云数据为激光扫描设备或RGBD采集设备在室内不同位置的点云拼接形成。在一些具体的实施例中，室内不同位置的点云拼接形成全局点云数据包括以下步骤：将两组室内不同位置的点云中相对应的点进行四元数运算，获得一个点云到另一个点云的旋转或平移变换公式，对两组室内不同位置的点云进行预拼接；利用迭代近邻点算法更新带配准两组室内不同位置的点云，迭代计算其中一个点云相对另一点云的旋转或平移矩阵，直至配准精度小于预设阈值后停止迭代，完成精确拼接，其中，配准精度表示为两组室内不同位置的点云之间的距离差的绝对值；重复上述步骤直至完成室内的所有点云的拼接。在一些具体的实施例中，步骤S4中主体框架模型为将融合点云数据进行多平面分割拟合后获得的六面体的框架，细节框架模型包括规则物体模型和不规则物体模型。在一些具体的实施例中，利用RANSAC算法对融合点云数据进行面域的分割拟合，将分割后的点云通过孔洞算法提取边界点并用基于矩形外接圆法对边界点进行拟合规则化后获得关键点，通过连接得到的关键点获得规则物体模型；对具有特征信息的点云剖面的每个面上的轮廓线进行规则化后拉伸获得不规则物体模型。在一些具体的实施例中，影像纹理的获取方式包括利用均值漂移算法、Candy算法和分水岭算法中的一种。根据本专利技术的第二方面，提出了一种计算机可读存储介质，其上存储有一或多个计算机程序，该一或多个计算机程序被计算机处理器执行时实施上述任一项的方法。根据本专利技术的第三方面，提出了一种用于室内的三维全景构建系统，该系统包括：点云数据采集单元：利用激光扫描设备获取室内的第一点云数据，并标定第一点云数据的特征信息；利用RGBD采集设备获取室内的第二点云数据以及对应的彩色图像，并提取彩色图像上的特征点获取第二点云数据的特征信息；点云数据融合单元：基于相同的特征信息计算第一点云数据和第二点云数据的相对于相同的特征信息的坐标关系，并基于坐标关系融合第一点云数据和第二点云数据获得融合点云数据；点云数据处理单元：对融合点云数据进行分割获取室内的几何模型，并基于融合点云数据获取室内的影像纹理，其中，几何模型包括主体框架模型和细节框架模型；室内三维全景模型生成单元：利用几何模型和影像纹理获取室内三维的全景模型。本专利技术提出了一种用于室内的三维全景构建方法和系统，针对通过激光扫描的点云数据能够获得物体的真实尺寸，其可以实时地获取点云数据，但是点云数据拼接算法复杂，数据质量受距离的影响较大。而RGBD采集设备能够仅仅通过拍摄影像就能获得物体点云和模型，但是其无法获得物体的真实尺寸，对于纹理单一物体的无法得到质量较好的数据，将上述两种点云数据进行融合，弥补了各自的缺点，能够获得更加精准的室内三维模型，并基于影像纹理最终生成视觉效果更好的室内三维模型。附图说明包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本专利技术的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本申请可以应用于其中的示例性系统架构图；图2是本申请的一个实施例的一种用于室内的三维全景构建方法的流程图；图3是本申请的一个实施例的一种用于室内的三维全景构建系统的框架图；图本文档来自技高网...

【技术保护点】
1.一种用于室内的三维全景构建方法，其特征在于，包括以下步骤：/nS1：利用激光扫描设备获取所述室内的第一点云数据，并标定所述第一点云数据的特征信息；/nS2：利用RGBD采集设备获取所述室内的第二点云数据以及对应的彩色图像，并提取所述彩色图像上的特征点获取所述第二点云数据的特征信息；/nS3：基于相同的特征信息计算所述第一点云数据和所述第二点云数据的相对于所述相同的特征信息的坐标关系，并基于所述坐标关系融合所述第一点云数据和所述第二点云数据获得融合点云数据；/nS4：对所述融合点云数据进行分割获取所述室内的几何模型，并基于所述融合点云数据获取所述室内的影像纹理，其中，所述几何模型包括主体框架模型和细节框架模型；/nS5：利用所述几何模型和所述影像纹理获取所述室内的三维全景模型。/n

【技术特征摘要】
1.一种用于室内的三维全景构建方法，其特征在于，包括以下步骤：
S1：利用激光扫描设备获取所述室内的第一点云数据，并标定所述第一点云数据的特征信息；
S2：利用RGBD采集设备获取所述室内的第二点云数据以及对应的彩色图像，并提取所述彩色图像上的特征点获取所述第二点云数据的特征信息；
S3：基于相同的特征信息计算所述第一点云数据和所述第二点云数据的相对于所述相同的特征信息的坐标关系，并基于所述坐标关系融合所述第一点云数据和所述第二点云数据获得融合点云数据；
S4：对所述融合点云数据进行分割获取所述室内的几何模型，并基于所述融合点云数据获取所述室内的影像纹理，其中，所述几何模型包括主体框架模型和细节框架模型；
S5：利用所述几何模型和所述影像纹理获取所述室内的三维全景模型。


2.根据权利要求1所述的用于室内的三维全景构建方法，其特征在于，所述步骤S1和所述步骤S2同步进行。


3.根据权利要求1所述的用于室内的三维全景构建方法，其特征在于，在所述第一点云数据和所述第二点云数据包括所述室内的全局点云数据。


4.根据权利要求3所述的用于室内的三维全景构建方法，其特征在于，所述全局点云数据为所述激光扫描设备或所述RGBD采集设备在所述室内不同位置的点云拼接形成。


5.根据权利要求4所述的用于室内的三维全景构建方法，其特征在于，所述室内不同位置的点云拼接形成所述全局点云数据包括以下步骤：
将两组所述室内不同位置的点云中相对应的点进行四元数运算，获得一个点云到另一个点云的旋转或平移变换公式，对两组所述室内不同位置的点云进行预拼接；
利用迭代近邻点算法更新带配准两组所述室内不同位置的点云，迭代计算其中一个点云相对另一点云的旋转或平移矩阵，直至配准精度小于预设阈值后停止迭代，完成精确拼接，其中，所述配准精度表示为两组所述室内不同位置的点云之间的距离差的绝对值；
重复上述步骤直至完成所述...

【专利技术属性】
技术研发人员：黄仲华，周成富，
申请(专利权)人：广东申义实业投资有限公司，
类型：发明
国别省市：广东;44