一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统技术方案

本发明专利技术提供了一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统。首先本发明专利技术提供了一种基于多视图三维重建的自动驾驶数字孪生场景构建系统，包括数据采集与处理、相机位姿估计、多视图三维重建、点云模型尺度矫正、空地点云模型融合、模型精度定量评价六个模块。还提出了自动驾驶场景多视图三维重建方法，克服了现有技术中在纹理复杂区域特征提取不足、受噪声数据影响大等问题，从而提升了自动驾驶场景三维模型重建精度并且降低了显存占用空间。另外，本发明专利技术还提供了一种基于无人机的自动驾驶室外场景图像采集方案，能有效且全面地采集多视图三维重建方法所需要的图像数据。图像数据。图像数据。

【技术实现步骤摘要】
一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统


[0001]本专利技术涉及计算机视觉领域和自动驾驶
，具体涉及一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统。

技术介绍

[0002]近些年，受单个车辆的感知范围与能力的限制，自动驾驶逐渐朝着以数字孪生为核心的智能网联化方向发展。自动驾驶数字孪生技术基于现实场景中的传感数据，在三维虚拟环境中构建高精度的交通场景。重建的三维虚拟场景不仅为自动驾驶仿真测试提供完整、充足、可编辑的场景，还为自动驾驶算法优化提供大量驾驶数据，更为高精度地图的自动化制作提供了高效方案。自动驾驶数字孪生技术通过将现实交通场景元素映射到虚拟空间，建立起物理世界和虚拟世界之间的联系。在虚拟世界中，人们可以全过程、全要素的掌控自动驾驶中的各个环节，并依据一定的逻辑和规则自由切换时空，低成本、高效率地研究自动驾驶中的关键技术，进而驱动现实世界中自动驾驶技术的发展。
[0003]自动驾驶三维虚拟场景重建的本质是交通场景三维几何结构的感知和恢复。相较于激光雷达扫描方案而言，基于视觉的方法从二维投影中分析多视图几何关系与内在联系，具有成本低廉、数据获取方便、重建模型稠密、纹理丰富等优点。传统的Colmap多视图三维重建算法基于经典计算几何理论，利用归一化互相关匹配法进行视图间光学一致性的度量，利用PatchMatch进行深度传递。Colmap算法可解释性强，但是深度图计算时间长，难以应用在自动驾驶这类大规模室外场景中。近些年，随着深度学习的发展，深度神经网络表现出强大提取图像特征的能力。许多研究将多视图和对应的相机位姿输入深度神经网络，实现端到端的多视图立体匹配与深度图估计。MVSNet提出可微的单应变换构造代价体，并使用多尺度的类Unet结构对聚合后的代价体进行三维卷积，得到平滑后的概率体，并据此估计每张图像的深度图。CVP
‑
MVSNet通过设计金字塔结构，由粗到细地优化深度图质量；Fast
‑
MVSNet采用稀疏代价体构建方法提高了深度图估计的速度。这些算法较传统Colmap算法而言，极大地减少了深度图估计时间。
[0004]尽管现有技术在室内场景数据集上取得了不错的效果，但是在自动驾驶室外大规模场景中面临着较大挑战，主要包括：
[0005](1)现有技术在结构复杂的自动驾驶场景中存在特征提取不充分的问题，导致重建精度不足。自动驾驶室外场景具有重建范围广、场景结构复杂、光线变化大等特点，场景中低纹理和纹理丰富的区域并存，现有技术采用固定的卷积核大小提取特征，忽视了纹理复杂区域丰富的场景特征；此外，现有技术赋予特征通道相等的权重，未能很好地过滤掉噪声数据，导致模型重建精度不足。
[0006](2)现有技术在自动驾驶大规模室外场景重建中显存空间占用过大。在自动驾驶大规模室外场景中，场景中不同物体与相机之间的距离差异较大，深度图的假设深度范围必须设置得较大；此外，为了获得更佳的重建效果，图像分辨率也会设置得较大，这直接导
致所构建的代价体的体积变大，进而网络模型在推理时占用大量的显存空间。例如，现有技术MVSNet方法在图像宽度设置为1200像素、高度800像素、假设深度范围设置为1024时，算法推理阶段会占用约29Gb的显存空间，难以在普通消费级显卡上运行。
[0007](3)输入的多视角图像的质量直接影响着重建场景的效果，现有技术使用的数据集大多围绕某一物体或某栋建筑进行采集，这种采集方式不适用于自动驾驶大规模室外场景。为此，需要提出一种针对自动驾驶场景室外图像数据采集与数据处理方案。

技术实现思路

[0008]为解决现有技术中存在的上述问题，本专利技术提供了一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统。本专利技术提出的自动驾驶场景多视图三维重建方法中的特征提取模块，通过改变卷积核大小方式进一步提取纹理复杂区域的特征，并赋予不同特征通道不同的权重。此外，提取得到的特征图经单应变换形成多个特征体并聚合成一个代价体，该方法将代价体沿深度维度方向进行切片，并使用时空递归神经网络对切片序列进行正则化处理，在降低自动驾驶室外大规模场景中模型推理阶段占用的显存空间大小的同时，保留了切片之间的关联。另外，本专利技术还提供了一种基于无人机的自动驾驶室外场景图像采集方案，能有效且全面地采集多视图三维重建方法所需要的图像数据。最后，本专利技术还提出了一种基于多视图三维重建的自动驾驶数字孪生场景构建系统，包括数据采集与处理、相机位姿估计、多视图三维重建、点云模型尺度矫正、空地点云模型融合、模型精度定量评价六个模块。
[0009]本专利技术的目的是通过以下技术方案来实现的：一种基于多视图三维重建的自动驾驶数字孪生场景构建系统，所述自动驾驶数字孪生场景构建系统包括：
[0010]数据采集与处理模块(M100)，用于对自动驾驶场景的多视角图像进行采集和数据预处理，并将处理后的图像数据划分为若干组；
[0011]相机位姿估计模块(M200)，用于将采集的多视角图像作为输入，输出拍摄每张图像的相机对应的位置和姿态，从而获取相机内外参数序列；
[0012]多视图三维重建模块(M300)，用于构建网络模型，并通过网络模型提取多视角图像的特征图序列，并结合相机内外参数序列构建代价体，将代价体沿深度维度方向进行切片，然后将切片后的代价体进行处理得到概率体，并根据概率体估计多视角图像的深度图，最后融合深度图得到场景三维稠密点云；
[0013]点云模型尺度矫正模块(M400)，用于将模块(M100)中处理得到的三个特征点及其组成三角形的边长作为输入参数，构建虚拟三维空间中等比例的三角形面片，并在多视图三维重建模块(M300)得到的场景三维稠密点云中，找到三个对应特征点的位置，将虚拟点云模型中的三个特征点与三角形面片中对应的三个点同时配准，对三维稠密点云进行尺度变换；
[0014]空地点云模型融合模块(M500)，用于将数据采集与处理模块(M100)中无人机采集的图像重建得到的三维稠密点云划分为空中点云模型，将其它组图像重建得到的三维稠密点云划分为地面点云模型；本模块将若干个地面点云模型配准到空中点云模型，形成最终的自动驾驶数字孪生场景模型；
[0015]模型精度定量评价模块(M600)，用于对自动驾驶场景三维模型的精度进行定量评
测，判断自动驾驶场景三维模型的精度满足后续自动驾驶任务需求。
[0016]作为本专利技术的优选方案，所述数据采集与处理模块(M100)对数据进行采集和处理的方法包括以下步骤：
[0017]S201:划定待重建的自动驾驶场景范围；
[0018]S202:预设数据采集路线，使用无人机在固定的飞行高度按预设S型路线飞行，并在拍摄点拍摄场景图像；
[0019]S203:降低无人机飞行高度，围绕场景中的建筑物、采用八字绕飞的方式进行拍摄；
[0020]S204:对于道路旁边的建筑物、道路完全被树木遮挡的路段，使用手持拍摄设备，以环绕拍摄的方式采集数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视图三维重建的自动驾驶数字孪生场景构建系统，其特征在于，所述自动驾驶数字孪生场景构建系统包括：数据采集与处理模块(M100)，用于对自动驾驶场景的多视角图像进行采集和数据预处理，并将处理后的图像数据划分为若干组；相机位姿估计模块(M200)，用于将采集的多视角图像作为输入，输出拍摄每张图像的相机对应的位置和姿态，从而获取相机内外参数序列；多视图三维重建模块(M300)，用于构建网络模型，并通过网络模型提取多视角图像的特征图序列，并结合相机内外参数序列构建代价体，将代价体沿深度维度方向进行切片，然后将切片后的代价体进行处理得到概率体，并根据概率体估计多视角图像的深度图，最后融合深度图得到场景三维稠密点云；点云模型尺度矫正模块(M400)，用于将模块(M100)中处理得到的三个特征点及其组成三角形的边长作为输入参数，构建虚拟三维空间中等比例的三角形面片，并在多视图三维重建模块(M300)得到的场景三维稠密点云中，找到三个对应特征点的位置，将虚拟点云模型中的三个特征点与三角形面片中对应的三个点同时配准，对三维稠密点云进行尺度变换；空地点云模型融合模块(M500)，用于将数据采集与处理模块(M100)中无人机采集的图像重建得到的三维稠密点云划分为空中点云模型，将其它组图像重建得到的三维稠密点云划分为地面点云模型；本模块将若干个地面点云模型配准到空中点云模型，形成最终的自动驾驶数字孪生场景模型；模型精度定量评价模块(M600)，用于对自动驾驶场景三维模型的精度进行定量评测，判断自动驾驶场景三维模型的精度满足后续自动驾驶任务需求。2.根据权利要求1所述的自动驾驶数字孪生场景构建系统，其特征在于，所述数据采集与处理模块(M100)对数据进行采集和处理的方法包括以下步骤：S201:划定待重建的自动驾驶场景范围；S202:预设数据采集路线，使用无人机在固定的飞行高度按预设S型路线飞行，并在拍摄点拍摄场景图像；S203:降低无人机飞行高度，围绕场景中的建筑物、采用八字绕飞的方式进行拍摄；S204:对于道路旁边的建筑物、道路完全被树木遮挡的路段，使用手持拍摄设备，以环绕拍摄的方式采集数据；S205:对收集的所有图像数据进行预处理：通过保留图像最中心区域的方式将图像尺寸调整为宽3000像素、高2250像素，然后将图像降采样到宽1600像素、高1200像素；S206:将预处理后的图像数据划分为若干组，其中将步骤S202和步骤S203所采集的图像分为一组，作为第一组图像；将步骤S204中针对每一个建筑物或路段拍摄的图像单独分组；S207:在每一组图像覆盖的现实场景中，选择三个最为明显的特征点，记录特征点的位置以及所构成三角形的毫米级精度边长。3.根据权利要求1所述的自动驾驶数字孪生场景构建系统，其特征在于，所述相机位姿估计模块(M200)包括检索匹配单元和增量式重建单元；所述检索匹配单元以多视角图像作为输入，寻找经过几何验证的、具有重叠区域的图像对，并计算空间中的同一点在这些图像
对中两张图像上的投影；所述增量式重建单元用于输出拍摄每张图像的相机对应的位置和姿态。4.根据权利要求3所述的自动驾驶数字孪生场景构建系统，其特征在于，增量式重建单元输出拍摄每张图像的相机对应的位置和姿态的具体过程为：首先在多视角图像稠密位置选择一对初始图像对并配准；然后选择与当前已配准的图像之间配准点数量最多的图像；将新增加的视图与已确定位姿的图像集合进行配准，利用PnP问题求解算法估计拍摄该图像的相机位姿；之后对于新增加的已配准图像覆盖到的未重建出的空间点，三角化该图像并增加新的空间点到已重建出的空间点集合中；最后，对当前所有估计出的三维空间点和相机位姿进行一次光束平差法优化调整。5.一种根据权利要求1所述自动驾驶数字孪生场景构建系统的场景构建方法，其特征在于，包括以下步骤：S501：使用数据采集与处理模块(M100)对自动驾驶场景进行全方位感知，对采集后的多视角图像数据进行处理；S502：...

【专利技术属性】
技术研发人员：李涛，李睿航，潘之杰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：