【技术实现步骤摘要】
本专利技术涉及三维重建，尤其是涉及一种补全弱纹理场景的三维重建方法、装置、存储介质和设备。
技术介绍
1、传统的摄影测量三维重建方法在弱纹理区域(尤其是水域)重建效果极差，容易出现空洞，而后期人工修模则工序复杂且工作量大，因此对于包含弱纹理场景的三维重建任务，现有技术中没有方便快捷又建模质量较高的方法。
技术实现思路
1、为克服相关技术中存在的问题，本专利技术提供一种补全弱纹理场景的三维重建方法、装置、存储介质和设备，用以解决相关技术中的缺陷。
2、根据本专利技术的第一方面，提供一种补全弱纹理场景的三维重建方法，所述方法包括：
3、获取在不同视角下针对目标场景拍摄的若干航测图像及对应的gps坐标；
4、将每个所述航测图像输入预设的目标检测网络模型，以标注出所述航测图像中所包含的弱纹理场景区域；
5、基于所述弱纹理场景区域生成对应所述航测图像的弱纹理分割掩膜；
6、根据所有所述航测图像及对应的gps坐标进行空三位姿解算，获取所述目标场景对应的稀疏点云及每个所述航测图像对应的位姿；
7、基于所述稀疏点云和每个所述航测图像对应的位姿进行多视图立体匹配，估计每个所述航测图像对应的深度图；
8、基于所述弱纹理分割掩膜对每个所述航测图像对应的深度图进行补全，获得每个所述航测图像对应的优化后的深度图；
9、基于所述稀疏点云，以及每个所述航测图像对应的所述优化后的深度图进行融合，生成所述目标场景对应的稠
10、基于所述稠密点云生成所述目标场景对应的三维模型。
11、优选地，所述预设的目标检测网络模型包括yolo v8网络模型，并在所述yolo v8网络模型的基础上使用具有双水平路由注意的视觉变压器注意力机制，以及使用基于最小点距离的边界框相似度比较度量作为所述yolo v8网络模型的边界框回归的损失函数，以及使用基于遗传编程自动发现神经网络优化器进行训练。
12、优选地，所述根据所有所述航测图像及对应的gps坐标进行空三位姿解算，获取所述目标场景对应的稀疏点云及每个所述航测图像对应的位姿，包括：
13、对所有所述航测图像基于sift_gpu进行特征点提取与匹配；
14、针对每个所述航测图像通过pnp算法解算获得对应的位姿的初值；
15、基于ba优化方法最小化所述位姿的重投影误差。
16、优选地，所述基于ba优化方法最小化所述位姿的重投影误差，具体为：
17、通过以下公式计算重投影误差最小的位姿：
18、
19、其中，ξ表示当前位姿；ui表示当前特征点i的像素坐标，n为特征点总数量；si表示当前特征点i关联的所有航测图像范围；k表示当前航测图像；ξλ表示当前位姿的关联位姿；pi表示当前特征点i的像素坐标对应的三维点坐标；ξ*表示使重投影误差最小的位姿，即当前位姿ξ观察到的像素坐标ui与三维点坐标pi的重投影坐标之间的差最小的位姿。
20、优选地，所述基于所述稀疏点云和每个所述航测图像对应的位姿进行多视图立体匹配，估计每个所述航测图像对应的深度图，包括：
21、基于patch-match方法对所述航测图像的每个像素窗口表示的物方面元进行匹配，并通过单应矩阵h引导的匹配图像块，包括参考图像a和邻近图像ab，计算每个所述航测图像间的ncc相关系数，以所述ncc相关系数作为匹配代价；其中，
22、
23、
24、
25、
26、
27、
28、其中，ma·ab为所述参考图像a与所述邻近图像ab的乘积的均值，ma为所述参考图像a的均值，mab为所述邻近图像ab的均值，va为所述参考图像a的方差，vab为所述邻近图像ab的方差；
29、基于上下左右4个方向扰动和随机优化深度值进行所述匹配代价和深度值的传播优化，生成所述深度图，并将最终的所述匹配代价存储为置信图。
30、优选地，所述基于所述弱纹理分割掩膜对每个所述航测图像对应的深度图进行补全，获得每个所述航测图像对应的优化后的深度图，包括：
31、针对每个所述航测图像对应的深度图，获取其对应的参考置信图和其邻居影像的深度图及置信图，并将所述邻居影像的深度图及置信图投影至所述航测图像对应的深度图所在的图像空间，构成深度图和置信图数组；
32、基于所述弱纹理分割掩膜识别所述深度图中的弱纹理区域，并识别所述弱纹理区域的所有轮廓点；
33、遍历所有所述轮廓点，对获取每个所述轮廓点在指定范围窗口内的最大邻域深度值，并根据所述最大邻域深度值基于指定采样间隔构造轮廓点深度直方图；
34、获取所有所述轮廓点中对应深度值在所述轮廓点深度直方图的峰值区间和峰值相邻区间内的轮廓点构成参照点集，并将所述参照点集中的每个轮廓点的坐标从图像坐标系转换为相机坐标系；
35、采用ransac最小二乘法对所述参照点集中的轮廓点进行平面拟合，获得相机坐标系下的弱纹理几何方程；其中，所述弱纹理几何方程为
36、
37、其中，在解算时令为单位向量，(xcyczc)为相机坐标系下的轮廓点坐标，m的几何意义为相机原点到该平面的距离；
38、基于所述弱纹理几何方程，逐像素填补所述深度图中所述弱纹理区域中每个像素点的深度值：
39、
40、
41、获得所述优化后的深度图。
42、优选地，所述基于所述稠密点云生成所述目标场景对应的三维模型为delaunay三维网格模型。
43、根据本专利技术的第二方面，提供一种补全弱纹理场景的三维重建装置，所述装置包括：
44、数据获取模块，用于获取在不同视角下针对目标场景拍摄的若干航测图像及对应的gps坐标；
45、弱纹理识别模块，用于将每个所述航测图像输入预设的目标检测网络模型，以标注出所述航测图像中所包含的弱纹理场景区域；
46、掩膜生成模块，用于基于所述弱纹理场景区域生成对应所述航测图像的弱纹理分割掩膜；
47、位姿解算模块，用于根据所有所述航测图像及对应的gps坐标进行空三位姿解算，获取所述目标场景对应的稀疏点云及每个所述航测图像对应的位姿；
48、深度图生成模块，用于基于所述稀疏点云和每个所述航测图像对应的位姿进行多视图立体匹配，估计每个所述航测图像对应的深度图；
49、深度图补全模块，用于基于所述弱纹理分割掩膜对每个所述航测图像对应的深度图进行补全，获得每个所述航测图像对应的优化后的深度图；
50、点云生成模块，用于基于所述稀疏点云，以及每个所述航测图像对应的所述优化后的深度图进行融合，生成所述目标场景对应的稠密点云；
51、三维重建模块，用于基于所述稠密点云生成所述目标场景对应的三维模型。
52、本文档来自技高网...
【技术保护点】
1.一种补全弱纹理场景的三维重建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述预设的目标检测网络模型包括YOLOv8网络模型，并在所述YOLO v8网络模型的基础上使用具有双水平路由注意的视觉变压器注意力机制，以及使用基于最小点距离的边界框相似度比较度量作为所述YOLO v8网络模型的边界框回归的损失函数，以及使用基于遗传编程自动发现神经网络优化器进行训练。
3.根据权利要求1所述的方法，其特征在于，所述根据所有所述航测图像及对应的GPS坐标进行空三位姿解算，获取所述目标场景对应的稀疏点云及每个所述航测图像对应的位姿，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于BA优化方法最小化所述位姿的重投影误差，具体为：
5.根据权利要求1所述的方法，其特征在于，所述基于所述稀疏点云和每个所述航测图像对应的位姿进行多视图立体匹配，估计每个所述航测图像对应的深度图，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述弱纹理分割掩膜对每个所述航测图像对应的深度图进行补全，获得每个
7.根据权利要求1所述的方法，其特征在于，所述基于所述稠密点云生成所述目标场景对应的三维模型为Delaunay三维网格模型。
8.一种补全弱纹理场景的三维重建装置，其特征在于，所述装置包括：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-7任一所述的补全弱纹理场景的三维重建方法。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一所述的补全弱纹理场景的三维重建方法。
...【技术特征摘要】
1.一种补全弱纹理场景的三维重建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述预设的目标检测网络模型包括yolov8网络模型，并在所述yolo v8网络模型的基础上使用具有双水平路由注意的视觉变压器注意力机制，以及使用基于最小点距离的边界框相似度比较度量作为所述yolo v8网络模型的边界框回归的损失函数，以及使用基于遗传编程自动发现神经网络优化器进行训练。
3.根据权利要求1所述的方法，其特征在于，所述根据所有所述航测图像及对应的gps坐标进行空三位姿解算，获取所述目标场景对应的稀疏点云及每个所述航测图像对应的位姿，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于ba优化方法最小化所述位姿的重投影误差，具体为：
5.根据权利要求1所述的方法，其特征在于，所述基于所述稀疏点云和每个所述航测图像对应的位...
【专利技术属性】
技术研发人员：郑川江，贾学富，杨心宇，
申请(专利权)人：广州南方测绘科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。