一种多视图几何无人机图像三维重建方法及存储介质技术

本发明专利技术公开了一种多视图几何无人机图像三维重建方法及存储介质，方法包括：1)通过无人机对输电线路、变电站进行倾斜摄影获取到可见光序列影像；2)运动恢复结构SFM，通过深度学习方法获取图像特征、特征匹配，通过多视图几何、三角测量、姿态估计、光束平差(BA)优化、进行空三解算获得稀疏点云及相机姿态；3)在上一步输出图像、位姿基础上，通过深度图估计立体匹配算法(SGM、Patch match)，进行稠密重建，获得稠密点云；4)表面重建、纹理贴图获得实景模型。实验结果表明，本发明专利技术的方法能够在提供输电线路、变电站等倾斜摄影数据的基础上，生成可以用于后续无人机巡检航线规划任务的实景三维模型。三维模型。三维模型。

【技术实现步骤摘要】
一种多视图几何无人机图像三维重建方法及存储介质


[0001]本专利技术涉及图像三维重建领域，具体涉及一种无人机图像三维重建方法及存储介质，尤其是一种基于深度学习结合多视图几何的无人机图像三维重建方法及存储介质。

技术介绍

[0002]随着我国工业化进程的不断推进，我们对电力系统的安全稳定也提出了更高要求。电网输电线路、变电站需要定时、不定时巡检，才能及时发现隐患、风险，并进行处理，已保障输电系统的正常稳定运行。
[0003]目前，在电网输电线路、变电站巡检任务中，利用无人机进行自动巡检已经得到了大范围的运用，在提升电力运行安全，提高作业效率方面，都有很好的效果。
[0004]要无人机能够自动巡检，就需要做三维实景建模，从而进行航线规划。其中运用比较广泛的是基于直升机采集三维激光点云，其在输电线路这种大目标开阔区域作业等场景已经取得很好的效果。
[0005]但现有的激光点云采集方式成本高昂，平均一公里成本约2000元左右，而且只使用于大目标开阔区域作业，例如针对主网线路进行。
[0006]因此，有必要针提供一种成本低、细节丰富、适用于目标低、环境复杂等特点的三维实景建模方法。

技术实现思路

[0007]有鉴于此，本专利技术提供一种多视图几何无人机图像三维重建方法及存储介质，该方法基于深度学习结合多视图几何进行三维重建，通过无人机对采集倾斜摄影影像数据，再通过三维重建技术，获得精度高、细节丰富的输电线路、变电站实景模型，用于后续无人机精细化巡检的航线规划。对比三维激光点云模型，本专利技术具有成本低、细节丰富、适用于目标低、环境复杂等特点。
[0008]本专利技术的技术方案为：
[0009]一种多视图几何无人机图像三维重建方法，包括以下步骤：
[0010]步骤1，通过无人机对输电线路、变电站进行倾斜摄影获取到可见光序列影像。
[0011]步骤2稀疏重建(SFM)，包括：
[0012]步骤2.1基于深度学习的特征提取、匹配
[0013]视觉三维重建首要的一步就是特征点提取，这里的特征点指的是能够在不同光照、不同视角下都能够稳定且可重复检测的2D图像的位置。基于CNN的算法几乎在以图像作为输入的所有领域表现出相比人类特征工程更加优秀的表达能力。但是应用到具体的3D重建等工作上还是不如传统的特征，如SIFR、SURF、ORB等。本专利技术采用和L2
‑
Net相似的网络结构基于深度学习局部特征学习方法，利用的是全卷积网络，同时feature map降维是利用卷积层的stride设置为2实现的。每个卷积后面都跟着一个BN层，但是该BN层的参数不会在训练过程中去更新(w和b固定为1和0)。网络最后使用Local Response Normalization(LRN)
层输出一个单位特征向量。其中输入是32
×
32 32
imes 3232
×
32大小的patch，输出是128d的特征向量。
[0014]步骤2.2稀疏重建获取稀疏点云、相机位姿
[0015]首先选择寻找初始像对，运用归一化八点法进行基础矩阵F求解，解算获得相机内参K、外参R、T。
[0016][0017]三角化求解对应位点坐标，由于噪声的存在两条直线往往不相交，所以采用非线性方法优化求解物点P三维坐标、相机内参K、外参R、T。
[0018]增量式重建逐步顺序加入联近影像构成影像对进行求解运算，并进行迭代优化重投影误差，利用光束平差(BA)优化，最终得到相机位姿、稀疏点云。
[0019]步骤3稠密重建获取稠密点云
[0020]对于深度图估计，目的是恢复参考影像的深度信息。基于MVS的深度估计，主流方法的流程是：首先，对一个参考影像，筛选用于和参考影像配对计算视差的原始影像。其次，参考视差计算的经典框架(BGM、Patch match)，计算参考影像上特征对应的匹配代价，在通过代价聚合，计算深度值，最后进行深度过滤，优化初始深度图。
[0021]对于稠密重建，目的是恢复场景的周密点云。利用深度图配准原理融合深度图，恢复稠密点云。
[0022]从深度图获取点云，图像坐标系转换为世界坐标系，变换约束条件为相机内参。公式为：
[0023][0024]其中x,y,z是点云坐标系，x
’
,y
’
是图像坐标系，D为深度值。下面介绍其推导的过程。
[0025]首先，要了解下世界坐标到图像的映射过程，考虑世界坐标点M(Xw,Yw,Zw)映射到图像点m(u,v)的过程。
[0026]形式化表示如下：
[0027][0028]其中：u,v分别为图像坐标系下的任意坐标点；u0,v0分别为图像的中心坐标；xw,
yw,zw表示世界坐标系下的三维坐标点；zc表示相机坐标的z轴值，即目标到相机的距离；R,T分别为外参矩阵的3x3旋转矩阵和3x1平移矩阵。
[0029][0030]相机坐标系和世界坐标系的坐标原点重合，因此相机坐标和世界坐标下的同一个物体具有相同的深度，即zc＝zw.于是公式可进一步简化为：
[0031][0032]从以上的变换矩阵公式，可以计算得到图像点[u,v]T到世界坐标点[xw,yw,zw]T的变换公式:
[0033][0034]步骤4，表面重建、纹理贴图获得场景的三维实景模型。
[0035]本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序能够被处理器执行以实现本专利技术所述的无人机图像三维重建方法的步骤。
[0036]本专利技术的有益效果：
[0037]本专利技术通过深度学习特征检测、匹配方法提取图像特征，并计算本质矩阵F，解算相机位姿、利用光束平差(BA)方法，优化最小投影误差，空三解算得到稀疏点云及相机位姿。而后利用立体匹配算法进行深度估计，求解得到稠密点云。进而进行曲面重建、纹理贴图，最终获得三维实景模型。用于无人机巡检航线任务规划。
附图说明
[0038]图1：三维重建整体流程图。
[0039]图2：稀疏重建流程图。
[0040]图3：特征提取神经网络结构图。
[0041]图4：特征提取方法比较示意图。
[0042]图5：重投影误差示意图
[0043]图6：稀疏点云及位姿结果示意图。
[0044]图7：深度图估计框架示意图。
[0045]图8：世界坐标到图像的映射过程示意图
[0046]图9：稠密重建获取稠密点云的图片。
[0047]图10：表面重建、纹理贴图的图片。
具体实施方式
[0048]下面结合附图对本专利技术进行详细说明。
[0049]如图1所示，一种基于深度学习结合多视图几何的无人机图像三维重建方法，包括以下步骤：
[0050]步骤1稀疏重建(SFM)，如图2所示，输入影像数据，输出稀疏点云、相机位姿。包括：
[0051]步骤1.1基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多视图几何无人机图像三维重建方法，其特征在于，包括以下步骤：步骤1，通过无人机对输电线路、变电站进行倾斜摄影获取到可见光序列影像；步骤2，稀疏重建SFM，通过深度学习方法获取图像特征、特征匹配，通过多视图几何、三角测量、姿态估计、光束平差BA优化、进行空三解算获得稀疏点云及相机姿态；步骤3，在上一步输出图像、位姿基础上，通过深度图估计立体匹配算法，进行稠密重建，获得稠密点云；步骤4，表面重建、纹理贴图获得实景模型。2.根据权利要求1所述的方法，其特征在于，所述步骤2包括：步骤2.1基于深度学习的特征提取、匹配所述特征指的是能够在不同光照、不同视角下都能够稳定且可重复检测的2D图像的位置；采用和L2
‑
Net相似的网络结构，利用的是全卷积网络，同时feature map降维是利用卷积层的stride设置为2实现的；每个卷积后面都跟着一个BN层，但是该BN层的参数不会在训练过程中去更新，w和b固定为1和0；网络最后使用LRN层输出一个单位特征向量；其中输入是32
×
32 32\times 3232
×
32大小的patch，输出是128d的特征向量。3.根据权利要求2所述的方法，其特征在于，所述步骤2还包括：步骤2.2稀疏重建...

【专利技术属性】
技术研发人员：杨阳，
申请(专利权)人：昆明能讯科技有限责任公司，
类型：发明
国别省市：