一种基于无人机采集点云与图像配准的巡检、测距方法技术

一种基于无人机采集点云与图像配准的巡检、测距方法，涉及激光雷达点云数据应用的技术领域。本发明专利技术通过所提出的相机内参获取以及位姿解算，实现无人机获取点云与拍摄图像的配准；通过所提出的配准可视化模块实现配准效果的可视化，通过所提出的隐患识别及定位，配准变换以及距离测算实现对监拍图像中隐患的识别、定位以及防护区与隐患之间实际距离的测量。量。量。

【技术实现步骤摘要】
一种基于无人机采集点云与图像配准的巡检、测距方法


[0001]本专利技术公开一种基于无人机采集点云与图像配准的巡检、测距方法，涉及激光雷达点云数据应用的


技术介绍

[0002]为提高对目标场景巡检效率，减少巡检成本，无人机在巡检领域具备广阔的发展前景，但由于无人机位姿解算太复杂，当前的隐患识别、测距一体化的方案仍多基于固定的监拍设备，本专利的提出解决了无人机、无人机搭载相机位姿解算的关键技术，将其用于三维点云与图像配准中，建立了三维到二维的映射关系，利用该关系，结合通用目标检测算法实现了对任意场景隐患的定位以及与防护区距离的测算功能。
[0003]在现有技术中，公开以下利用无人机测距的的方法：
[0004]中国专利文献CN115170745A公开《一种基于立体视觉的无人机测距方法》，但是该文献并未涉及利用位姿解算的方法来直接实现配准的相关技术，而是利用块匹配的方式间接的建立点云与图像之间的映射模型，该文献中涉及的技术方案不但可解释性差，而且需要大量的算力资源支撑，不适合针对大型复杂的应用场景。/>[0005]除此本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机采集点云与图像配准的巡检方法，其特征在于，包括：步骤S0：获取目标场景点云与图像数据；步骤S1：对所述点云与图像数据预处理，以剔除点云数据中的噪声点、以剔除图像数据中的模糊图像；步骤S2：计算相机内参矩阵M，计算过程如下：在公式(1)中，f
x
＝(f
×
U)/w，f
y
＝(f
×
V)/h；相机焦距f，单位为mm；像素坐标系下的光心位置(c
x
，c
y
)；相机底片大小宽*高为w*h，单位分别为mm；相机成像尺寸宽*高为U*V，以像素为单位，上述参数均为常数；步骤S3：利于位姿解算，以得到基于相机坐标系的点云数据；步骤S4：配准可视化模块，基于相机坐标系的点云数据根据已知的相机内参矩阵M处理得到深度图：提前定义坐标系：WGS84坐标系：该坐标系为现有公开坐标系，横坐标为经度B、纵坐标为纬度L、竖坐标为海拔高度H，坐标用(B，L，H)表示；地心地固坐标系：该坐标系为现有公开坐标系，坐标用(X，Y，Z)表示；站心坐标系：横坐标X
″
轴指东，纵坐标Y
″
轴指北，竖坐标Z
″
轴指天，坐标用(X
″
，Y
″
，Z
″
)表示；北东地坐标系：横坐标X
″″
指北，纵坐标Y
″″
指东，竖坐标Z
″″
指地，坐标用(X
″″
，Y
″″
，Z
″″
)表示；相机坐标系：横坐标X
″″
指向相机平面的法向量方向，纵坐标Y
″″
指向与相机平面长边平行向右的方向，竖坐标Z
″″
指向与相机平面短边平行向下的方向，坐标用(X
″″
，Y
″″
，Z
″″
)表示；设所述步骤3得到的基于相机坐标系的点云数据为x，y，z，其中x、y、z为空间点在相机坐标系下X
″″
轴、Y
″″
轴、Z
″″
轴对应的坐标值，z也叫做深度值，根据x，y，M计算深度图的像素点坐标(u，v)：u＝x*f
x
/z+c
x
ꢀꢀꢀ
(2)；v＝y*f
y
/z+c
y
ꢀꢀꢀ
(3)；所述相机成像大小为U*V，对于求得的u保留0
‑
U之间的部分，对于求得的v，仅保留0
‑
V之间的部分，然后，对保留的u，v分别进行向下取整操作；将得到的深度图与对应的可见光图像进行像素加权融合以得到点云
‑
图像映射模型；步骤S5：隐患识别及定位，调用预训练好的检测算法，对无人机巡检时拍摄到的图像数据进行识别，得到隐患类检测框，记录检测框的底部中心坐标，根据所述点云
‑
图像映射模型对所述检测框底部中心点坐标进行处理得到隐患的三维真实位置坐标。2.根据权利要求1所述一种基于无人机采集点云与图像配准的巡检方法，其特征在于，所述步骤S1中，所述剔除点云数据中的噪声点的方法为：利用点云离散点剔除算法，优选的，半径滤波算法，对点云数据进行预处理，以剔除噪声点；
所述剔除图像数据中的模糊图像的方法为：利用图像模糊判别算法，优选的，Tenengrad梯度方法，以剔除模糊图像。3.根据权利要求1所述一种基于无人机采集点云与图像配准的巡检方法，其特征在于，所述步骤S3的位姿解算的过程如下：(3
‑
1)确定无人机初始位姿：无人机起飞前设置云台归中复位，保证无人机的初始位姿即为云台的初始位姿；拍摄图片留存此刻无人机的偏航角yaw、俯仰角pitch、横滚角roll，分别记为：y0，p0，r0；(3
‑
2)校正位姿变换角度：无人机起飞后拍摄的图片，以记录：无人机的偏航角yaw、俯仰角pitch、横滚角roll，分别为y
t
，p
t
，r
t
；云台的的偏航角yaw、俯仰角pitch、横滚角roll，分别为y
′
t
，p
′
t
，r
′
t
；位姿变换角度的校正根据云台惯导与无人机惯导的具体关系确定：当云台的位姿不随无人机位姿的变化而变化、是通过云台与无人机角度联动变化实现时，则校正后的云台相对于北东地坐标系的位姿变换角度为：y
′

【专利技术属性】
技术研发人员：吴晗，李小龙，齐洁爽，王飞，朱言庆，张磊，
申请(专利权)人：智洋创新科技股份有限公司，
类型：发明
国别省市：