一种基于激光点云与微光图像融合的方法及装置制造方法及图纸

本发明专利技术公开了一种基于激光点云与微光图像融合的方法及装置，包括以下步骤：首先，采集目标场景的点云数据与图像数据，得到三维点云图像和微光图像；其次，通过投影转换，三维点云图像的数据点投影到参考平面坐标系获得投影点，根据投影点与数据点的位置关系，所有的投影点构成二维点云图像；再次，通过配准和透视变换，将二维点云图像叠加到微光图像坐标系，二维点云图像与微光图像组成参考图像；最后，将参考图像由

【技术实现步骤摘要】
一种基于激光点云与微光图像融合的方法及装置


[0001]本专利技术属于飞行器测量信息融合
，具体涉及一种基于激光点云与微光图像融合的方法及装置
。

技术介绍

[0002]现有技术中，飞行器在飞行时会面临各种复杂气候条件以及各种不同的障碍物，例如天线
、
塔
、
电线杆
、
树等
。
因此，飞行器在飞行过程中有躲避孤立障碍物的需求，特别在夜晚到凌晨这段时间内，由于阳光及地面辐射热量影响的减小，使得树木
、
路面
、
以及建筑物等地面目标的温差逐渐缩小，导致红外图像的对比度降低，加大了目标识别的难度
。
激光雷达具有高精度距离信息，提供了目标的轮廓及大小信息，增加了目标识别的置信度，但激光雷达易受沙尘及烟雾影响，使得性能会下降
。
因此仅使用一种传感器的数据来进行目标识别，识别准确率难以保证，不能适应不同飞行环境
。
[0003]申请公布号为
CN 115546594 A
的中国专利技术专利，公开了一种基于激光雷达和相机数据融合的实时目标检测方法，采用卷积神经网络模型和利用
RGB
相机实现，需要对采集的信息进行训练，然后输出检测结果，训练神经网络模型的过程复杂，显示效果和感官效果不强烈，被测目标场景的检测结果的精准度不高
。
[0004]需要一种显示效果和感官效果强烈，被测目标场景的检测结果的精准度高的方法，以获得被测目标场景的一致性和精确性，进而使得飞行器能够适用于多种天气条件下对于目标场景的识别，减少误判的可能性
。

技术实现思路

[0005]本专利技术的目的是提供一种基于激光点云与微光图像融合的方法，用于解决被测目标场景的检测结果的精准度不高，检测结果的显示效果和感官效果不强烈的问题
。
[0006]本专利技术进一步的目的是提供一种基于激光点云与微光图像融合的装置
。
[0007]本专利技术解决其技术问题的技术方案为：
[0008]一种基于激光点云与微光图像融合的方法，包括以下步骤：
[0009]S1
：采集目标场景的点云数据与图像数据，得到三维点云图像和微光图像；
[0010]S2
：通过投影转换，将三维点云图像的数据点投影到参考平面坐标系获得投影点，根据投影点与数据点的位置关系，计算得到投影点的方位夹角
α
和俯仰夹角
β
，将方位夹角
α
和俯仰夹角
β
作为投影点在参考平面坐标系中的坐标，将数据点的反射率归一化到参考平面坐标系中作为投影点的灰度值，所有的投影点构成二维点云图像；
[0011]S3
：通过确认标定点的方式将二维点云图像与微光图像进行配准，通过透视变换，将二维点云图像叠加到微光图像坐标系，二维点云图像与微光图像组成参考图像；
[0012]S4
：将参考图像由
RGB
空间转换到
YUV
空间，在
YUV
空间通过将参考图像的
YUV
均值和标准差传递给
YUV
空间的彩色初始分量得到初步融合彩色图像，将初步融合彩色图像转换到
RGB
空间，获得二维点云图像和微光图像的融合伪彩图像
。
[0013]所述步骤
S2
还包括对二维点云图像的空点补全，所述空点补全的方法为：对每一个等于0的点的八邻域取值，若八邻域的值为0，则该等于0的点的值为0，若八邻域的值不为0，则对八邻域的值排序，取该序列中的中值作为该等于0的点的值
。
[0014]所述步骤
S3
中的标定点为标定板上黑白网格的交点
。
[0015]所述步骤
S3
中的标定点为
SIFT
算法确定的二维点云图像与微光图像的对应特征点
。
[0016]所述步骤
S3
中的配准方法如下：
[0017]P1
：通过平行光管，使得点云图像和微光图像中心视场的点对齐，即点云图像和微光图像共光轴；
[0018]P2
：对点云图像的视场范围进行裁剪，使得点云图像和微光图像视场范围相同
。
[0019]所述步骤
S3
中的透视变换的方法为：根据标定点以及二维点云图像与微光图像之间相对应的透视中心
、
像点和目标点，将透视面绕透视轴旋转一定角度，使得透视中心
、
像点和目标点三点共线
。
[0020]所述步骤
S3
中的透视变换的公式为：其中，
(x,y,1)
表示二维点云图像坐标系的坐标，
(x',y',1)
表示投影到微光图像坐标系的坐标，表示变换参数矩阵
。
[0021]所述步骤
S4
中的初始融合的计算公式为：其中，
Y'、U'、V'
表示初始彩色图像的
YUV
分量，表示参考图像
Y
通道的标准差，表示初始彩色图像
Y
通道的标准差，
Y
s
表示初始彩色图像
Y
通道的值，表示初始彩色图像
Y
通道的均值，表示参考图像
Y
通道的均值，表示参考图像
U
通道的标准差，表示初始彩色图像
U
通道的标准差，
U
S
表示初始彩色图像
U
通道的值，表示初始彩色图像
U
通道的均值，表示参考图像
U
通道的均值，表示参考图像
V
通道的标准差，表示初始彩色图像
V
通道的标准差，
V
s
表示初始彩色图像
V
通道的值，表示初始彩色图像
V
通道的均值，表示参考图像
V
通道的均值
。
[0022]所述初始融合还包括对初始彩色图像进行修正，具体修正公式为：
其中；
V(i,j)
表示微光图像数据点的坐标
,PC(i,j)
表示二维点云图像数据点的坐标，
Y
s
(i,j)
表示初始彩色图像
Y
通道数据点的坐标，
U
s
(i,j)
表示初始彩色图像
U
通道数据点的坐标，
V
s
(i,j)
表示初始彩色图像
V
通道数据点的坐标，
d1,e1,d2,e2,d3,e3为正有理数，且满足
d1+e1＝1，
d2,e2,d3,e3的值由...

【技术保护点】

【技术特征摘要】
1.
一种基于激光点云与微光图像融合的方法，其特征在于：包括以下步骤：
S1
：采集目标场景的点云数据与图像数据，得到三维点云图像和微光图像；
S2
：通过投影转换，将三维点云图像的数据点投影到参考平面坐标系获得投影点，根据投影点与数据点的位置关系，计算得到投影点的方位夹角
α
和俯仰夹角
β
，将方位夹角
α
和俯仰夹角
β
作为投影点在参考平面坐标系中的坐标，将数据点的反射率归一化到参考平面坐标系中作为投影点的灰度值，所有的投影点构成二维点云图像；
S3
：通过确认标定点的方式将二维点云图像与微光图像进行配准，通过透视变换，将二维点云图像叠加到微光图像坐标系，二维点云图像与微光图像组成参考图像；
S4
：将参考图像由
RGB
空间转换到
YUV
空间，在
YUV
空间通过将参考图像的
YUV
均值和标准差传递给
YUV
空间的彩色初始分量得到初步融合彩色图像，将初步融合彩色图像转换到
RGB
空间，获得二维点云图像和微光图像的融合伪彩图像
。2.
根据权利要求1所述的基于激光点云与微光图像融合的方法，其特征在于：所述步骤
S2
还包括对二维点云图像的空点补全，所述空点补全的方法为：对每一个等于0的点的八邻域取值，若八邻域的值为0，则该等于0的点的值为0，若八邻域的值不为0，则对八邻域的值排序，取该序列中的中值作为该等于0的点的值
。3.
根据权利要求1所述的基于激光点云与微光图像融合的方法，其特征在于：所述步骤
S3
中的标定点为标定板上黑白网格的交点
。4.
根据权利要求1所述的基于激光点云与微光图像融合的方法，其特征在于：所述步骤
S3
中的标定点为
SIFT
算法确定的二维点云图像与微光图像的对应特征点
。5.
根据权利要求1所述的基于激光点云与微光图像融合的方法，其特征在于：所述步骤
S3
中的配准方法如下：
P1
：通过平行光管，使得点云图像和微光图像中心视场的点对齐，即点云图像和微光图像共光轴；
P2
：对点云图像的视场范围进行裁剪，使得点云图像和微光图像视场范围相同
。6.
根据权利要求1所述的基于激光点云与微光图像融合的方法，其特征在于：所述步骤
S3
中的透视变换的方法为：根据标定点以及二维点云图像与微光图像之间相对应的透视中心
、
像点和目标点，将透视面绕透视轴旋转一定角度，使得透视中心
、
像点和目标点三点共线
。7.
根据权利要求6所述的基于激光点云与微光图像融合的方法，其特征在于：所述步骤
S3
中的透视变换的公式为：其中，
(x,y,1)
表示二维点云...

【专利技术属性】
技术研发人员：丁鑫，赵渊明，段海洋，杜静涵，王刚刚，秦刚，孟祥，谢婷婷，巴梓轩，
申请(专利权)人：中国电子科技集团公司第二十七研究所，
类型：发明
国别省市：