基于多光谱图像重建的多光谱点云生成方法技术

基于多光谱图像重建的多光谱点云生成方法

【技术实现步骤摘要】
基于多光谱图像重建的多光谱点云生成方法、存储介质及设备


[0001]本专利技术属于多光谱图像三维重建
，具体涉及一种多光谱点云生成方法
、
存储介质及设备
。

技术介绍

[0002]随着三维重建技术的不断发展，利用无人机采集
RGB
图像进行三维重建成为了一种获取城市
、
森林等三维场景信息的热点技术
。
多光谱传感器可以获取场景的多光谱图像，包含了观测场景更丰富的光谱信息，对农业
、
林业等应用具有更高的价值
。
现有的基于图像的三维重建方法都是为光学
RGB
图像所设计，没有考虑多光谱图像的特点，直接应用于多光谱图像时，具有光谱信息利用不充分
、
重建精度低
、
效率低等问题
。

技术实现思路

[0003]本专利技术为了解决现有技术中光谱信息利用不充分，重建精度低，效率低的问题
。
[0004]一种基于多光谱图像重建的多光谱点云生成方法，包括以下步骤：
[0005]步骤
1、
根据多光谱相机及多光谱图像采集参数，对多光谱图像进行辐射校正与波段对齐；对多光谱图像重叠区域进行裁切，将多个单波段图像叠加合成波段对齐的多光谱图像；
[0006]步骤
2、
采用图像增强与
SIFT
特征算子结合的方式得到逐波段特征，在所有波段特征提取完成后，采用如下方法进行多光谱特征的融合：
[0007]对于任意一张多光谱图像，遍历图像中每一个像素的位置，如果该像素位置仅存在一个多光谱特征，则保留该特征作为融合多光谱特征；如果该像素内存在多个多光谱特征，则对这些特征进行筛选，保留特征幅值最大的特征作为多光谱融合特征；
[0008]步骤
3、
基于步骤1得到的多光谱图像，计算多光谱图像
NDVI
值并生成
NDVI
掩膜；通过
NDVI
掩膜对步骤2融合的多光谱特征进行匹配与几何验证；
[0009]步骤
4、
根据步骤3得到的特征匹配对，建立图像集中多光谱图像的匹配关系，并使用运动结构恢复方法计算图像相对位姿信息，使用多视角几何匹配技术计算图像深度值，对多光谱值进行投影，生成多光谱点云
。
[0010]进一步地，步骤1中的辐射校正的过程包括以下步骤：
[0011]根据多光谱传感器成像原理，对于瞬时采集的多光谱图像，得到辐射校正数学模型如下：
[0012]L
＝
g
·
V(x,y)
·
R(y)
[0013]其中，
L
为多光谱图像的辐射校正模型，
g
为传感器增益系数；
V(x,y)
为去除传感器透镜导致的边缘减光效应，
R(y)
为行梯度校正因子；
[0014]去除传感器透镜导致的边缘减光效应
V(x,y)
如下：
[0015][0016]k
＝
1+k0r+k1r2+k2r3+k3r4+k4r5+k5r6[0017][0018]其中，
k
为晕影校正因子，
k
α
为从传感器读取得到的校正多项式系数，
α
＝
0,1,...5
，
(c
x
,c
y
)
为传感器晕影校正中心；
[0019]行梯度校正因子
R(y)
如下：
[0020][0021]其中，
I(x,y)
为图像中像素
(x,y)
的原始强度值，
I
BL
为图像的黑电平值，
t
e
为多光谱图像的曝光时间，
a1,a2为辐射校正系数
。
[0022]进一步地，步骤1中的波段对齐的过程包括以下步骤：
[0023]S1.2.1、
对逐波段图像进行几何畸变校正：
[0024]x'
＝
x(1+j1r2+j2r4+j3r6)
[0025]y'
＝
y(1+j1r2+j2r4+j3r6)
[0026]其中，
(x',y')
代表了校正后的像素位置，
j
β
为镜头畸变校正系数，
β
＝
1,2,3
；
[0027]S1.2.2、
使用传感器镜头结构参数对各波段图像进行几何配准变换：
[0028]基于镜头间位置差异及欧拉角，通过下式将欧拉角转换为旋转矩阵：
[0029][0030][0031][0032][0033]其中，为镜头间的三个欧拉角；
[0034]通过计算镜头间旋转矩阵，可对各波段图像进行几何变换，使得多镜头采集的各图像配准对齐
。
[0035]进一步地，采用图像增强与
SIFT
特征算子结合的方式得到的逐波段特征如下：
[0036][0037][0038]其中，
I
k
为步骤一得到的多光谱图像的第
k
个波段，
CLAHE(
·
)
表示自适应直方图
均衡化
CLAHE
算法处理，为图像增强后的结果，
F
k
为第
k
个波段提取的特征
。
[0039]进一步地，基于步骤1得到的多光谱图像计算多光谱图像
NDVI
值并生成
NDVI
掩膜的过程包括以下步骤：
[0040]基于步骤1得到的多光谱图像，按照下式计算得到多光谱图像的
NDVI
值，并生成
NDVI
掩膜：
[0041][0042][0043]其中，
I
NDVI
代表多光谱图像的
NDVI
值，
I
NIR
为多光谱图像的近红外波段，
I
R
为多光谱图像的红色波段值；
Mask
V
为
NDVI
掩膜，植被区域部分值为1，非植被区域值为
0。
[0044]进一步地，通过
NDVI
掩膜对步骤2融合的多光谱特征进行匹配与几何验证的过程包括以下步骤：
[0045]根据
NDVI
掩膜及融合多光谱特征的位置，将融合多光谱特征分为植被区域的
F
V
和非植被区域
F
NV
，对于这两种特征，分别使用最近邻算法进行匹配，在特征匹配过程中，参考图像中的植被区域特征
F本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多光谱图像重建的多光谱点云生成方法，其特征在于，包括以下步骤：步骤
1、
根据多光谱相机及多光谱图像采集参数，对多光谱图像进行辐射校正与波段对齐；对多光谱图像重叠区域进行裁切，将多个单波段图像叠加合成波段对齐的多光谱图像；步骤
2、
采用图像增强与
SIFT
特征算子结合的方式得到逐波段特征，在所有波段特征提取完成后，采用如下方法进行多光谱特征的融合：对于任意一张多光谱图像，遍历图像中每一个像素的位置，如果该像素位置仅存在一个多光谱特征，则保留该特征作为融合多光谱特征；如果该像素内存在多个多光谱特征，则对这些特征进行筛选，保留特征幅值最大的特征作为多光谱融合特征；步骤
3、
基于步骤1得到的多光谱图像，计算多光谱图像
NDVI
值并生成
NDVI
掩膜；通过
NDVI
掩膜对步骤2融合的多光谱特征进行匹配与几何验证；步骤
4、
根据步骤3得到的特征匹配对，建立图像集中多光谱图像的匹配关系，并使用运动结构恢复方法计算图像相对位姿信息，使用多视角几何匹配技术计算图像深度值，对多光谱值进行投影，生成多光谱点云
。2.
根据权利要求1所述的一种基于多光谱图像重建的多光谱点云生成方法，其特征在于，步骤1中的辐射校正的过程包括以下步骤：根据多光谱传感器成像原理，对于瞬时采集的多光谱图像，得到辐射校正数学模型如下：
L
＝
g
·
V(x,y)
·
R(y)
其中，
L
为多光谱图像的辐射校正模型，
g
为传感器增益系数；
V(x,y)
为去除传感器透镜导致的边缘减光效应，
R(y)
为行梯度校正因子；去除传感器透镜导致的边缘减光效应
V(x,y)
如下：
k
＝
1+k0r+k1r2+k2r3+k3r4+k4r5+k5r6其中，
k
为晕影校正因子，
k
α
为从传感器读取得到的校正多项式系数，
α
＝
0,1,...5
，
(c
x
,c
y
)
为传感器晕影校正中心；行梯度校正因子
R(y)
如下：其中，
I(x,y)
为图像中像素
(x,y)
的原始强度值，
I
BL
为图像的黑电平值，
t
e
为多光谱图像的曝光时间，
a1,a2为辐射校正系数
。3.
根据权利要求2所述的一种基于多光谱图像重建的多光谱点云生成方法，其特征在于，步骤1中的波段对齐的过程包括以下步骤：
S1.2.1、
对逐波段图像进行几何畸变校正：
x'
＝
x(1+j1r2+j2r4+j3r6)y'
＝
y(1+j1r2+j2r4+j3r6)
其中，
(x',y')
代表了校正后的像素位置，
j
β
为镜头畸变校正系数，
β
＝
1,2,3
；
S1.2.2、
使用传感器镜头结构参数对各波段图像进行几何配准变换：基于镜头间位置差异及欧拉角，通过下式将欧拉角转换为旋转矩阵：基于镜头间位置差异及欧拉角，通过下式将欧拉角转换为旋转矩阵：基于镜头间位置差异及欧拉角，通过下式将欧拉角转换为旋转矩阵：基于镜头间位置差异及欧拉角，通过下式将欧拉角转换为旋转矩阵：其中，为镜头间的三个欧拉角；通过计算镜头间旋转矩阵，可对各波段图像进行几何变换，使得多镜头采集的各图像配准对齐
。4.
根据权利要求1至3任意一项所述的一种基于多光谱图像重建的多光谱点云生成方法，其特征在于，采用图像增强与
SIFT
特征算子结合的方式得到的逐波段特征如下：特征算子结合的方式得到的逐波段特征如下：其中，
I
k
为步骤一得到的多光谱图像的第
k
...

【专利技术属性】
技术研发人员：谷延锋，王晨，李贤，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：