一种跨光谱图像的特征点匹配方法组成比例

本发明专利技术涉及一种跨光谱图像的特征点匹配方法，包括：将经过标定对齐的跨光谱图像对输入到对抗生成网络模型中进行训练，得到模态转换模型；将单模态的非可见光图像输入由卷积神经网络与图神经网络组成的关键点提取与匹配模型中进行训练，得到匹配模型；将待匹配图像对输入模态转换模型与匹配模型，从待匹配图像对中提取出关键点及特征描述子、并进行匹配，获得图像间关键点的匹配关系；再利用随机抽样一致算法剔除离群值，得到置信度大于预设阈值的图像间匹配关系。与现有技术相比，本发明专利技术能够对模态差异较大的跨光谱图像进行可靠的特征点提取和匹配处理，从而获得丰富而稳定的场景信息、提高无人驾驶车辆在低光照场景下的感知能力。知能力。知能力。

【技术实现步骤摘要】
一种跨光谱图像的特征点匹配方法


[0001]本专利技术涉及智能无人驾驶
，尤其是涉及一种跨光谱图像的特征点匹配方法。

技术介绍

[0002]低光照场景下的环境感知是无人驾驶汽车的技术难点，由于光照条件差，通过摄像头采集到的图像对比度低，环境信息丢失严重，使得众多下游感知任务(比如车道线检测、目标识别等)的精度下降，造成了车辆在夜间及其他低光照场景下的感知能力较弱的问题。
[0003]非可见光图像，例如红外图像(波长范围：780nm～1mm)由于捕获了由物体自身分子内能产生的热辐射的相对强度信息，因此，其成像质量与光照条件相关性更低，在低光照的场景下依然能够得到稳定的感知信息。但非可见光图像存在纹理信息不及可见光图像丰富的缺点，若将可见光图像与红外图像进行融合，则能够获得丰富而稳定的场景信息，从而提高车辆在低光照场景下的感知能力。
[0004]然而，受制于制造与装配精度，通过标定配准的可见光图像与红外图像，在运动环境下，由于相机的抖动与位移，会产生配准误差，进而影响图像融合的质量。因此，如何修正配准误差是当前搭建多光谱传感器平台所必须考虑的问题。
[0005]此外，除了图像融合外，图像匹配过程中获得的相对相机位姿是鲁棒感知系统前端的一个重要组成部分，对于诸多下游任务(比如SLAM、目标检测、语义分割等)而言是不可或缺的。因此，研究跨光谱图像匹配是开展下游感知任务研究工作的必要前提。
[0006]现有的跨光谱图像配准研究的思路包括：提取图像在不同光谱下共享的特征，如物体边缘作为依据进行匹配；针对图像强度梯度方向性不一致的问题设计算法，基于相位一致性假设引入频率信息进行匹配等。以上研究通常采用手工设计的算法，对光照条件剧烈变化(如出入隧道口)以及亮度不足(如夜晚场景)等任务场景，由于模态信息差异大、信息丢失的原因，并不能准确地捕捉图像中的对应特征，从而无法进行精确地配准。

技术实现思路

[0007]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种跨光谱图像的特征点匹配方法，能够对模态差异较大的跨光谱图像(可见光图像和非可见光图像)进行可靠的特征点提取和匹配处理，从而获得丰富而稳定的场景信息、提高无人驾驶车辆在低光照场景下的感知能力。
[0008]本专利技术的目的可以通过以下技术方案来实现：一种跨光谱图像的特征点匹配方法，包括以下步骤：
[0009]S1、将经过标定对齐的跨光谱图像对输入到对抗生成网络模型中，通过离线训练，得到训练好的模态转换模型，所述模态转换模型的输入为可见光图像、输出为对应的伪非可见光图像；
[0010]S2、将单模态的非可见光图像输入由卷积神经网络与图神经网络组成的关键点提取与匹配模型中进行训练，得到训练好的匹配模型；
[0011]S3、将待匹配图像对输入模态转换模型与匹配模型，从待匹配图像对中提取出关键点及特征描述子、并进行匹配，获得图像间关键点的匹配关系；
[0012]再利用随机抽样一致算法剔除离群值，得到置信度大于预设阈值的图像间匹配关系。
[0013]进一步地，所述步骤S1中跨光谱图像对具体为不同场景及光照条件下的可见光与非可见光图像对。
[0014]进一步地，所述步骤S1中对抗生成网络模型包括生成器和判别器，所述生成器结构为U
‑
Net，用于将输入图像通过编码
‑
解码形式生成为不同光谱下的伪图像；
[0015]所述判别器结构采用全卷积网络结构，用于推断输入图像中各个子图像块为真实图像的概率，再计算平均值作为图像整体的真实性概率；
[0016]其中，所述生成器生成的图像标签为0、真实的图像标签为1，在训练过程中交替训练生成器与判别器，使得两者相互博弈，最终得到的生成器模型能够将输入的可见光图像转换为逼真的伪非可见光图像。
[0017]进一步地，所述对抗生成网络模型训练时采用的损失函数包括GAN(生成对抗)损失项及边缘损失项，具体为：
[0018][0019][0020][0021]其中，为GAN损失，D(
·
)为判别器，G(
·
)为生成器，E(
·
)为期望，x为输入图像对中的可见光图像，y为图像对中的非可见光图像，即转换目标，z为随机噪声，由此，训练生成器时最小化GAN损失项，使其能够生成足以欺骗判别器的逼真图像，而训练判别器时最大化GAN损失项，则能提高其从数据中区分伪生成数据的能力；
[0022]为边缘损失，λ1为相应权重，边缘损失用于减少所生成的伪图像与真值图像间边缘特征差异，Sobel(
·
)包括sobel梯度算子，用于计算输入图像强度在x、y方向差分的平方和，使用的是smooth
‑
L1损失形式。
[0023]进一步地，所述步骤S2中关键点提取与匹配模型包括特征提取网络与特征匹配网络。
[0024]进一步地，所述特征提取网络由三部分组成：全卷积网络骨干用于图像特征提取；
[0025]卷积关键点检测头用于根据特征张量推断关键点在各像素位置出现的置信度、并利用Top
‑
K排序截取置信度较高的位置作为关键点；
[0026]卷积描述子预测头用于根据特征张量推断各个位置的描述子向量。
[0027]进一步地，所述特征匹配网络具体是将图注意网络与最优传输层相结合，首先将特征提取网络输出的关键点位置及描述子作为图中的节点，利用神经网络学习特征向量至
注意力参数(key，query，value)的映射关系：线性变换矩阵W，偏置向量b；
[0028]之后采用注意力加权求和的方式进行图像对间关键点信息的交互，得到匹配分数矩阵；
[0029]再利用Sinkhorn算法对匹配分数矩阵进行优化，以满足分配约束，得到最终的匹配关系。
[0030]进一步地，所述特征提取网络的参数采用监督学习的方式进行训练，损失函数为：
[0031][0032][0033][0034]l
d
(d，d
′
；s)＝λ
d
*s*max(0，m
p
‑
d
T
d
′
)+(1
‑
s)*max(0，d
T
d'
‑
m
n
)
[0035][0036]其中，Y分别为输入图像、描述子向量及关键点位置真值，(
·
)
′
表示经过单应变换后的量，为关键点损失，用于监督网络准确预测图像中关键点的位置及置信度，特征提取网络将大小为(H,W,3)的图像映射为尺寸为(H/8,W/8,65)的特征张量由H/8*W/8个长度为65的向量组成，向量的前64位分别为原图相应位置的64个像素为关键点的概率值，最后一位表示原图该区域并无关键点的概率值，x
hw
∈R
65
,y
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨光谱图像的特征点匹配方法，其特征在于，包括以下步骤：S1、将经过标定对齐的跨光谱图像对输入到对抗生成网络模型中，通过离线训练，得到训练好的模态转换模型，所述模态转换模型的输入为可见光图像、输出为对应的伪非可见光图像；S2、将单模态的非可见光图像输入由卷积神经网络与图神经网络组成的关键点提取与匹配模型中进行训练，得到训练好的匹配模型；S3、将待匹配图像对输入模态转换模型与匹配模型，从待匹配图像对中提取出关键点及特征描述子、并进行匹配，获得图像间关键点的匹配关系；再利用随机抽样一致算法剔除离群值，得到置信度大于预设阈值的图像间匹配关系。2.根据权利要求1所述的一种跨光谱图像的特征点匹配方法，其特征在于，所述步骤S1中跨光谱图像对具体为不同场景及光照条件下的可见光与非可见光图像对。3.根据权利要求1所述的一种跨光谱图像的特征点匹配方法，其特征在于，所述步骤S1中对抗生成网络模型包括生成器和判别器，所述生成器结构为U
‑
Net，用于将输入图像通过编码
‑
解码形式生成为不同光谱下的伪图像；所述判别器结构采用全卷积网络结构，用于推断输入图像中各个子图像块为真实图像的概率，再计算平均值作为图像整体的真实性概率；其中，所述生成器生成的图像标签为0、真实的图像标签为1，在训练过程中交替训练生成器与判别器，使得两者相互博弈，最终得到的生成器模型能够将输入的可见光图像转换为逼真的伪非可见光图像。4.根据权利要求3所述的一种跨光谱图像的特征点匹配方法，其特征在于，所述对抗生成网络模型训练时采用的损失函数包括GAN(生成对抗)损失项及边缘损失项，具体为：成网络模型训练时采用的损失函数包括GAN(生成对抗)损失项及边缘损失项，具体为：成网络模型训练时采用的损失函数包括GAN(生成对抗)损失项及边缘损失项，具体为：其中，为GAN损失，D(
·
)为判别器，G(
·
)为生成器，E(
·
)为期望，x为输入图像对中的可见光图像，y为图像对中的非可见光图像，即转换目标，z为随机噪声，由此，训练生成器时最小化GAN损失项，使其能够生成足以欺骗判别器的逼真图像，而训练判别器时最大化GAN损失项，则能提高其从数据中区分伪生成数据的能力；为边缘损失，λ1为相应权重，边缘损失用于减少所生成的伪图像与真值图像间边缘特征差异，Sobel(
·
)包括sobel梯度算子，用于计算输入图像强度在x、y方向差分的平方和，使用的是smooth
‑
L1损失形式。5.根据权利要求1所述的一种跨光谱图像的特征点匹配方法，其特征在于，所述步骤S2中关键点提取与匹配模型包括特征提取网络与特征匹配网络。6.根据权利要求5所述的一种跨光谱图像的特征点匹配方法，其特征在于，所述特征提取网络由三部分组成：全卷积网络骨干用于图像特征提取；
卷积关键点检测头用于根据特征张量推断关键点在各像素位置出现的置信度、并利用Top
‑
K排序截取置信度较高的位置作为关键点；卷积描述子预测头用于根据特征张量推断各个位置的描述子向量。7.根据权利要求6所述的一种跨光谱图像的特征点匹配方法，其特征在于，所述特征匹配网络具体是将图注意网络与最优传输层相结合，首先将特征提取网络输出的关键点位置及描述子作为图中的节点，利用神经网络学习特征向量至注意力参数(key，query，value)的映射关系：线性变换矩阵W，偏置向量b；之后采用注意力加权求和的方式进行图像对间关键点信息的交互，得到匹配分数矩阵；再利用Sinkhorn算法对匹配分数矩阵进行优化，以满足分配约束，得到最终的匹配关系。8.根据权利要求6所述的一种跨光谱图像的特征点匹配方法，其特征在于，所述特征提取网络的参数采用监督学习的方式进行训练，损失函数为：取网络的参数采用监督学习的方式进行训练，损失函数为：取网络的参数采用监督学习的方式进行训练，损失函数为：l
d
(d,d
′
；s)＝λ
d
*s*max(0,m
p
‑
d
T
d
′
)+(1
‑
s)*max(0,d
T
d
′‑
m
n
)其中，Y分别为输入图像、描述子向量及关键点位置真值，(
·
)
′
表示经过单应变换后的量，为关键点损失，用于监督网络准确预测图像中关键点的位置及置信度，特征提取网络将大小为(H,W,3)的图像映射为尺寸为(H/8,W/8,65)的特征张量由H/8*W/8个长度为65的向量组成，向量的前64位分别为原图相应位置的64个像素为关键点的概率值，最后一位表示原图该区域并无关键点的概率值，x
hw
∈R
65
,y
hw
∈[0,64]分别为特征张量在坐标为(h,w)处的切片向量及关键点位置的索引真值，即表示关键点在64个像素中位于哪个像素，H
c
、W
c
分别为图像的长、宽，x
hwy
∈R表示坐标(h,w)处的特征向量在索引真值y
hw
处的值；为描述子损失，采用Hinge Loss拉开正负例描述子向量的差异，并监督其在不同单应变...

【专利技术属性】
技术研发人员：田炜，叶罗鑫，
申请(专利权)人：同济大学，
类型：发明
国别省市：