【技术实现步骤摘要】
一种渐进式无人机可见光热红外图像配准方法
[0001]本专利技术属于无人机图像处理
，涉及一种渐进式无人机可见光热红外图像配准方法。
技术介绍
[0002]近年来无人机产业发展迅速，无人机所具有的灵活性、便携性、稳定性、悬停能力使得其应用潜力巨大。单模态相机无人机在面对极端环境以及特定任务时表现不佳，而配备多模态类型摄像头的无人机可以弥补这一缺陷，因此多模态相机无人机在野生动物保护、应急搜救、野外停电排查等领域有着广泛的应用，具有巨大的应用价值。然而，由于多模态相机拍摄过程中的图像来自不同的投影中心，会产生透视视差，因此根据不同成像设备获取的图像需要经过配准以进一步的应用。
[0003]图像配准是计算机视觉领域的一个基本任务，它概括为在不同的条件下(如光照、天气、时间、成像角度、成像位置、成像设备等)，捕获一个场景的多个图像，图像配准要求找到一个空间变换，使得多个图像之间的对应点相互对齐，从而使图像在目标几何形状上做到匹配一致，以近似实现像素级的对应，为进一步的分析处理提供基础。图像配准的应用领域包括但不限于遥...
【技术保护点】
【技术特征摘要】
1.一种渐进式无人机可见光热红外图像配准方法，其特征在于，所述方法包括：S1、获取待配准的可见光图像I
v
和红外热图像I
t
；S2、构建多层渐进式配准网络模型，包括：特征提取网络、交叉增强网络、单应性估计网络；S3、利用特征提取网络提取可见光图像特征F
RGB
和热红外图像特征F
T
；S4、将提取到的图像特征通过交叉增强网络进行特征加强；S41、计算输入图像特征的位置编码P
x
；S42、基于自注意力机制计算多头注意力矩阵；S43、构建自结构信息增强模块，计算自结构信息增强后的可见光图像特征F
′
RGB
和热红外图像特征F
′
T
；S44、构建互结构信息增强模块，计算互结构信息增强后可见光图像特征F
″
RGB
和热红外图像特征F
″
T
；S5、将增强后的图像特征通过单应性估计网络进行单应性矩阵估计，扭曲热红外图像进行图像配准；S6、将可见光图像与配准后的热红外图像作为渐进式配准网络下一层的输入，通过渐进式配准网络多次配准，获得与可见光图像对齐的热红外图像；S7、计算角点误差，根据角点误差更新模型权重参数。2.根据权利要求1所述的一种渐进式无人机可见光热红外图像配准方法，其特征在于，S3中所述特征提取网络包括：深层特征提取网络、中层特征提取网络、浅层特征提取网络；所述深层特征提取网络位于多层渐进式配准网络模型的初期，用于提取图像的深层特征，中层特征提取网络位于多层渐进式配准网络模型的中期，用于提取图像的中层特征，浅层特征提取网络位于多层渐进式配准网络模型的后期，用于提取图像的浅层特征。3.根据权利要求1所述的一种渐进式无人机可见光热红外图像配准方法，其特征在于，S42中所述计算多头注意力矩阵的方法如下：计算点积注意力Attention(Q，K，V)如下式：其中，Q、K、V分别表示点积注意力的Queue、Key、Value矩阵，d
k
为Q、K矩阵的维度；计算每个注意力头head
i
如下式：head
i
＝Attention(QW
iQ
，KW
iK
，VW
iV
)其中，W
iQ
、W
iK
、W
iV
为可训练的参数，表示第i个注意力头对应用于得到Q、K、V的矩阵；计算多头注意力矩阵MultiHead(Q，K，V)如下式：MultiHead(Q，K，V)＝Concat(head1，...，head
n
)W
O
其中，W
O
表示可训练的权重矩阵，用于将多头注意力结果进行加权。4.根据权利要求3所述的一种渐进式无人机可见光热红外图像配准方法，其特征在于，S43中所述构建自结构信息增强模块，计算自结构信息增强后的可见光图像特征F
′
RGB
和热红外图像特征F
′
T
的方法如下：针对可见光图像和热红外图像分别计算其自结构增强特征信息，所述自结构增强特征
信息X
self
如下式：X
self
＝X+MultiHead(X+P
x
，X+P
x
【专利技术属性】
技术研发人员：肖云，刘飞，夏伟杰，李成龙，汤进，
申请(专利权)人：安徽大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。