本发明专利技术公开了一种用于武器站的多源图像配准融合方法、装置及计算机，该方法包括：获取红外与可见光图像；判断累计帧数是否达到阈值，如果小于阈值，利用基于深度学习的图像特征提取技术提取可见光与红外图像的特征点，计算图像对的变换矩阵参数，对红外图像进行变换，并与可见光图像融合，计算多源融合图像的梯度值，动态判定图像融合质量，取得图像质量最好的变换参数，至此确定图像变换矩阵；如果累计帧数大于阈值，则直接采用确定的变换矩阵，完成图像配准与融合；通过动态评估图像质量与基于深度学习技术的图像特征提取配准相结合，使武器站观瞄系统受到攻击发生一定偏移时或在复杂的战场环境，有效实现多源图像融合，可精准的捕捉目标。可精准的捕捉目标。可精准的捕捉目标。
【技术实现步骤摘要】
一种用于武器站的多源图像配准融合方法、装置及计算机
[0001]本专利技术属于图像配准融合
，特别涉及一种用于武器站的多源图像配准融合方法、装置及计算机。
技术介绍
[0002]在当前的武器站中，遥控武器站成为了一种发展趋势，世界各国遥控武器站主要分为人工操作、半自主与全自主三种，不管是人工操作，还是自动操作，当对目标进行搜索和检测时，都需要有效的捕捉目标的动态信息，以便对目标进行有效打击。然而我国疆域辽阔，有着世界上复杂的地形地貌，对武器站的要求会更高，要做到“看得更清，打得更准”。现阶段大部分武器站配备先进的观瞄系统，通常有红外摄像机、昼用摄像机及激光测距仪等先进仪器，然而，当观瞄系统受到攻击发生一定偏移时或在复杂的战场环境，获取的目标图像会变得不清晰，进而无法精准的捕捉目标。
[0003]因此，如何使武器站的观瞄系统能够精准的捕捉目标，并且不漏目标，已成为本领域技术人员亟需解决的技术问题。
技术实现思路
[0004]鉴于上述不足，本专利技术提供一种至少解决上述部分技术问题的用于武器站的多源图像配准融合方法、装置及计算机，通过使用基于深度学习的图像配准技术，实现对多源图像的配准，通过对图像质量评估，确定清晰度高的融合图像，可以使武器站的操作者以及目标探测单元更好的观察、搜索及目标检测。
[0005]为实现上述目的，本专利技术采用如下技术方案：
[0006]第一方面，本专利技术实施例提供一种用于武器站的多源图像配准融合方法，该方法包括：
[0007]基于武器站的观瞄系统获取目标区域的红外图像与可见光图像；
[0008]将所述红外图像和所述可见光图像的累计帧数与预设阈值比较；
[0009]当所述累计帧数小于所述预设阈值时，利用基于深度学习的图像特征提取网络模型提取匹配所述红外图像与所述可见光图像的特征点，根据所述特征点计算所述红外图像与所述可见光图像的变换矩阵参数；
[0010]根据所述变换矩阵参数对所述红外图像进行变换，并将变换后的红外图像与所述可见光图像进行融合，生成多源融合图像；
[0011]计算所述多源融合图像的梯度值，动态判定图像融合质量，获取所述多源融合图像中质量最好的变换矩阵参数作为配准参数，基于所述配准参数确定图像变换矩阵H；
[0012]基于所述变换矩阵H，完成所述红外图像与所述可见光图像的的配准融合。
[0013]进一步地，该方法还包括：
[0014]当所述累计帧数大于或等于所述预设阈值时，直接使用图像梯度值最大时对应的变换矩阵，对所述红外图像进行变换；
[0015]将变换后的红外图像与所述可见光图像进行融合，完成图像的配准融合。
[0016]进一步地，所述图像融合质量不满足预设条件时，返回重新获取所述红外图像与所述可见光图像。
[0017]进一步地，所述将变换后的红外图像与所述可见光图像进行融合，所述融合方法采用线性融合，其计算式为：f
fusion
＝α*f0+β*f1+λ，式中f0表示红外图像，f1表示可见光图像，β＝1
‑
α，λ＝0，α＝0.4。
[0018]进一步地，所述深度学习的图像特征提取网络模型包括：卷积模块、位置编码模块和多头注意力机制模块；
[0019]所述利用基于深度学习的图像特征提取网络模型提取匹配所述红外图像与所述可见光图像的特征点，具体包括：
[0020]①
：所述红外图像与所述可见光图像经过卷积块完成初步的特征提取，所述卷积块由一个卷积层、一个批归一化层和一个激活层组成；处理所述可见光图像的卷积块数量为N，处理所述红外图像的卷积块数量为2N，其中，N＝3；分别在第2个卷积块时输出浅层特征图；所述卷积层的卷积核大小为3，步长stride＝2；
[0021]②
：计算位置编码，其中：
[0022]首先，构建位置数组p＝[0,1,2,
…
,L]，L＝h*w*c，h为特征图的高，w为特征图的宽，c为特征图的通道数；
[0023]其次，将数组p进行归一化，计算式为p＝(p/w)*2
‑
1，归一化后的位置数组范围为[
‑
1,1]；
[0024]最后，将所述位置数组与所述卷积块的输出特征逐点相加；
[0025]③
：计算注意力，输出张量维度，其中：
[0026]所述多头注意力机制模块中注意力头数量为M，在计算注意力时M依次取值2，4，8，所述多头注意力机制模块顺序执行三次；最终输出张量维度[n,3,fh,fw]；所述张量维度[n,3,fh,fw]中fh表示输出特征图高，fw表示输出特征图宽，数字3表示每个网格中对应3个值，分别是conf,x,y；conf表示匹配到的特征点的置信度，x表示特征点相对于原始图像尺寸的x坐标，y表示特征点相对于原始图像尺寸的y坐标。
[0027]第二方面，本专利技术实施例提供一种用于武器站的多源图像配准融合装置，使用上述的用于武器站的多源图像配准融合方法，进行多源图像配准融合。
[0028]该装置包括图像采集模块、图像处理模块和图像显示模块，其中：
[0029]所述图像采集模块，用于基于武器站的观瞄系统获取目标区域的红外图像与可见光图像；
[0030]所述图像处理模块，用于对所述图像数据进行特征点提取及匹配，通过特征点计算出变换矩阵H，根据所述变换矩阵H完成红外图像与可见光图像配准，最终根据图像融合算法完成图像融合；
[0031]所述图像显示模块，用于对融合后的图像进行显示，供武器站操作人员观察目标。
[0032]第三方面，本专利技术实施例还提供一种用于武器站的多源图像配准融合计算机，包括：处理器和存储器，其中：
[0033]所述存储器中存储一个或多个计算机程序，所述处理器执行所述计算机程序，发出用于武器站的多源图像配准融合方法的指令。
[0034]与现有技术相比，本专利技术的有益效果至少包括：
[0035]本专利技术通过使用基于深度学习的图像配准技术，实现对多源图像的配准，通过对图像质量评估，得到清晰度高的融合图像；即使当武器站的观瞄系统受到攻击发生一定偏移时或在复杂的战场环境，也可以精准的捕捉目标，并且不漏目标。
[0036]本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0037]下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
附图说明
[0038]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：
[0039]图1为本专利技术实施例提供的用于武器站的多源图像配准融合方法流程图；
[0040]图2为本专利技术实施例提供的多源图像特征提取与匹配本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于武器站的多源图像配准融合方法，其特征在于，包括：基于武器站的观瞄系统获取目标区域的红外图像与可见光图像；将所述红外图像和所述可见光图像的累计帧数与预设阈值比较；当所述累计帧数小于所述预设阈值时，利用基于深度学习的图像特征提取网络模型提取匹配所述红外图像与所述可见光图像的特征点，根据所述特征点计算所述红外图像与所述可见光图像的变换矩阵参数；根据所述变换矩阵参数对所述红外图像进行变换，并将变换后的红外图像与所述可见光图像进行融合，生成多源融合图像；计算所述多源融合图像的梯度值，动态判定图像融合质量，获取所述多源融合图像中质量最好的变换矩阵参数作为配准参数，基于所述配准参数确定图像变换矩阵H；基于所述变换矩阵H，完成所述红外图像与所述可见光图像的的配准融合。2.如权利要求1所述的一种用于武器站的多源图像配准融合方法，其特征在于，该方法还包括：当所述累计帧数大于或等于所述预设阈值时，直接使用图像梯度值最大时对应的变换矩阵，对所述红外图像进行变换；将变换后的红外图像与所述可见光图像进行融合，完成图像的配准融合。3.如权利要求1所述的一种用于武器站的多源图像配准融合方法，其特征在于，所述图像融合质量不满足预设条件时，返回重新获取所述红外图像与所述可见光图像。4.如权利要求1或2所述的一种用于武器站的多源图像配准融合方法，其特征在于，所述将变换后的红外图像与所述可见光图像进行融合，所述融合方法采用线性融合，其计算式为：f
fusion
＝α*f0+β*f1+λ，式中f0表示红外图像，f1表示可见光图像，β＝1
‑
α，λ＝0，α＝0.4。5.如权利要求1所述的一种用于武器站的多源图像配准融合方法，其特征在于，所述深度学习的图像特征提取网络模型包括：卷积模块、位置编码模块和多头注意力机制模块；所述利用基于深度学习的图像特征提取网络模型提取匹配所述红外图像与所述可见光图像的特征点，具体包括：
①
：所述红外图像与所述可见光图像经过卷积块完成初步的特征提取，所述卷积块由一个卷积层、一个批归一化层和一个激活层组成；处理所述可见光图像的卷积块数量为N，处...
【专利技术属性】
技术研发人员：黄丹，沈平生，罗华军，禹霁阳，张顺利，
申请(专利权)人：重庆高新区飞马创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。