一种基于多尺度深度单应性的红外图像拼接方法技术

本发明专利技术属于图像拼接技术领域，尤其为一种基于多尺度深度单应性的红外图像拼接方法，包括如下步骤：步骤1，构建网络模型：整个红外图像拼接网络包括红外图像对齐模块和红外图像拼接模块；步骤2，准备数据集：选择KAIST数据集，调整数据集中每个图像的尺寸，固定输入图像的大小；步骤3，训练网络模型。同时选择最优评估指标来衡量算法的精度，评估系统的性能。本发明专利技术提出的红外图像对齐模块是由四个卷积块组成的三层特征金字塔，通过对输入图像进行处理，利用金字塔中各层提取的特征估计单应性，并将上层估计的单应性传递给下层，逐步提高了特征点对齐精度，提高了网络特征提取能力。力。力。

【技术实现步骤摘要】
一种基于多尺度深度单应性的红外图像拼接方法


[0001]本专利技术属于图像拼接
，具体涉及一种基于多尺度深度单应性的红外图像拼接方法。

技术介绍

[0002]红外图像拼接已广泛应用于生物、医疗、监控视频、自动驾驶、虚拟现实、等不同领域。现有方法利用估计的变形函数将两幅红外图像的重叠区域的特征点进行变形，单应性是最常用的变形函数。但是当相机运动模型不仅包括位移，还有旋转以及缩放的自由度，特别是当被拍摄的场景与相机的距离很近的情况下，被拍摄场景的不同深度的表面或是同一深度下的不同方向的平面，此时基于全局或局部单应性估计的方法不能完全解决这一问题，并且会受到视差的影响。在这些情况下，会出现“视差问题”，并导致拼接效果不好，如拼接图像中的重影、伪影。
[0003]中国专利公开号为“CN115035281A”，名称为“一种快速的红外全景图像拼接方法”，该方法首先对原始图像进行图像预处理操作；再使用ROI算法对处理后的图像进行区域选定；采用SIFT算法对选定区域的红外图像进行特征点提取；接下来采用RANSAC算法筛选出正确特征匹配对；然后基于特征匹配后的红外图像，采用自适应相似度算法对待拼接红外图像进行相似度计算，确定红外图像的拼接顺序；最后采用加权图像融合算法对图像进行融合实现对红外全景图像的拼接。该方法特征提取能力低，得到的红外拼接图像存在重影、伪影，不符合人眼视觉效果，同时计算复杂度较高且效率低下。

技术实现思路

[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了一种基于多尺度深度单应性的红外图像拼接方法，解决了红外图像拼接方法得到的图像中有重影、伪影、不自然等问题。
[0006](二)技术方案
[0007]本专利技术为了实现上述目的具体采用以下技术方案：
[0008]一种基于多尺度深度单应性的红外图像拼接方法，包括如下步骤：
[0009]步骤1，构建网络模型：整个红外图像拼接网络包括红外图像对齐模块和红外图像拼接模块；
[0010]步骤2，准备数据集：选择KAIST数据集，调整数据集中每个图像的尺寸，固定输入图像的大小；
[0011]步骤3，训练网络模型：将步骤2中准备好的数据集输入到步骤1中构建好的网络模型中进行训练；
[0012]步骤4，选择最小化损失函数和最优评估指标：通过最小化网络输出图像与标签的损失函数，直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成，保存模型参数。同时选择最优评估指标来衡量算法的精度，评估系统的性
能；
[0013]步骤5，微调模型：用LTIR数据集对模型进行训练和微调，得到稳定可用的模型参数，最终使得模型对红外图像拼接的效果更好；
[0014]步骤6，保存模型：将最终确定的模型参数进行固化，之后需要进行红外图像拼接操作时，直接将图像输入到网络中即可得到最终的拼接图像。
[0015]进一步，所述步骤1中红外图像对齐模块由四个卷积块组成，其中每个卷积块由跳跃连接、卷积层、归一化层、激活函数和最大池化层组成；卷积块一对输入图像进行初级特征提取，卷积块二、卷积块三、卷积块四形成三层特征金字塔，利用金字塔中各层的卷积块对图像中高级特征进行提取并估计单应性；红外图像拼接模块由七个卷积模块组成，其中卷积块五由跳跃连接、卷积层、归一化层、激活函数组成，卷积块六、卷积块七、卷积块八由跳跃连接、卷积层、归一化层、激活函数和最大池化层组成，负责下采样，卷积块九、卷积块十、卷积块十一由跳跃连接、卷积层、归一化层、激活函数和反卷积层组成，负责上采样。最后得到的特征图的大小与输入图像大小保持一致。
[0016]进一步，所述步骤4中在训练过程中损失函数选择使用边缘损失和内容损失的组合；损失函数的选择影响着模型的好坏，能够真实地体现出预测值与真值差异，并且能够正确地反馈模型的质量；得到的红外拼接图像具有更自然的拼接效果，更符合人眼视觉观察。
[0017]在训练过程中合适的评估指标选择均方根误差、峰值信噪比和结构相似性，能够有效地评估红外图像拼接算法结果的质量和红外拼接图像失真程度，衡量拼接网络的作用。
[0018](三)有益效果
[0019]与现有技术相比，本专利技术提供了一种基于多尺度深度单应性的红外图像拼接方法，具备以下有益效果：
[0020]本专利技术提出的红外图像对齐模块是由四个卷积块组成的三层特征金字塔，通过对输入图像进行处理，利用金字塔中各层提取的特征估计单应性，并将上层估计的单应性传递给下层，逐步提高了特征点对齐精度，提高了网络特征提取能力。
[0021]本专利技术提出的红外图像拼接模块由七个卷积块组成边缘保留变形网络，通过学习图像拼接从边缘到内容的变形规律，对变形的图像进行拼接，消除了重影效应，同时保持了拼接图像的边缘连续性。
[0022]本专利技术提出了一种由边缘损失和内容损失组成的复合损失函数，使拼接网络生成更加自然的红外拼接图象，同时使得图像具有更高的真实性，提升人眼视觉效果。
[0023]本专利技术在骨干网络中将多种激活函数联合使用，可以使得网络输出的图像更符合人眼视觉观察；在网络中通过添加跳跃连接有助于减少网络参数，使得整个网络实现结构简单，提高拼接效率和精度。
附图说明
[0024]图1为一种基于多尺度深度单应性的红外图像拼接方法流程图；
[0025]图2为一种基于多尺度深度单应性的红外图像拼接方法网络模型结构图；
[0026]图3为本专利技术卷积块一、卷积块二、卷积块三、卷积块四、卷积块六、卷积块七、卷积块八的具体组成；
[0027]图4为本专利技术卷积块五的具体组成；
[0028]图5为本专利技术卷积块九、卷积块十、卷积块十一的具体组成；
[0029]图6为本专利技术现有技术和本专利技术提出方法的相关指标对比。
具体实施方式
[0030]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0031]实施例1
[0032]如图1所示，一种基于多尺度深度单应性的红外图像拼接方法，该方法具体包括如下步骤：
[0033]步骤1，构建网络模型；整个红外图像拼接网络包括红外图像对齐模块和红外图像拼接模块；红外图像对齐模块由四个卷积块组成，其中每个卷积块由跳跃连接、卷积层、归一化层、激活函数和最大池化层组成；卷积块一对输入图像进行初级特征提取，卷积块二、卷积块三、卷积块四形成三层特征金字塔，利用金字塔中各层的卷积块对图像中高级特征进行提取并估计单应性，将上层估计的单应性传递给下一层，逐步提高特征点对齐的精度，所有卷积块中卷积核的大小统一为n
×
n；红外图像拼接模块由七个卷积模块组成，其中卷积块五由跳跃连接、卷积层、归本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度深度单应性的红外图像拼接方法，其特征在于：包括如下步骤：步骤1，构建网络模型：整个红外图像拼接网络包括红外图像对齐模块和红外图像拼接模块；步骤2，准备数据集：选择KAIST数据集，调整数据集中每个图像的尺寸，固定输入图像的大小；步骤3，训练网络模型：将步骤2中准备好的数据集输入到步骤1中构建好的网络模型中进行训练；步骤4，选择最小化损失函数和最优评估指标：通过最小化网络输出图像与标签的损失函数，直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成，保存模型参数。同时选择最优评估指标来衡量算法的精度，评估系统的性能；步骤5，微调模型：用LTIR数据集对模型进行训练和微调，得到稳定可用的模型参数，最终使得模型对红外图像拼接的效果更好；步骤6，保存模型：将最终确定的模型参数进行固化，之后需要进行红外图像拼接操作时，直接将图像输入到网络中即可得到最终的拼接图像。2.根据权利要求1所述的一种基于多尺度深度单应性的红外图像拼接方法，其特征在于：所述步骤1中红外图像对齐模块由四个卷积块组成，其中每个卷积块由跳跃连接、卷积层、归一...

【专利技术属性】
技术研发人员：郝子强，刘晟佐，于永吉，陈博文，韩登，李国宁，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：