【技术实现步骤摘要】
本专利技术涉及图像处理以及深度学习领域，尤其涉及一种基于渐进对齐和交织融合网络的图像拼接方法。
技术介绍
1、近年来，图像拼接技术是计算机图形学和多媒体显示领域中一个非常热门的话题，其目的是将多个具有重叠区域的参考图像和目标图像拼接生成高质量的宽视场全景图像。然而，参考图像和目标图像之间重叠区域的不一致性可能导致明显的对齐失真和接缝伪影。因此，如何获取宽视场图像的自然全景图像是一项具有挑战性的任务。
2、目前，研究人员提出了大量的图像拼接方法。传统图像拼接方法分为全局单应性方法和局部变形方法。全局单应性方法通过对复杂的几何特征进行匹配进而估计全局单应关系，例如自动拼接方法、重-单应性方法等。局部变形方法则是将图像对划分为均匀的单元并构造局部参数变形约束，包括尽可能投影变形方法、鲁棒弹性变形方法等。
3、由于深度卷积神经网络具有强大的表示能力和灵活的结构，一些基于深度卷积神经网络的图像拼接方法取得了较好的性能。通常，基于深度卷积神经网络的图像拼接方法利用深度单应性获得对齐的图像对并融合对齐的图像对，进而生成自然的全景图像。例如，song等人提出了端到端的多-单应性估计网络，对参考图像和目标图像进行变形，从而实现图像拼接。nie等人通过学习多尺度单应性实现边缘保持的图像拼接。dai等人通过学习边缘信息融合对齐的图像对以获得全景图。这些方法可以有效地处理低纹理场景以及不自然的情况。但是，这些图像拼接方法的性能仍需要进一步改进。
4、专利技术人在实现本专利技术的过程中，发现现有技术中至少存在以下缺点和
5、对于图像对齐阶段，现有技术中的方法通常只利用参考图像或目标图像自身的信息，不考虑参考图像和目标图像之间的协作关系，因而在处理不同视差的场景时会产生对齐失真；对于图像融合阶段，现有技术中的方法通常采用简单的深度卷积神经网络融合策略来融合对齐的图像对，忽略了对齐的图像对之间的互补信息，导致全景图像存在明显的接缝伪影。
技术实现思路
1、本专利技术设计了一种基于渐进对齐和交织融合网络的图像拼接方法。本专利技术利用渐进单应性对齐子模型变形输入图像对的重叠区域并减少对齐不一致，采用交织图像融合子模型融合对齐的图像对并减少接缝失真，构建对齐损失和融合损失减少全景图像的几何失真和接缝伪影。该图像拼接方法能够获得高质量的图像拼接结果，同时减少对齐失真和接缝伪影。
2、为了实现所述目的，本专利技术提出的一种基于渐进对齐和交织融合网络的图像拼接方法包括以下步骤：
3、步骤s1，获取训练数据集，其中，所述训练数据集包括多个输入图像对，所述输入图像对包括参考图像ir和目标图像it；
4、步骤s2，构建图像拼接深度模型；
5、步骤s3，基于所述训练数据集和预设整体损失函数对于所述图像拼接深度模型进行训练，得到图像拼接目标深度模型；
6、步骤s4，利用所述图像拼接目标深度模型对于待拼接图像对进行拼接，获得图像拼接结果。
7、可选地，所述图像拼接深度模型包括渐进对齐子模型和交织图像融合子模型，其中，所述渐进对齐子模型用于对所述输入图像对进行对齐，获得对齐的图像对，所述交织图像融合子模型用于对所述对齐的图像对进行融合，获得图像拼接结果。
8、可选地，所述渐进对齐子模型依次包括m个卷积层、m个交叉特征协作模块、m个文本相关层以及m个空间变换模块，其中，m个卷积层和m个交叉特征协作模块交错连接，m为自然数。
9、可选地，所述交叉特征协作模块由参考图像分支、目标图像分支、以及参考图像和目标图像级联分支组成，其中：
10、参考图像分支和目标图像分支具有相同的结构，每个分支依次包括一个残差密集块，一个全局平均池化层，两个卷积层，一个sigmoid激活函数，其中，所述残差密集块的输出除输入至全局平均池化层外，还与sigmoid激活函数的输出相乘；
11、参考图像和目标图像级联分支依次包括一个级联层、两个卷积层和一个sigmoid激活函数，其中，所述级联层的输出除输入至第一个卷积层外，还与sigmoid激活函数的输出相乘。
12、可选地，在利用所述渐进对齐子模型对于输入图像对进行对齐时：
13、将所述输入图像对输入至所述卷积层和交叉特征协作模块中，得到与所述输入图像对中的参考图像ir和目标图像it对应的输出交叉特征图和；
14、基于所述输出交叉特征图和，利用文本相关层获取单应性矩阵；
15、利用空间变换模块将参考图像ir和目标图像it进行变形，实现参考图像和目标图像重叠区域的像素位置的对齐，其中，对齐的图像对和表示为：
16、
17、
18、其中，he表示单位矩阵，hp表示渐进单应性矩阵，函数s表示输入为参考图像和单位矩阵或者输入为目标图像和渐进单应性矩阵时，空间变形模块的输出，即空间变形处理的输出。
19、可选地，所述交织图像融合子模型依次包括卷积层、k个连续的交织swintransformer模块、4k个注意力交织块、级联层和重建单元，其中，所述k个连续交织swintransformer模块和4k个注意力交织块用于提取对齐的图像对的交织特征图。
20、可选地，所述注意力交织块依次包括最大池化层、平均池化层、上采样层、卷积层，级联层、sigmoid激活函数。
21、可选地，在利用所述交织图像融合子模型对于对齐的图像对进行融合时：
22、利用卷积层获得对齐的图像对中对齐的参考图像和对齐的目标图像的基础特征图；
23、利用所述交织图像融合子模型中的k个连续的交织swin transformer模块和4k个注意力交织块分别获得对齐的参考图像和对齐的目标图像的k个交织特征图；
24、将得到的对齐的参考图像的k个交织特征图相加获得对齐的参考图像的最终特征图，将对齐的目标图像的k个交织特征图相加获得对齐的目标图像的最终特征图；
25、将对齐的参考图像的最终特征图和对齐的目标图像的最终特征图进行级联和卷积处理，获得对齐的参考图像和对齐的目标图像的融合特征；
26、将所述融合特征送入重建单元，得到所述参考图像和目标图像最终的拼接图像if，表示为：
27、
28、其中：
29、
30、和分别表示参考图像和目标图像的最终特征图，和分别表示对齐的参考图像和对齐的目标图像的交织特征图，函数res表示当输入为卷积后级联特征时重建单元输出，k表示连续的交织swin transformer模块的个数。
31、可选地，所述预设整体损失函数包括对齐损失函数和融合损失函数，其中，所述预设整体损失函数ltotal表示为：
32、ltotal=λ1la+λ2lc
33、其中，la表示对齐损失函数，lc表示融合损失函数，λ1和λ2分别是对齐损失函数和融合损失函数的权重。
34、可选本文档来自技高网...
【技术保护点】
1.一种基于渐进对齐和交织融合网络的图像拼接方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述图像拼接深度模型包括渐进对齐子模型和交织图像融合子模型，其中，所述渐进对齐子模型用于对所述输入图像对进行对齐，获得对齐的图像对，所述交织图像融合子模型用于对所述对齐的图像对进行融合，获得图像拼接结果。
3.根据权利要求2所述的方法，其特征在于，所述渐进对齐子模型依次包括m个卷积层、m个交叉特征协作模块、m个文本相关层以及m个空间变换模块，其中，m个卷积层和m个交叉特征协作模块交错连接，m为自然数。
4.根据权利要求3所述的方法，其特征在于，所述交叉特征协作模块由参考图像分支、目标图像分支、以及参考图像和目标图像级联分支组成，其中：
5.根据权利要求4所述的方法，其特征在于，在利用所述渐进对齐子模型对于输入图像对进行对齐时：
6.根据权利要求2所述的方法，其特征在于，所述交织图像融合子模型依次包括卷积层、K个连续的交织Swin Transformer模块、4K个注意力交织块、级联层和重建单元，
7.根据权利要求6所述的方法，其特征在于，所述注意力交织块依次包括最大池化层、平均池化层、上采样层、卷积层，级联层、sigmoid激活函数。
8.根据权利要求7所述的方法，其特征在于，在利用所述交织图像融合子模型对于对齐的图像对进行融合时：
9.根据权利要求1所述的方法，其特征在于，所述预设整体损失函数包括对齐损失函数和融合损失函数，其中，所述预设整体损失函数Ltotal表示为：
10.根据权利要求9所述的方法，其特征在于，所述融合损失函数包括结构损失项和纹理损失项，所述结构损失项用于约束图像拼接结果和输入图像对之间的结构相似性，所述纹理损失项用于约束图像拼接结果和输入图像对具有相似的纹理细节。
...【技术特征摘要】
1.一种基于渐进对齐和交织融合网络的图像拼接方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述图像拼接深度模型包括渐进对齐子模型和交织图像融合子模型，其中，所述渐进对齐子模型用于对所述输入图像对进行对齐，获得对齐的图像对，所述交织图像融合子模型用于对所述对齐的图像对进行融合，获得图像拼接结果。
3.根据权利要求2所述的方法，其特征在于，所述渐进对齐子模型依次包括m个卷积层、m个交叉特征协作模块、m个文本相关层以及m个空间变换模块，其中，m个卷积层和m个交叉特征协作模块交错连接，m为自然数。
4.根据权利要求3所述的方法，其特征在于，所述交叉特征协作模块由参考图像分支、目标图像分支、以及参考图像和目标图像级联分支组成，其中：
5.根据权利要求4所述的方法，其特征在于，在利用所述渐进对齐子模型对于输入图像对进行对齐时：
6.根据权利要求2所述的方法，其特征在于，所述交织图像融...
【专利技术属性】
技术研发人员：范晓婷，张重，周祥一，王荣禄，
申请(专利权)人：天津师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。