【技术实现步骤摘要】
一种基于多阶段对齐网络的图像拼接方法
[0001]本专利技术涉及图像处理以及深度学习领域，尤其涉及一种基于多阶段对齐网络的图像拼接方法。
技术介绍
[0002]作为获得高分辨率宽视场全景图像的关键技术，图像拼接旨在通过旋转相机获得具有重叠区域的多幅图像，并通过特征匹配和图像融合拼接图像。但是，当图像采集设备旋转角度较大或拍摄场景不共面时，可能会导致拼接图像出现视觉伪影和错位。因此，如何确保宽视场全景图像准确对齐和自然平滑是图像拼接中的挑战性问题。
[0003]近年来，研究人员提出了大量的图像拼接方法。传统图像拼接方法分为全局对齐方法和空间变化变形方法。全局对齐方法利用不变的局部特征匹配图像，并通过单应性矩阵建立映射关系对齐图像，例如：双
‑
单应性估计方法、平滑变化仿射方法等。空间变化变形方法是将图像划分为均匀网格，并通过优化基于内容的网格变形函数获得最佳网格坐标，包括尽可能投影方法、尽可能自然的自适应方法等。近年来，研究人员提出了基于深度学习的图像拼接方法以提高拼接性能。例如，Nie等人提出了一种基...
【技术保护点】
【技术特征摘要】
1.一种基于多阶段对齐网络的图像拼接方法，其特征在于，所述方法包括以下步骤：步骤S1，获取训练数据集，其中，所述训练数据集包括多个输入图像对以及与每个输入图像对对应的图像拼接结果，所述输入图像对包括参考图像I1和目标图像I2；步骤S2，构建图像拼接深度模型；步骤S3，基于所述训练数据集和整体损失函数对于所述图像拼接深度模型进行训练，得到目标图像拼接深度模型；步骤S4，利用所述目标图像拼接深度模型对于待拼接图像进行拼接，得到图像拼接结果。2.根据权利要求1所述的方法，其特征在于，所述图像拼接深度模型包括图像预对齐子模型和图像对齐子模型，其中，所述图像预对齐子模型用于利用基于内容保持的深度单应性估计模块，对于所述输入图像对进行预对齐，所述图像对齐子模型用于利用边缘辅助网络，对于所述预对齐输入图像对进行进一步对齐。3.根据权利要求2所述的方法，其特征在于，所述深度单应性估计模块由多个对称卷积层单元和相应数量的内容保持注意力模块交错连接而成，其中，所述对称卷积层单元包括两个卷积层和一个最大池化层；所述内容保持注意力模块包括空间注意力模块和多个交叉运算模块，所述空间注意力模块包括两个最大池化层，两个平均池化层，一个共享全连接层和一个激活函数层。4.根据权利要求2所述的方法，其特征在于，所述边缘辅助网络包括卷积层、三个多尺度残差块、上采样层和瓶颈层。5.根据权利要求2所述的方法，其特征在于，在利用所述图像预对齐子模型对于输入图像对进行预对齐时：将所述输入图像对输入至所述深度单应性估计模块中，得到与所述输入图像对中的参考图像I1和目标图像I2对应的输出特征图F
iR
和F
iT
；基于所述输出特征图F
iR
和F
iT
，利用直接线性变换方法获取单应性矩阵；利用空间变形网络分别将参考图像I1和目标图像I2进行变形，实现参考图像I1和目标图像I2重叠区域的像素位置的预对齐，其中，预对齐的输入图像对表示为：重叠区域的像素位置的预对齐，其中，预对齐的输入图像对表示为：其中，E表示单位矩阵，H表示单应性矩阵，W
STN
(
·
，
·
)表示空间变形网络的输出。6.根据权利要求2所述的方法，其特征在于，在利用所述图像对齐子模型对于预对齐输入图像对进行对齐时：利用所述边缘辅助网络中的卷积层获得预对齐参考图像和目标图像的基础特征图；利用所述边缘辅助网络提取得到所述预对齐参考图像和目标图像的边缘特征图；将得到的所述预对齐参考图像和目标图像的边缘特征图与相应的基础特征图分别进行级联，得到所述预对齐参考图像和目标图像的融合特征图；基于所述预对齐参考图像和目标图像的融合特征图，利用上下文相关方法计算得到所述预对齐参考图像和目标图像的特征流；将所述预对齐参考图像和目标图像及其对应的特征流送入深度网格变形网络，得到对
齐的参考图像和目标图像其中，对齐的参考图像和目标图像表...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。