多尺度特征提取的图像拼接方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开一种多尺度特征提取的图像拼接方法、装置、设备及存储介质，拼接方法包括：获取两个待拼接图像，基于四组特征提取器，对待拼接图像的特征进行逐层提取得到四层特征图；将位于底层的特征图进行正则化处理后计算特征全局相似性，并计算偏移量，估计出底层的两个待拼接图像的单应性变换矩阵，基于底层的单应性变换矩阵和其中一个图像的上一层的特征图，计算得到上一层的单应性变换矩阵，依次操作，直至得到最上层的单应性变换矩阵；基于最上层的单应性变换矩阵，将两个待拼接图像投影变换得到两个待配准图像并通过平均融合得到拼接结果。本发明专利技术利用多尺度提取图像特征，可以得到精度更高的单应性变换矩阵和融合图像。像。像。

【技术实现步骤摘要】
多尺度特征提取的图像拼接方法、装置、设备及存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种多尺度特征提取的图像拼接方法、装置、设备及存储介质。

技术介绍

[0002]图像拼接是计算机视觉和图像处理领域的一个重要技术，它的目的是将多幅图像无缝地拼接在一起，形成一个更大的视场或更高分辨率的图像。它广泛应用于许多领域，包括但不限于医学影像、航天影像、无人机航拍、虚拟现实、全景拍摄等。
[0003]目前图像拼接技术主要分为传统拼接方法和基于深度学习的方法。传统的图像拼接技术主要依赖于特征点的检测、匹配和几何变换模型的估计。这些技术通常包括以下步骤：首先，通过特征点检测算法(如SIFT、SURF等)在每个图像中检测出特征点；然后，通过特征描述子，匹配不同图像中的相应特征点；最后，使用RANSAC等鲁棒性算法估计图像间的几何变换模型，进行图像的对齐和拼接。然而，这类方法在处理视角变化大、光照条件变化、内容复杂等问题时，可能会出现拼接误差。特别是在面对大基线、动态场景和光照变化等复杂情况时，由于特征点的匹配可能会出现错误，导致图像拼接的效果不佳。近年来，基于深度学习的方法被引入到图像拼接领域，由于其强大的自我学习和适应能力，显著提高了图像拼接的精度和效率。深度学习方法可以自动学习到从输入图像到输出拼接图像的映射，而不需要手动设计特征和匹配算法。基于深度学习的图像拼接通常使用卷积神经网络(CNN)或其他深度网络结构来自动学习图像的特征和变换模型。这些方法不仅可以处理复杂的光照和纹理变化，还能更好地处理大基线和动态场景下的图像拼接。然而，深度学习方法也存在一些限制。例如，当处理大基线的图像对时，深度学习模型的感受野可能无法覆盖足够的上下文信息，导致对齐效果不理想。此外，大部分现有的方法主要关注全局的图像对齐，忽视了在不同特征尺度下的精确投影变换，这可能会导致拼接结果的局部区域存在明显的接缝或者形变。

技术实现思路

[0004]鉴于以上技术问题，本专利技术提供了一种多尺度特征提取的图像拼接方法、装置、设备及存储介质，该方法主要是提供新型的图像拼接学习方法，然后，可以估计参考图像和目标图像在不同特征尺度下的精确投影变换，以提升拼接精度，为了解决感受野问题，为了解决感受野问题，本专利技术还采用了膨胀卷积，以获取更广泛的上下文信息，从而进一步提升图像拼接的效果，基于此，本专利技术旨在改善图像拼接的精度和鲁棒性，特别是在处理大基线和复杂环境的图像拼接任务时。
[0005]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0006]根据本专利技术的一方面，提出了一种多尺度特征提取的图像拼接方法，所述拼接方法包括：
[0007]获取两个待拼接图像，基于四组特征提取器，对所述待拼接图像的特征进行逐层提取，得到四层特征图，所述特征提取器为基于ResNet网络中的残差结构组成，所述残差结构的主通道由卷积层、Relu激活函数层、卷积层组成，其跳跃通道由膨胀卷组成；
[0008]将提取到的位于底层的所述特征图进行正则化处理后计算两个所述待拼接图像之间的特征全局相似性，并计算偏移量，基于所述偏移量，估计出底层的两个所述待拼接图像之间变化的单应性变换矩阵，基于底层的所述单应性变换矩阵和其中一个所述待拼接图像的上一层的所述特征图，计算得到变换特征图，基于所述变换特征图和另一个所述待拼接图像的上一层的所述特征图，计算得到上一层的所述单应性变换矩阵，依次操作，直至得到最上层的所述单应性变换矩阵；
[0009]基于最上层的所述单应性变换矩阵，将两个所述待拼接图像投影变换得到两个待配准图像，将两个所述待配准图像通过平均融合得到拼接结果。
[0010]进一步的，在提取特征前，还包括：
[0011]对所述待拼接图像进行灰度化处理；
[0012]重构所述待拼接图像的尺寸，使得两个所述待拼接图像的尺寸相等。
[0013]进一步的，所述正则化为基于L2 Normalization的L2正则化。
[0014]进一步的，所述计算两个所述待拼接图像之间的特征全局相似性，包括：
[0015]根据余弦相似性定理，计算两个所述待拼接图像的同一层的所述特征图的相似性，在计算时，执行公式：
[0016][0017]其中，x1、x2分别表示当前层的两个所述特征图中的相关位置；F
A
(x1)是x1的一维特征向量，F
B
(x2)是位置x2的一维特征向量；CV(x1,x2)是F
A
(x1)和F
B
(x2)的相似度，使得CV(x1,x2)越接近于1时，则使得两个所述待拼接图像的当前层的所述特征图的相似性越高。
[0018]进一步的，所述计算偏移量，包括：
[0019]计算一个所述待拼接图像相对于另一个所述待拼接图像的四个顶点的横偏移量和纵偏移量，预测得到预测八个坐标偏移。
[0020]进一步的，所述基于所述偏移量，估计出底层的两个所述待拼接图像之间变化的单应性变换矩阵，包括：
[0021]对所述偏移量进行直接线性变换，计算得到所述单应性变换矩阵。
[0022]进一步的，在得到两个所述待配准图像后，对两个所述待配准图像进行双线性插值，得到光滑扭曲的所述待配准图像，并进行平均融合。
[0023]根据本公开的第二方面，提供一种多尺度特征提取的图像拼接装置，包括多尺度特征提取模块，用于获取两个待拼接图像，基于四组特征提取器，对所述待拼接图像的特征进行逐层提取，得到四层特征图，所述特征提取器为基于ResNet网络中的残差结构组成，所述残差结构的主通道由卷积层、Relu激活函数层、卷积层组成，其跳跃通道由膨胀卷组成；
[0024]多尺度单应性估计模块，用于将提取到的位于底层的所述特征图进行正则化处理后计算两个所述待拼接图像之间的特征全局相似性，并计算偏移量，基于所述偏移量，估计出底层的两个所述待拼接图像之间变化的单应性变换矩阵，基于底层的所述单应性变换矩阵和其中一个所述待拼接图像的上一层的所述特征图，计算得到变换特征图，基于所述变
换特征图和另一个所述待拼接图像的上一层的所述特征图，计算得到上一层的所述单应性变换矩阵，依次操作，直至得到最上层的所述单应性变换矩阵；
[0025]图像融合模块，用于基于最上层的所述单应性变换矩阵，将两个所述待拼接图像投影变换得到两个待配准图像，将两个所述待配准图像通过平均融合得到拼接结果。
[0026]根据本公开的第三方面，提供一种多尺度特征提取的图像拼接设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：获取两个待拼接图像，基于四组特征提取器，对所述待拼接图像的特征进行逐层提取，得到四层特征图，所述特征提取器为基于ResNet网络中的残差结构组成，所述残差结构的主通道由卷积层、Relu激活函数层、卷积层组成，其跳跃通道由膨胀卷组成；
[0027]将提取到的位于底本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多尺度特征提取的图像拼接方法，其特征在于，所述拼接方法包括：获取两个待拼接图像，基于四组特征提取器，对所述待拼接图像的特征进行逐层提取，得到四层特征图，所述特征提取器为基于ResNet网络中的残差结构组成，所述残差结构的主通道由卷积层、Relu激活函数层、卷积层组成，其跳跃通道由膨胀卷组成；将提取到的位于底层的所述特征图进行正则化处理后计算两个所述待拼接图像之间的特征全局相似性，并计算偏移量，基于所述偏移量，估计出底层的两个所述待拼接图像之间变化的单应性变换矩阵，基于底层的所述单应性变换矩阵和其中一个所述待拼接图像的上一层的所述特征图，计算得到变换特征图，基于所述变换特征图和另一个所述待拼接图像的上一层的所述特征图，计算得到上一层的所述单应性变换矩阵，依次操作，直至得到最上层的所述单应性变换矩阵；基于最上层的所述单应性变换矩阵，将两个所述待拼接图像投影变换得到两个待配准图像，将两个所述待配准图像通过平均融合得到拼接结果。2.根据权利要求1所述的多尺度特征提取的图像拼接方法，其特征在于，在提取特征前，还包括：对所述待拼接图像进行灰度化处理；重构所述待拼接图像的尺寸，使得两个所述待拼接图像的尺寸相等。3.根据权利要求1所述的多尺度特征提取的图像拼接方法，其特征在于，所述正则化为基于L2 Normalization的L2正则化。4.根据权利要求1所述的多尺度特征提取的图像拼接方法，其特征在于，所述计算两个所述待拼接图像之间的特征全局相似性，包括：根据余弦相似性定理，计算两个所述待拼接图像的同一层的所述特征图的相似性，在计算时，执行公式：其中，x1、x2分别表示当前层的两个所述特征图中的相关位置；F
A
(x1)是x1的一维特征向量，F
B
(x2)是位置x2的一维特征向量；CV(x1,x2)是F
A
(x1)和F
B
(x2)的相似度，使得CV(x1,x2)越接近于1时，则使得两个所述待拼接图像的当前层的所述特征图的相似性越高。5.根据权利要求1所述的多尺度特征提取的图像拼接方法，其特征在于，所述计算偏移量，包括：计算一个所述待拼接图像相对于另一个所述待拼接图像的四个顶点的横偏移量和纵偏移量，预测得到预测八个坐标偏移。6.根据权利要求1所述的多尺度特征提取的图像拼接方法，其特征在于，所述基于所述偏移量，估计出底层的两个所述待拼接图像之间变化的单应性变换矩阵，包括：对所述偏移量进行直接线性变换，计算得到所述单应性变换...

【专利技术属性】
技术研发人员：林檎，
申请(专利权)人：深圳市碧云祥电子有限公司，
类型：发明
国别省市：