基于RGB相似度特征匹配的图像拼接方法、装置及设备制造方法及图纸

本发明专利技术公开一种基于RGB相似度特征匹配的图像拼接方法、装置及设备，拼接方法包括：提取待拼接图像的特征信息，对特征信息进行正则化处理后计算两个待拼接图像之间的特征全局相似性，并计算预测偏移量，基于预测偏移量，估计出至少两个待拼接图像之间变化的单应性矩阵；基于待拼接图像、单应性矩阵和单位矩阵，使得待拼接图像变形得到变换图像，根据至少两个变换图像的特征区域的像素点RGB相似度，进行特征信息的匹配并确定最优匹配，生成初步拼接图像；将初步拼接图像、至少两个变换图像连接成九通道输出，九通道输出和预设置的真实标签输入到训练好的生成对抗网络中，得到高质量拼接图像。本发明专利技术能获得一个高质量的拼接结果。本发明专利技术能获得一个高质量的拼接结果。本发明专利技术能获得一个高质量的拼接结果。

【技术实现步骤摘要】
基于RGB相似度特征匹配的图像拼接方法、装置及设备


[0001]本专利技术涉及图像处理
，尤其涉及一种基于RGB相似度特征匹配的图像拼接方法、装置及设备。

技术介绍

[0002]图像拼接图像拼接是图像处理领域中的一项重要技术，其旨在将不同视角获得的图像拼接成一张更大的图像，以获得高分辨率、宽视角的图像。其技术应用范围十分广泛，如相机超宽视角图像的合成、宇宙空间探测、海底勘测、医学成像、虚拟现实、地质勘测、遥感技术以及视频压缩等领域，因此图像拼接的质量显得尤为重要。
[0003]目前图像拼接技术主要分为传统拼接方法和基于深度学习的方法。传统的图像拼接方法主要分为两大分支，一个分支是基于区域的图像配准，其利用图像像素间相关性强度大小进行对齐，首先，在一个图像中选择兴趣点，然后在另一个图像中利用互相关搜索对应的像素点；另一个则是基于特征的图像配准，其通过提取图像中明显的块、线和点作为特征来估算图像间的变换矩阵，首先，通过提取待配准的图像的特征，然后进行图像特征匹配，然后通过匹配的特征估算得出图像间的变换矩阵，最后利用变换矩阵将图像对齐。传统的拼接算法面临着以下的挑战，重复纹理、大前景干扰、夜景、噪声干扰以及大视差，主要是因为这些图像缺乏比较明显的特征，特征提取变得十分困难，最终导致所提取的图像特征质量不高，这会给后续的拼接流程造成较大的影响。近年来，深度学习在图像拼接领域发挥了越来越重要的作用，相较于传统的特征提取算法，利用卷积神经网络提取的特征拥有更加丰富的信息，好的特征信息可以有效提升后续特征配准的效率与准度，基于深度学习的图像拼接可以加速图像拼接速度。不过，与传统的图像拼接方法相比，目前深度拼接方法仍处于发展阶段，具体体现在拼接处有明显的重影问题、拼接质量一般、两幅图像具有较少重复信息时匹配不准确问题等。

技术实现思路

[0004]鉴于以上技术问题，本专利技术提供了一种基于RGB相似度特征匹配的图像拼接方法、装置及设备，该方法主要用于估计出两幅图像对应的单应性矩阵，然后，根据单应性矩阵利用自适应空间变换矩阵获得变换图像，再根据RGB融合得到初步拼接结果，最后，再根据初步拼接结果和生成的真实标签通过一个预训练好的生成对抗网络来获得一个高质量的拼接结果。
[0005]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0006]根据本专利技术的一方面，提出了一种基于RGB相似度特征匹配的图像拼接方法，所拼接方法包括：
[0007]基于ResNeXt分组卷积和注意力机制，提取待拼接图像的特征信息，对所述特征信息进行L1正则化处理后计算两个所述待拼接图像之间的特征全局相似性，并计算预测偏移
量，基于所述预测偏移量，估计出至少两个所述待拼接图像之间变化的单应性矩阵；
[0008]基于自适应空间变换网络SA
‑
STN，基于所述待拼接图像、所述单应性矩阵和单位矩阵，使得所述待拼接图像变形得到变换图像，根据至少两个所述变换图像的特征区域的像素点RGB相似度，进行所述特征信息的匹配并确定最优匹配，生成初步拼接图像；
[0009]将所述初步拼接图像、至少两个所述变换图像连接成九通道输出，所述九通道输出包含有所述待拼接图像的所述特征信息和所述初步拼接图像，将所述九通道输出和预设置的真实标签输入到训练好的生成对抗网络中，得到高质量拼接图像。
[0010]进一步的，在提取所述特征信息前，还包括：
[0011]对所述待拼接图像进行灰度化处理。
[0012]进一步的，在提取待所述拼接图像的所述特征信息时，包括：
[0013]基于ResNeXt分组卷积，分别提取出至少两个所述待拼接图像的所述特征信息；
[0014]基于注意力机制，获取至少两个所述待拼接图像的所述特征信息中的权重高于阈值的部分。
[0015]进一步的，所述基于所述预测偏移量，估计出至少两个所述待拼接图像之间变化的单应性矩阵，包括：
[0016]所述预测偏移量为其中一个所述待拼接图像相对于另一个所述待拼接图像的四个顶点的横偏移量和纵偏移量；
[0017]对四个顶点的所述横偏移量和所述纵偏移量进行直接线性变换，估计出所述单应性矩阵。
[0018]进一步的，所述根据至少两个所述变换图像的特征区域的像素点RGB相似度，进行所述特征信息的匹配并确定最优匹配，具体包括：
[0019]在两个所述变换图像的特征区域中各自任取一点，建立各个点的R、G、B的损失函数；
[0020]基于所述损失函数，得到两个所述变换图像的所有点的R、G、B的差值；
[0021]基于所述差值，构建总体损失函数，确定所述最优匹配。
[0022]进一步的，所述生成初步拼接图像，包括：
[0023]基于所述最优匹配下对应的所述特征信息，将两个所述变换图像的特征区间的像素进行平均融合，得到所述初步拼接图像。
[0024]进一步的，所述基于自适应空间变换网络SA
‑
STN，基于所述待拼接图像、所述单应性矩阵和单位矩阵，使得所述待拼接图像变形，包括：
[0025]基于自适应空间变换网络SA
‑
STN，对获取的至少两个所述待拼接图像自适应生成与拼接标签大小相同的网络，所述网格中的每个元素表示其二维空间位置，以坐标(ui，vi)表示，其中i＝1，2，以公式进行坐标计算：
[0026][0027]其中，H为所述单应性矩阵，其表示从一个所述待拼接图像到到另一个所述待拼接图像的投影变换，(x，y，z)是原始的所述待拼接图像的齐次坐标，基于此确定其中一个所述变换图像的坐标；E为单位矩阵，将其替换H得到另一个所述变换图像。
[0028]根据本公开的第二方面，提供一种基于RGB相似度特征匹配的图像拼接装置，包括单应性估计模块，其包括：特征提取单元，用于提取待拼接图像的特征信息；正则化单元，用于对所述特征信息进行L1正则化处理；全局相关单元，用于计算两个所述待拼接图像之间的特征全局相似性；卷积全连接单元，用于计算两个所述待拼接图像之间预测偏移量；直接线性变化单元，用于基于所述预测偏移量，估计出至少两个所述待拼接图像之间变化的单应性矩阵；
[0029]初步拼接模块，其包括：空间变换单元，用于基于自适应空间变换网络SA
‑
STN，基于所述待拼接图像、所述单应性矩阵和单位矩阵，使得所述待拼接图像变形得到变换图像；RGB融合单元，用于根据至少两个所述变换图像的特征区域的像素点RGB相似度，进行所述特征信息的匹配并确定最优匹配，生成初步拼接图像；
[0030]图像生成模块，其包括：连接单元，用于将所述初步拼接图像、至少两个所述变换图像连接成九通道输出，所述九通道输出包含有所述待拼接图像的所述特征信息和所述初步拼接图像；GAN网络单元，用于将所述九通道输出和预设置的真实标签输入到训练好的生成对抗网络中，得到高质量拼接图像。
[0031]根据本公开的第三方面，提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGB相似度特征匹配的图像拼接方法，其特征在于，所述拼接方法包括：基于ResNeXt分组卷积和注意力机制，提取待拼接图像的特征信息，对所述特征信息进行L1正则化处理后计算两个所述待拼接图像之间的特征全局相似性，并计算预测偏移量，基于所述预测偏移量，估计出至少两个所述待拼接图像之间变化的单应性矩阵；基于自适应空间变换网络SA
‑
STN，基于所述待拼接图像、所述单应性矩阵和单位矩阵，使得所述待拼接图像变形得到变换图像，根据至少两个所述变换图像的特征区域的像素点RGB相似度，进行所述特征信息的匹配并确定最优匹配，生成初步拼接图像；将所述初步拼接图像、至少两个所述变换图像连接成九通道输出，所述九通道输出包含有所述待拼接图像的所述特征信息和所述初步拼接图像，将所述九通道输出和预设置的真实标签输入到训练好的生成对抗网络中，得到高质量拼接图像。2.根据权利要求1所述的基于RGB相似度特征匹配的图像拼接方法，其特征在于，在提取所述特征信息前，还包括：对所述待拼接图像进行灰度化处理。3.根据权利要求1所述的基于RGB相似度特征匹配的图像拼接方法，其特征在于，在提取待所述拼接图像的所述特征信息时，包括：基于ResNeXt分组卷积，分别提取出至少两个所述待拼接图像的所述特征信息；基于注意力机制，获取至少两个所述待拼接图像的所述特征信息中的权重高于阈值的部分。4.根据权利要求1所述的基于RGB相似度特征匹配的图像拼接方法，其特征在于，所述基于所述预测偏移量，估计出至少两个所述待拼接图像之间变化的单应性矩阵，包括：所述预测偏移量为其中一个所述待拼接图像相对于另一个所述待拼接图像的四个顶点的横偏移量和纵偏移量；对四个顶点的所述横偏移量和所述纵偏移量进行直接线性变换，估计出所述单应性矩阵。5.根据权利要求1所述的基于RGB相似度特征匹配的图像拼接方法，其特征在于，所述根据至少两个所述变换图像的特征区域的像素点RGB相似度，进行所述特征信息的匹配并确定最优匹配，具体包括：在两个所述变换图像的特征区域中各自任取一点，建立各个点的R、G、B的损失函数；基于所述损失函数，得到两个所述变换图像的所有点的R、G、B的差值；基于所述差值，构建总体损失函数，确定所述最优匹配。6.根据权利要求1所述的基于RGB相似度特征匹配的图像拼接方法，其特征在于，所述生成初步拼接图像，包括：基于所述最优匹配下对应的所述特征信息，将两个所述变换图像的特征区间的像素进行平均融合，得到所述初步拼接图像。7.根据权利要求1所述的基于RGB相似度特征匹配的图像拼接方法，其特征在于，所述基于自适应空间变换网络SA
‑
STN，基于所述待拼接图像、所述单应性矩阵和单位矩阵，使得所述待拼接图像变形，包括：基于自适应空间变换网络SA
‑
STN，对...

【专利技术属性】
技术研发人员：林檎，
申请(专利权)人：深圳市碧云祥电子有限公司，
类型：发明
国别省市：