一种基于空间通道注意力机制神经网络的图像匹配方法组成比例

本发明专利技术涉及一种基于空间通道注意力机制神经网络的图像匹配方法。该方法包括步骤：步骤1：根据SIFT方法得到初始匹配集合c；步骤2：通过改进的OANet网络对输入数据进行处理从而得到匹配对为正确匹配的概率；步骤3：对步骤2得到的结果通过加权8点算法进行计算得到本质矩阵；步骤4，根据本质矩阵信息得到准确的相机姿态（旋转和平移）。本发明专利技术的网络能够有效地剔除异常值（离群点），同时估计成图像对的相机姿态。本发明专利技术的一种基于空间通道注意力机制神经网络的图像匹配方法在mAP5°方法取得很大的提升。

【技术实现步骤摘要】
一种基于空间通道注意力机制神经网络的图像匹配方法
本专利技术涉及图像匹配领域，具体涉及一种基于空间通道注意力机制神经网络的图像匹配方法。
技术介绍
特征匹配在三维重建、同时定位和建图、图像拼接、双目立体匹配等计算机视觉任务中扮演着十分重要的角色，是处理计算机视觉任务中的一个基础且重要的步骤。通常，特征匹配包含四个步骤，即特征提取、特征描述，初始匹配获取和误匹配剔除。由于初始匹配存在大尺度的变化、光照变化、遮挡和模糊等情况，所以初始匹配集合中通常包含大量的异常值。因此，误匹配剔除作为一个关键的后处理步骤可以从初始匹配集合中寻找正确的内点并剔除离群点从而得到更加准确的匹配结果。所以，研究一种准确、鲁棒且高效的匹配算法对实现智能视觉有着极为重要的理论研究意义和实际应用价值。在过去的几十年里许多学者提出了大量不同种类的匹配方法。根据最近的工作，特征匹配方法可分为四类，即采样方法、非参数插值方法、图匹配方法和基于深度学习的方法。其中前三类又可以总结为传统的方法，所以目前匹配的方法可以分为两大类，即传统的方法和基于深度学习的方法。传统的方法通常使用本文档来自技高网...

【技术保护点】
1.一种基于空间通道注意力机制神经网络的图像匹配方法，其特征在于，包括如下步骤：/n步骤S1、根据SIFT方法得到图像对I和I'初始匹配集合C；/n步骤S2、通过改进的OANet网络对输入数据进行处理从而得到匹配对为正确匹配的概率；/n步骤S3、对步骤S2得到的结果通过加权8点算法进行计算得到本质矩阵；/n步骤S4、根据本质矩阵信息得到准确的相机姿态。/n

【技术特征摘要】
1.一种基于空间通道注意力机制神经网络的图像匹配方法，其特征在于，包括如下步骤：
步骤S1、根据SIFT方法得到图像对I和I'初始匹配集合C；
步骤S2、通过改进的OANet网络对输入数据进行处理从而得到匹配对为正确匹配的概率；
步骤S3、对步骤S2得到的结果通过加权8点算法进行计算得到本质矩阵；
步骤S4、根据本质矩阵信息得到准确的相机姿态。


2.根据权利要求1所述的一种基于空间通道注意力机制神经网络的图像匹配方法，其特征在于，步骤S1具体实现如下：
步骤S11、首先使用SIFT算法来提取两幅图像(I,I')的关键点坐标和其对应的描述子；
步骤S12、根据描述子的最近邻相似约束，得到一个初始匹配集合C：
C＝{c1,c2,...,cN}∈RN×4,
其中，ci表示第i个匹配对；N是匹配对的总数；和是给定两幅图像中匹配对的正则化坐标。


3.根据权利要求1所述的一种基于空间通道注意力机制神经网络的图像匹配方法，其特征在于，步骤S2具体实现如下：
步骤S21、由步骤S1得到一个2000×4的初始匹配集合C，即初始内点集合C作为输入，经过一个带有128个神经元的单层感知器，得到一个128维度的特征；
步骤S22、把步骤S21的结果作为输入，经过SCSABlock1模块的处理后，得到一个新的128维度的特征Fout∈R128×2000×1；
其中SCSABlock1模块包含一个空间注意力机制模块、一个通道注意力机制模块和一个连接层；
步骤S23、将步骤S22的输出结果作为输入，依次经过3个PointCN块，得到一个128维度的特征；一个PointCN块由两个相同的PointCN模块组成，PointCN模块包括一个用来捕获全局信息的上下文正则化模块、一个Batch正则化模块、一个ReLU激活函数和一个具有128维的神经元的多层感知器；
步骤S24、将步骤S23的输出结果作为输入，经过DiffPool&DiffUnpool层学习得到一个128维度的特征，获得匹配的局部上下文信息；
步骤S25、将步骤S23和步骤S24输出的特征沿着通道维度连接起来作为输入，经过三个PointCN块捕获得到一个128维度的特征；
步骤S26、将步骤S25的输出特征作为输入，依次经过带有一个神经元的单层感知器、ReLU和tanh的激活函数学习得到匹配对作为内点的概率。


4.根据权利要求3所述的一种基于空间通道注意力机制神经网络的图像匹配方法，其特征在于，步骤S22具体实现如下：
步骤S221、设计一个空间注意力机制模块用来捕捉每对匹配的丰富上下文信息；所述空间注意力机制模块，首先，通过使用三个不同的PointCN模块来获取三个不同的特征映射Q,K,V∈R128×2000；然后，通过在Q和V的转置之间执行点乘操作来获得空间相似矩阵，并利用Softmax函数获得空间注意力矩阵SA；空间注意力矩阵的获取公式如下：
SA＝Softmax(D(QT,K))
其中，空间注意力矩阵SA∈R2000×2000；D(·)是点乘操作；Softmax(·)是Softmax函数；
最后，在特征映射V和空间注意力矩阵SA的转置之间执行点乘操作，来聚合所有匹配对的全局空间上下文信息，并将结果重塑为R128×2000×1；用函数表示如下：
FS＝SAtt(Q,K,V)＝D(V,SAT)
其中，FS∈R128×2000×1是空间注意力机制模块的输出，集成了每个匹配的全局上下文信息，并提高了潜在内点的表示能力；SAtt(·)是空间注意力机制模块的函数；Q,K,V∈R128×2000是三个不同的映射；D(·)是点乘操作；SAT∈R2000×2000表示空间注意力矩阵的转置；
步骤S222、设计一个通道注意力机制模块用来捕捉每个通道映射的丰富的全局上下文信息并且通道注意力机制模块能够着重关注重要的通道映射并提高其的表示能力；通道注意力机制矩阵的公式如下：
CA＝Softmax(D(F,FT))
其中，CA∈R128×128为通道...

【专利技术属性】
技术研发人员：代栾媛，刘鑫，陈日清，杨长才，魏丽芳，
申请(专利权)人：福建农林大学，
类型：发明
国别省市：福建;35