一种基于RepVGG轻量级网络的图像匹配方法，步骤为：步骤S1、构建轻量级特征提取网络，提取多通道特征图。步骤S2、从多通道特征图中提取特征点和计算描述子。步骤S3、使用FLANN算法进行特征匹配。步骤S4、采用改进的RANSAC算法剔除误匹配，得到最终匹配对。本发明专利技术是基于深度学习的一种特征匹配方法，提出了一种基于RepVGG轻量级网络的图像匹配方法。以RepVGG网络为基础，结合GCNv2网络的特点，针对图像匹配领域设计了一种结构简单、可读性强的轻量级特征匹配网络，节省算力的同时，使网络训练负担更小，易于训练和部署。易于训练和部署。易于训练和部署。
【技术实现步骤摘要】
基于RepVGG轻量级网络的图像匹配方法
[0001]本专利技术属于图像匹配方法
，特别涉及一种基于RepVGG轻量级网络的图像匹配方法。
技术介绍
[0002]图像匹配是图像视觉领域重要的研究范畴，其本质，是寻找多张图像中对应位置关系的一项技术，由此基础可以解算相邻帧之间的相对运动状态、或者计算点云，是视觉导航、三维重建、视觉SLAM方向的基础研究领域。同时，由于视觉传感器可以获取丰富的纹理信息，拥有强大的场景辨识能力，所以从视觉出发解决相关领域问题的思路，受到研究人员的青睐。因此，研究一种实时图像匹配方法在视觉领域具有重要的应用价值。
[0003]近几年的文献及实验成果表明，基于深度学习的特征匹配方式较为流行。例如LoFTR算法(LoFTR:Detector
‑
Free Local Feature Matching with Transformers)，采取端到端匹配的方式，输入图像，直接输出匹配对；提取特征图，以及随后通过最优化传输问题的方式完成匹配，过程均在网络中进行。但是该种方法在特征点提取与匹配阶段比较耗时，在实时性方面仍有欠缺；并且一旦遇到遮挡就容易出现信息丢失，这对于部分使用场景是致命的。
[0004]此外，GCNv2算法(GCNv2:Efficient Correspondence Prediction for Real
‑
Time SLAM)已证明可以在gpu上实时运行，该方法在图像中提取特征点，并对其进行描述，计算其二值化或者计算其特征周围向量的方式得到描述子，将其匹配。该方法虽然能在gpu上实现实时运行，但是由于其网络结构较为简单，对特征的提取深度不足，导致在低纹理等条件下，提取特征的精度较低并且数量不足，进而影响匹配结果，所以，该算法在算法精度上也有一定的提升和优化空间。
[0005]综上所述，需要设计一种轻量级的网络来解决现有技术中的问题，该网络需要去区分图像中大多数特征并完成匹配；同时要求网络结构，在符合降低计算力以及耗时要求的情况下，不过分损失算法精度，是一个具有挑战性的工作。
技术实现思路
[0006]鉴于
技术介绍
所存在的技术问题，本专利技术提供一种基于RepVGG轻量级网络的图像匹配方法，以RepVGG网络为基础，结合GCNv2网络的特点，针对图像匹配领域设计了一种结构简单、可读性强的轻量级特征匹配网络，节省算力的同时，使网络训练负担更小。
[0007]为了解决上述技术问题,本专利技术采取了如下技术方案来实现：
[0008]一种基于RepVGG轻量级网络的图像匹配方法，步骤为：
[0009]步骤S1、构建轻量级特征提取网络，提取多通道特征图。
[0010]步骤S2、从多通道特征图中提取特征点和计算描述子。
[0011]步骤S3、使用FLANN算法进行特征匹配。
[0012]步骤S4、采用改进的RANSAC算法剔除误匹配，得到最终匹配对。
[0013]优选地，步骤S1中，构建以RepVGG为骨干的下采样网络，采样特征图，方法如下：
[0014]S101.构建一个RepVGG
‑
block：构建多分支结构，输入P经过一次3x3卷积和一次BN归一化得到P1，网络参数为N1；同时让图像P经过一次1x1卷积和一次BN归一化得到P2，网络参数为N2；同时让P经过一次BN归一化得到恒等自身映射P3，网络参数为N3，记作Identity层；在Identity层分支设置判断A，
[0015]判断A：仅当该模块不改变特征通道数且卷积设置步长stride为1时，RepVGG
‑
block为正常结构，不改变；否则，删除此处Identity层分支，此时进行下采样；P1,P2,P3三者结果相加；随后使用GELU函数激活；
[0016]当网络处于训练阶段，上述RepVGG
‑
block结构不变；当网络处于部署模型推理阶段，则对判断A中两种RepVGG
‑
block的网络参数进行结构重参数化，将多分支网络结构合并为单路网络结构；
[0017]S102.使用RepVGG
‑
block构建轻量级下采样网络结构，将该RepVGG
‑
block模块堆叠8层，RepVGG
‑
block输入通道数定义为传入的特征通道数，输出通道数分别定义为[32,32,64,64,128,128,256,256]；其中1，3，5，7为下采样层；2,4,6,8,为正常RepVGG
‑
block结构；在第1层经过GELU函数激活后，加入CBAM模块；在第8层经过GELU函数激活后，加入CBAM模块，网络构建完成；将图像输入网络，得到通道数为256的特征图，定义为F。
[0018]优选地，步骤S2的分解步骤如下：
[0019]S201、将特征F分为两份F1，F2；F1使用sigmoid函数激活，得到预测概率图，记作convf；对于convf，通过PixelShuffle上采样，改变概率图的像素大小，使convf变为单通道且恢复至原始输入图像像素大小，记作ConvF；对ConvF执行非极大值抑制，记为NMS
‑
F，根据NMS
‑
F确定原始输入图像的特征点坐标，记作POS
‑
F；
[0020]S202、计算F2第一个通道的范数，F2除以此范数，得到低分辨率密集特征图，记作convd；以POS
‑
F为基础，对convd中对应的特征向量进行双线性采样，随后经过二值化方式sign提取每个特征点对应的二值化描述子，如下式：
[0021][0022]其中，z为特征图的坐标，f为convd中提取的压缩尺度的特征图；
[0023]结合二值化描述子sign(f)和特征点坐标POS
‑
F，提取出最终特征点；
[0024]S203：设置AdamW优化器，将以0、1为主的二值化描述子sign计算交叉损失熵函数，初始学习率选取为0.0001，最大迭代次数为100epochs，学习率每25epochs都将乘以系数0.55。
[0025]优选地，在步骤S3中，使用FLANN算法进行特征匹配时，将步骤S201中所得POS
‑
F以及S202中对应sign(f(z))以字典的方式保存，调用FLANN算法完成特征匹配。
[0026]优选地，步骤S4的操作如下：
[0027]将S3步骤得到的匹配点对集合记作s
n
，将匹配点对按质量从高到低进行顺序排列，从s
n
中取出前60％的点对记作集合M，当集合M中元素少于100时，将s
n
记作M；随后使用RANSAC算法从集合M随机选取4个点对计算单应性变换矩阵H，并筛选内点剔除误匹配；其中，特征点质量评价指标为S2中预测概率图NMS
‑
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于RepVGG轻量级网络的图像匹配方法，其特征在于包括以下步骤：步骤S1、构建轻量级特征提取网络，提取多通道特征图；步骤S2、从多通道特征图中提取特征点和计算描述子；步骤S3、使用FLANN算法进行特征匹配；步骤S4、采用改进的RANSAC算法剔除误匹配，得到最终匹配对。2.根据权利要求1所述的基于RepVGG轻量级网络的图像匹配方法，其特征在于：步骤S1中，构建以RepVGG为骨干的下采样网络，采样特征图，方法如下：S101.构建一个RepVGG
‑
block：构建多分支结构，输入P经过一次3x3卷积和一次BN归一化得到P1，网络参数为N1；同时让图像P经过一次1x1卷积和一次BN归一化得到P2，网络参数为N2；同时让P经过一次BN归一化得到恒等自身映射P3，网络参数为N3，记作Identity层；在Identity层分支设置判断A，判断A：仅当该模块不改变特征通道数且卷积设置步长stride为1时，RepVGG
‑
block为正常结构，不改变；否则，删除此处Identity层分支，此时进行下采样；P1,P2,P3三者结果相加；随后使用GELU函数激活；当网络处于训练阶段，上述RepVGG
‑
block结构不变；当网络处于部署模型推理阶段，则对判断A中两种RepVGG
‑
block的网络参数进行结构重参数化，将多分支网络结构合并为单路网络结构；S102.使用RepVGG
‑
block构建轻量级下采样网络结构，将该RepVGG
‑
block模块堆叠8层，RepVGG
‑
block输入通道数定义为传入的特征通道数，输出通道数分别定义为[32,32,64,64,128,128,256,256]；其中1，3，5，7为下采样层；2,4,6,8,为正常RepVGG
‑
block结构；在第1层经过GELU函数激活后，加入CBAM模块；在第8层经过GELU函数激活后，加入CBAM模块，网络构建完成；将图像输入网络，得到通道数为256的特征图，定义为F。3.根据权利要求1所述的基于RepVGG轻量级网络的图像匹配方法，其特征在于：步骤S2的分解步骤如下：S201、将特征F分为两份F1，F2；F1使用sigmoid函数激活，得到预测概率图，记作convf；对于convf，通过PixelShuffle上采样，改变概率图的像素大小，使convf变为单通道且恢复至原始输入图像像素大小，记作ConvF；对ConvF执行非极大值抑制，记为NMS
‑
F，根据NMS
‑
F确定原始输入图像的特征点坐标，记作POS
‑
F；S202、...
【专利技术属性】
技术研发人员：冉昌艳，李维文，
申请(专利权)人：三峡大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。