System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 图像匹配方法、装置、设备以及计算机存储介质制造方法及图纸_技高网

图像匹配方法、装置、设备以及计算机存储介质制造方法及图纸

技术编号:40533001 阅读:6 留言:0更新日期:2024-03-01 13:54
本发明专利技术实施例涉及计算机数据处理技术领域,公开了一种图像匹配方法、装置、设备以及计算机存储介质,该方法包括:分别提取各张待匹配图像在至少三个预设的尺度下的特征图像,得到每张待匹配图像在各个尺度的特征图像;按尺度的升序,对两张待匹配图像在各个尺度下的特征图像进行图像匹配,直至得到最大尺度的两张特征图像之间的匹配置信度矩阵;图像匹配包括:将当前尺度的特征图像在目标区域的特征描述子基于注意力机制融合到另一张待匹配图像中;根据最大尺度的两张特征图像之间的匹配置信度矩阵对两张待匹配图像中的像素点进行筛选,得到两张待匹配图像之间的匹配像素点的信息。通过上述方式,本发明专利技术实施例提高了图像匹配的准确率。

【技术实现步骤摘要】

本专利技术实施例涉及计算机数据处理,具体涉及一种图像匹配方法、装置、设备以及计算机存储介质


技术介绍

1、图像的特征匹配是计算机视觉和数字图像处理领域的核心技术之一。它指的是从图像中提取特征点,并将这些特征点与另一图像中的特征点进行匹配的过程,以确定两图像间的关系或相对运动。特征匹配常用于图像拼接、物体识别、三维重建以及运动估计等应用。特征匹配在现代计算机视觉领域起到了举足轻重的作用,是连接低级图像处理和高级视觉应用的桥梁。

2、在实施现有技术的过程中,申请人发现:现有的图像特征匹配一般只是在单一个粒度上对两张待匹配图像进行特征匹配,其存在的问题的问题在于:单一粒度的视角有限、待匹配图像的细节丢失较多,由此导致现有的图像匹配的准确率较低。


技术实现思路

1、鉴于上述问题,本专利技术实施例提供了一种图像匹配方法、装置、设备以及计算机存储介质,用于解决现有技术中存在的图像匹配的准确率较低的问题。

2、根据本专利技术实施例的一个方面,提供了一种图像匹配方法,所述方法包括:

3、获取两张待匹配图像;

4、分别提取各张所述待匹配图像在至少三个预设的尺度下的特征图像,得到每张待匹配图像在各个尺度的特征图像;

5、按所述尺度的升序,对两张待匹配图像在各个所述尺度下的所述特征图像进行图像匹配,直至得到最大尺度的两张所述特征图像之间的匹配置信度矩阵;所述匹配置信度矩阵用于表征两张所述特征图像中的各个对应像素点之间的置信度;所述图像匹配包括:将当前尺度的所述特征图像在目标区域的特征描述子基于注意力机制融合到另一张所述待匹配图像中,得到当前尺度的两张特征图像分别对应的融合后特征描述子;其中,所述目标区域通过将上一尺度的所述两张特征图像对应的所述匹配置信度矩阵中匹配置信度大于预设置信度阈值的像素点,对应映射到所述当前尺度的两张特征图像中得到;根据所述当前尺度的所述两张特征图像分别的融合后特征描述子之间的相似度,确定所述当前尺度的所述两张特征图像之间的所述匹配置信度矩阵;

6、根据所述最大尺度的两张所述特征图像之间的匹配置信度矩阵对两张所述待匹配图像中的像素点进行筛选,得到所述两张待匹配图像之间的匹配像素点的信息。

7、在一种可选的方式中,所述方法还包括:

8、针对当前尺度的第一特征图像,根据上一尺度的两张特征图像之间的所述匹配置信度矩阵对当前尺度的第二特征图像进行加权处理,得到所述第一特征图像对应的交叉注意力特征;所述第一特征图像为所述两张所述特征图像中的任一张,所述第二特征图像为所述两张所述特征图像中除所述第一特征图像外的一张;

9、将所述交叉注意力特征与所述第一特征图像进行特征融合,得到所述第一特征图像对应的所述融合后特征描述子。

10、在一种可选的方式中,所述方法还包括:

11、针对上一尺度的第一特征图像,将所述上一尺度的第一特征图像与第二特征图像中匹配置信度大于预设置信度阈值的像素点确定为所述上一尺度的第一特征图像内的初始匹配像素点;

12、根据互近邻算法对上一尺度的所述第一特征图像与第二特征图像中的初始匹配像素点进行协同过滤,得到上一尺度的两张特征图像之间的目标匹配像素点;

13、将所述目标匹配像素点映射到所述当前尺度下的所述两张特征图像中,得到所述目标区域。

14、在一种可选的方式中,所述方法还包括:

15、将所述待匹配图像输入预设的金字塔卷积网络,得到各个所述尺度的所述特征图像;其中,所述金字塔卷积网络包括多个纵向连接的第一卷积层,各个所述第一卷积层分别横向连接目标数量的第二卷积层;一个所述第一卷积层对应于一个所述尺度;所述目标数量根据所述第一卷积层对应的尺度大小确定;所述待匹配图像经过所述第一卷积层以及所述第二卷积层后,得到所述第一卷积层对应的尺度下的所述特征图像。

16、在一种可选的方式中,所述方法还包括:

17、按所述尺度的升序,各个当前尺度对应的倒数第二个所述第二卷积层与上一尺度的最后一个第二卷积层的输出融合后,输出至当前尺度对应的最后一个第二卷积层,其中,所述倒数第二个第二卷积层为1×1卷积层。

18、在一种可选的方式中,所述方法还包括:

19、所述上一尺度的最后一个第二卷积层的输出进行上采样后与所述当前尺度对应的倒数第二个所述第二卷积层进行融合,得到所述当前尺度对应的最后一个第二卷积层的输入,其中,所述最后一个第二卷积层为3×3卷积层。

20、在一种可选的方式中,所述方法还包括:

21、将所述各个所述尺度的两张所述特征图像分别输入预设的transformer模型,得到各个尺度的各个所述特征图像的所述特征描述子;其中,所述transformer模型包括依次连接的第一归一化层、多头注意力层、第二归一化层以及多层感知器;所述特征图像经过第一归一化层及多头注意力层的输出与所述特征图像融合后输入所述第二归一化层,所述特征图像经过第一归一化层及多头注意力层的输出与所述多层感知器的输出融合后作为所述transformer模型的输出。

22、根据本专利技术实施例的另一方面,提供了一种图像匹配装置,包括:

23、获取模块,用于获取两张待匹配图像;

24、提取模块,用于分别提取各张所述待匹配图像在至少三个预设的尺度下的特征图像,得到每张待匹配图像在各个尺度的特征图像;

25、匹配模块,用于按所述尺度的升序,对两张待匹配图像在各个所述尺度下的所述特征图像进行图像匹配,直至得到最大尺度的两张所述特征图像之间的匹配置信度矩阵;所述匹配置信度矩阵用于表征两张所述特征图像中的各个对应像素点之间的置信度;所述图像匹配包括:将当前尺度的所述特征图像在目标区域的特征描述子基于注意力机制融合到另一张所述待匹配图像中,得到当前尺度的两张特征图像分别对应的融合后特征描述子;其中,所述目标区域通过将上一尺度的所述两张特征图像对应的所述匹配置信度矩阵中匹配置信度大于预设置信度阈值的像素点,对应映射到所述当前尺度的两张特征图像中得到;根据所述当前尺度的所述两张特征图像分别的融合后特征描述子之间的相似度,确定所述当前尺度的所述两张特征图像之间的所述匹配置信度矩阵;

26、筛选模块,用于根据所述最大尺度的两张所述特征图像之间的匹配置信度矩阵对两张所述待匹配图像中的像素点进行筛选,得到所述两张待匹配图像之间的匹配像素点的信息。

27、根据本专利技术实施例的另一方面,提供了一种图像匹配设备,包括:

28、处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;

29、所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如前述任意一项所述的图像匹配方法实施例的操作。

30、根据本专利技术实施例的又一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一可执行指令本文档来自技高网...

【技术保护点】

1.一种图像匹配方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述按所述尺度的升序,对两张待匹配图像在各个所述尺度下的所述特征图像进行图像匹配,直至得到最大尺度的两张所述特征图像之间的匹配置信度矩阵,包括:

3.根据权利要求1所述的方法,其特征在于,所述按所述尺度的升序,对两张待匹配图像在各个所述尺度下的所述特征图像进行图像匹配,直至得到最大尺度的两张所述特征图像之间的匹配置信度矩阵,包括:

4.根据权利要求1所述的方法,其特征在于,所述分别提取各张所述待匹配图像在至少三个预设的尺度下的特征图像,得到每张待匹配图像在各个尺度的特征图像,包括:

5.根据权利要求4所述的方法,其特征在于,按所述尺度的升序,各个当前尺度对应的倒数第二个所述第二卷积层与上一尺度的最后一个第二卷积层的输出融合后,输出至当前尺度对应的最后一个第二卷积层,其中,所述倒数第二个第二卷积层为1×1卷积层。

6.根据权利要求5所述的方法,其特征在于,所述上一尺度的最后一个第二卷积层的输出进行上采样后与所述当前尺度对应的倒数第二个所述第二卷积层进行融合,得到所述当前尺度对应的最后一个第二卷积层的输入,其中,所述最后一个第二卷积层为3×3卷积层。

7.根据权利要求1所述的方法,其特征在于,所述按所述尺度的升序,对两张待匹配图像在各个所述尺度下的所述特征图像进行图像匹配,直至得到最大尺度的两张所述特征图像之间的匹配置信度矩阵,包括:

8.一种图像匹配装置,其特征在于,所述装置包括:

9.一种图像匹配设备,其特征在于,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;

10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一可执行指令,所述可执行指令在图像匹配设备上运行时,使得图像匹配设备执行如权利要求1-7任意一项所述的图像匹配方法的操作。

...

【技术特征摘要】

1.一种图像匹配方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述按所述尺度的升序,对两张待匹配图像在各个所述尺度下的所述特征图像进行图像匹配,直至得到最大尺度的两张所述特征图像之间的匹配置信度矩阵,包括:

3.根据权利要求1所述的方法,其特征在于,所述按所述尺度的升序,对两张待匹配图像在各个所述尺度下的所述特征图像进行图像匹配,直至得到最大尺度的两张所述特征图像之间的匹配置信度矩阵,包括:

4.根据权利要求1所述的方法,其特征在于,所述分别提取各张所述待匹配图像在至少三个预设的尺度下的特征图像,得到每张待匹配图像在各个尺度的特征图像,包括:

5.根据权利要求4所述的方法,其特征在于,按所述尺度的升序,各个当前尺度对应的倒数第二个所述第二卷积层与上一尺度的最后一个第二卷积层的输出融合后,输出至当前尺度对应的最后一个第二卷积层,其中,所述倒数第二个第二卷积层为1×1卷积层。

...

【专利技术属性】
技术研发人员:祁晓婷樊治国
申请(专利权)人:青岛高重信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1