图像特征匹配方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种图像特征匹配方法、装置、设备及存储介质，该方法包括获取第一模态样本图像和第二模态样本图像的关键点，匹配对应的关键图像块；提取关键图像块的特征，对第一模态样本图像和第二模态样本图像对应的特征进行匹配；根据匹配概率，调整策略梯度网络，并返回执行提取关键图像块的特征与特征匹配，直至训练收敛，获得图像特征匹配模型；利用图像特征匹配模型对第一模态匹配图像和第二模态匹配图像进行图像特征匹配。本发明专利技术通过匹配不同模态样本图像中关键图像块的特征，根据匹配概率，调整策略梯度网络，迭代训练直至收敛，获得对不同模态图像进行图像特征匹配的模型，解决了目前多模态图像的特征匹配能力与精准度不高的技术问题。度不高的技术问题。度不高的技术问题。

【技术实现步骤摘要】
图像特征匹配方法、装置、设备及存储介质


[0001]本专利技术涉及图像处理
，尤其涉及到一种图像特征匹配方法、装置、设备及存储介质。

技术介绍

[0002]图像间的特征匹配是计算机视觉中的一个重要的问题，特别是对于具有不同形态的图像。图像分类、图像拼接、图像融合、图像匹配等图像处理任务都是在匹配好的图像上进行的，因此设计一种高效的特征匹配方法是非常重要的。
[0003]多模态图像主要包括光学图像、SAR图像、近红外图像、短波红外图像和深度图像等。不同模态图像在成像机理、几何特征、辐射特征等方面都有较大的区别。因此，如何提高多模态图像的特征匹配能力与精准度，是一个亟需解决的技术问题。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0005]本专利技术的主要目的在于提供一种图像特征匹配方法、装置、设备及存储介质，旨在解决目前多模态图像的特征匹配能力与精准度不高的技术问题。
[0006]为实现上述目的，本专利技术提供一种图像特征匹配方法，所述方法包括以下步骤：获取第一模态样本图像和第二模态样本图像的关键点，匹配所述关键点在第一模态样本图像和第二模态样本图像中对应的关键图像块；提取所述关键图像块的特征，对所述第一模态样本图像和所述第二模态样本图像对应的特征进行匹配；根据所述匹配的匹配概率，调整策略梯度网络，并返回执行提取所述关键图像块的特征，对所述第一模态样本图像和所述第二模态样本图像对应的特征进行匹配步骤，直至训练收敛，获得图像特征匹配模型；在接收到第一模态匹配图像和第二模态匹配图像时，利用所述图像特征匹配模型对第一模态匹配图像和第二模态匹配图像进行图像特征匹配。
[0007]可选的，所述获取第一模态样本图像和第二模态样本图像的关键点步骤，具体为：将第一模态样本图像和第二模态样本图像转化为灰度图像，利用高斯差分算法对所述灰度图像进行处理，获得每个像素点的DOG值；基于所述DOG值，获取第一模态样本图像和第二模态样本图像的关键点；其中，所述关键点的DOG值为其所有相邻像素点的最大值或最小值。
[0008]可选的，所述提取所述关键图像块的特征步骤，具体为：基于初始的策略梯度网络，提取所述关键图像块的特征；其中，所述初始的策略梯度网络包括UNet网络和Transformer网络，所述特征包括第一模态样本图像对应的输出特征 和第二模态样本图像 对应的输出特征 。
[0009]可选的，第一模态样本图像和第二模态样本图像对应的特征的匹配概率采用dual
‑
softmax算法获得，所述匹配概率的表达式，具体为：其中，为匹配概率，i和j均为单位向量，S为对齐横向和纵向每个维度的每个位置运行一次Softmax算法。
[0010]可选的，所述根据所述匹配的匹配概率，调整策略梯度网络步骤，具体包括：当所述匹配概率大于阈值μ，且对应的第一模态样本图像和第二模态样本图像为正例，给予奖励α，α为正值；当所述匹配概率小于阈值μ，且对应的第一模态样本图像和第二模态样本图像为负例，给予奖励β，β为0；当所述匹配概率与阈值μ、对应的第一模态样本图像和第二模态样本图像满足其他情况时，给予奖励γ。
[0011]可选的，所述γ的表达式，具体为：其中，γ为奖励值，epoch为迭代次数，n为奖励值设置为0的周期数。
[0012]可选的，所述策略梯度网络中策略梯度的表达式，具体为： +其中，E为期望，为梯度，为动作|状态序列，所述动作为：第一模态样本图像和第二模态样本图像的匹配，所述状态为：输出特征和输出特征，为输出特征与输出特征的匹配参数，为输出特征与输出特征匹配对应的奖励。
[0013]此外，为了实现上述目的，本专利技术还提供了一种图像特征匹配装置，所述图像特征匹配装置包括：匹配模块，用于获取第一模态样本图像和第二模态样本图像的关键点，匹配所述关键点在第一模态样本图像和第二模态样本图像中对应的关键图像块；提取模块，用于提取所述关键图像块的特征，对所述第一模态样本图像和所述第二模态样本图像对应的特征进行匹配；迭代模块，用于根据所述匹配的匹配概率，调整策略梯度网络，并返回执行提取所述关键图像块的特征，对所述第一模态样本图像和所述第二模态样本图像对应的特征进行匹配步骤，直至训练收敛，获得图像特征匹配模型；匹配模块，用于在接收到第一模态匹配图像和第二模态匹配图像时，利用所述图像特征匹配模型对第一模态匹配图像和第二模态匹配图像进行图像特征匹配。
[0014]此外，为了实现上述目的，本专利技术还提供了一种图像特征匹配设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像特征匹配程序，所述图像特征匹配程序被所述处理器执行时实现上述的图像特征匹配方法的步骤。
[0015]此外，为了实现上述目的，本专利技术还提供了一种存储介质，所述存储介质上存储有图像特征匹配程序，所述图像特征匹配程序被处理器执行时实现上述的图像特征匹配方法的步骤。
[0016]本专利技术实施例提出的一种图像特征匹配方法、装置、设备及存储介质，该方法包括获取第一模态样本图像和第二模态样本图像的关键点，匹配对应的关键图像块；提取关键图像块的特征，对第一模态样本图像和第二模态样本图像对应的特征进行匹配；根据匹配概率，调整策略梯度网络，并返回执行提取关键图像块的特征与特征匹配，直至训练收敛，获得图像特征匹配模型；利用图像特征匹配模型对第一模态匹配图像和第二模态匹配图像进行图像特征匹配。本专利技术通过匹配不同模态样本图像中关键图像块的特征，根据匹配概率，调整策略梯度网络，迭代训练直至收敛，获得对不同模态图像进行图像特征匹配的模型，解决了目前多模态图像的特征匹配能力与精准度不高的技术问题。
附图说明
[0017]图1为本专利技术实施例中一种图像特征匹配设备的结构示意图。
[0018]图2为本专利技术图像特征匹配方法实施例的流程示意图。
[0019]图3是本专利技术实施例的SEN12MS数据集下相同场景NIR
‑
RGB模态的多种方法的平均匹配精确率对比图。
[0020]图4是本专利技术实施例的SEN12MS数据集下相同场景SAR
‑
SWIR模态的多种方法的平均匹配精确率对比图。
[0021]图5是本专利技术实施例的SEN12MS数据集下相同场景SAR
‑
NIR模态的多种方法的平均匹配精确率对比图。
[0022]图6是本专利技术实施例的SEN12MS数据集下相同场景NIR
‑
SWIR模态的多种方法的平均匹配精确率对比图。
[0023]图7是本专利技术实施例的NYU
‑
Depth V2数据集下不同场景不同模态的多种方法的平均匹配精确率对比图。
[0024]图8是本专利技术实施例的Optical
‑
SAR数据集下不同场景不同模态的多种方法的平均匹配精确率对比图。
[0025]图9是本专利技术实施例的RGB
‑
...

【技术保护点】

【技术特征摘要】
1.一种图像特征匹配方法，其特征在于，所述方法包括以下步骤：获取第一模态样本图像和第二模态样本图像的关键点，匹配所述关键点在第一模态样本图像和第二模态样本图像中对应的关键图像块；提取所述关键图像块的特征，对所述第一模态样本图像和所述第二模态样本图像对应的特征进行匹配；根据所述匹配的匹配概率，调整策略梯度网络，并返回执行提取所述关键图像块的特征，对所述第一模态样本图像和所述第二模态样本图像对应的特征进行匹配步骤，直至训练收敛，获得图像特征匹配模型；在接收到第一模态匹配图像和第二模态匹配图像时，利用所述图像特征匹配模型对第一模态匹配图像和第二模态匹配图像进行图像特征匹配。2.如权利要求1所述的图像特征匹配方法，其特征在于，所述获取第一模态样本图像和第二模态样本图像的关键点步骤，具体为：将第一模态样本图像和第二模态样本图像转化为灰度图像，利用高斯差分算法对所述灰度图像进行处理，获得每个像素点的DOG值；基于所述DOG值，获取第一模态样本图像和第二模态样本图像的关键点；其中，所述关键点的DOG值为其所有相邻像素点的最大值或最小值。3.如权利要求1所述的图像特征匹配方法，其特征在于，所述提取所述关键图像块的特征步骤，具体为：基于初始的策略梯度网络，提取所述关键图像块的特征；其中，所述初始的策略梯度网络包括UNet网络和Transformer网络，所述特征包括第一模态样本图像对应的输出特征和第二模态样本图像对应的输出特征。4.如权利要求3所述的图像特征匹配方法，其特征在于，第一模态样本图像和第二模态样本图像对应的特征的匹配概率采用dual
‑
softmax算法获得，所述匹配概率的表达式，具体为：其中，为匹配概率，i和j均为单位向量，S为对齐横向和纵向每个维度的每个位置运行一次Softmax算法。5.如权利要求4所述的图像特征匹配方法，其特征在于，所述根据所述匹配的匹配概率，调整策略梯度网络步骤，具体包括：当所述匹配概率大于阈值μ，且对应的第一模态样本图像和第二模态样本图像为正例，给予...

【专利技术属性】
技术研发人员：廖赟，周豪，邸一得，朱开军，
申请(专利权)人：云南览易网络科技有限责任公司，
类型：发明
国别省市：