多模态图像特征匹配方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及图像处理技术领域，且公开了多模态图像特征匹配的方法、装置、设备及存储介质生成多种模态的助手；对输入的图像进行数据增强，根据提取的图像特征，选取对应的多模态图像助手协助通用的前馈神经网络进行同种模态图像的特征匹配；根据输入的图像情况，选取对应的跨模态的图像助手协助通用的前馈神经网络进行下一阶段的不同模态图像的特征匹配。该多模态图像特征匹配的方法、装置、设备及存储介质通过在海量的多模态图像数据上预训练，并在特定的任务上进行微调。在不需要进行大规模训练的情况下，既可以实现同种模态图像的特征匹配，也能够进行跨模态图像的特征匹配，提升了匹配的精度。

【技术实现步骤摘要】

本专利技术涉及图像处理，具体为多模态图像特征匹配方法、装置、设备及存储介质。

技术介绍

1、特征匹配作为计算机视觉的一项基本任务，用于建立不同图像中局部特征之间的对应关系，促进各种下游应用的发展，如图像融合、图像拼接和3d重建等。随着计算机视觉应用的普及，对各种多模态图像进行精确特征匹配的需求显著增长。研究人员在处理特定模态图像的任务时，需要针对对应模态图像训练合适的特征匹配方法。这个过程通常涉及使用大量的相关训练数据，导致大量的资源消耗。因此，开发一个统一的预训练综合模型来进行多模态图像的特征匹配变得越来越迫切。

2、预训练－微调方法的概念最初出现在自然语言处理领域。鉴于其卓越的性能，该方法迅速扩展到计算机视觉领域。这些预训练－微调方法可以减少所需的计算资源和时间，并能实现更有效的结果。然而，在多模态图像特征匹配领域，一直缺乏一个全面有效的预训练－微调的大模型

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本专利技术提供了多模态图像特征匹配方法、装置、设备及存储介质本文档来自技高网...

【技术保护点】

1.一种多模态图像特征匹配的方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的多模态图像特征匹配的方法，其特征在于：所述步骤S1中的预训练的具体步骤如下：

3.根据权利要求1所述的多模态图像特征匹配的方法，其特征在于：所述步骤S2中包括以下步骤：

4.根据权利要求3所述的多模态图像特征匹配的方法，其特征在于：所述步骤S2.1的数据增强过程包括对输入图像进行镜像、翻转和旋转。

5.根据权利要求1所述的多模态图像特征匹配的方法，其特征在于：所述步骤S3中通过多模态图像辅助Transformer跨模态共享的多头自注意力和交叉注意力机制对齐...

【技术特征摘要】

1.一种多模态图像特征匹配的方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的多模态图像特征匹配的方法，其特征在于：所述步骤s1中的预训练的具体步骤如下：

3.根据权利要求1所述的多模态图像特征匹配的方法，其特征在于：所述步骤s2中包括以下步骤：

4.根据权利要求3所述的多模态图像特征匹配的方法，其特征在于：所述步骤s2.1的数据增强过程包括对输入图像进行镜像、翻转和旋转。

5.根据权利要求1所述的多模态图像特征匹配的方法，其特征在于：所述步骤s3中通过多模态图像辅助transformer跨模态共享的多头自注意力和交叉注意力机制对齐一对图像的内容，具体表达式如下：

6.根据权利要求1所述的多模态图像特征匹配的方法，其特征在于：所述步骤s4中对不同模态图像的特征匹配包括以下两...

【专利技术属性】
技术研发人员：廖赟，赵培杰，邸一得，周豪，朱开军，
申请(专利权)人：云南览易网络科技有限责任公司，
类型：发明
国别省市：