一种多模图像特征协同检索方法技术

技术编号:41623230 阅读:26 留言:0更新日期:2024-06-13 02:23
本发明专利技术公开了一种多模图像特征协同检索方法,包括以下步骤:S1.对图像库里的图像进行线下特征提取以建立包括语义特征库和形态特征库的图像特征库;S2.构建语义特征提取模块和形态特征提取模块;S3.对语义特征提取模块和形态特征提取模块进行模型训练;S4.通过语义特征提取模块提取查询图像的语义特征;通过形态特征提取模块提取查询图像的形态特征;S5.将查询图像的语义特征和形态特征与图像特征库的语义特征库和形态特征库进行计算以实现协同检索,得出检索结果。本发明专利技术提供一种更为全面、灵活且高效的方法,提高图像检索的准确性和适用性,以满足不断增长的多领域图像检索需求。

【技术实现步骤摘要】

本专利技术涉及图像检索,具体涉及一种多模图像特征协同检索方法


技术介绍

1、传统的图像检索方法主要基于单一特征,例如颜色直方图、纹理特征或局部特征点等。尽管这些方法在某些情境下表现出色,但它们往往难以全面捕捉图像的语义信息和形态结构,限制了检索的准确性和鲁棒性。

2、随着深度学习技术的发展,基于神经网络的图像特征提取方法逐渐崭露头角。卷积神经网络(cnn)等深度学习架构在图像识别任务上取得了显著的成功,能够学习到更具有表征能力的特征表示。基于分类任务的特征抽取模型提取出来的特征具备搜索语义相似实例的能力,但是搜索结果中往往会出现与查询实例形态结构不相似的情况。相反基于形态特征自编码模型提取的特征在形态相似搜索任务中效果较好,但是不具备语义搜索能力。

3、多模态技术是指在同一系统或任务中同时利用和处理多种不同的感知模式或特征。这些感知模式可以包括不同的数据类型、传感器来源或特征表示。多模态方法旨在通过整合这些不同的信息源,提供更全面、准确和鲁棒的解决方案。多模态技术的一个关键方面是特征融合,即将来自不同感知模式的特征结合在一起。这有本文档来自技高网...

【技术保护点】

1.一种多模图像特征协同检索方法,其特征在于:包括以下步骤:

2.根据权利要求1所述的一种多模图像特征协同检索方法,其特征在于:所述步骤S2中的语义特征提取模块采用基于分类任务的MobileNetV3模型,形态特征提取模块采用基于自编码器的Encoder模型。

3.根据权利要求2所述的一种多模图像特征协同检索方法,其特征在于:所述步骤步骤S2中的语义特征提取模块包括:

4.根据权利要求2所述的一种多模图像特征协同检索方法,其特征在于:所述步骤S2中的形态特征提取模块包括:

5.根据权利要求1所述的一种多模图像特征协同检索方法,其特征在于:所...

【技术特征摘要】

1.一种多模图像特征协同检索方法,其特征在于:包括以下步骤:

2.根据权利要求1所述的一种多模图像特征协同检索方法,其特征在于:所述步骤s2中的语义特征提取模块采用基于分类任务的mobilenetv3模型,形态特征提取模块采用基于自编码器的encoder模型。

3.根据权利要求2所述的一种多模图像特征协同检索方法,其特征在于:所述步骤步骤s2中的语义特征提取模块包括:

4.根据权利要求2所述的一种多模图像特征协同检索方...

【专利技术属性】
技术研发人员:戚永军耿娟平刘东然贾正正宋媛萌
申请(专利权)人:北华航天工业学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1