一种基于多模态融合与注意力机制的目标检测方法及系统技术方案

技术编号:41808570 阅读:28 留言:0更新日期:2024-06-24 20:28
本发明专利技术提供了一种基于多模态融合与注意力机制的目标检测方法及系统,该方法包括:对每一图像信息进行堆叠处理,以生成对应的目标图像信息;通过若干特征提取模块以及切片特征融合模块实时提取出目标图像信息中包含的若干目标特征图,并将最后三张特征图输入至预设第一算法中,以使预设第一算法输出对应的目标信息;实时检测出与目标信息对应的预测值以及真实值,并根据预测值以及真实值构建出对应的损失函数;对损失函数进行训练,以输出对应的网络权重文件,并构建出对应的多模态目标检测网络,以通过多模态目标检测网络实时确定出目标场景中的目标物体的位置。本发明专利技术能够快速的完成多模态数据的融合,提升了工作效率。

【技术实现步骤摘要】

本专利技术涉及人工智能,特别涉及一种基于多模态融合与注意力机制的目标检测方法及系统


技术介绍

1、随着科技的进步以及时代的发展,计算机技术已经在人们的日常生活中得到普及,并且已经在多个
得到了广泛的应用,对应提升了人们的工作效率。

2、其中,随着计算机技术中的深度学习方法的兴起,计算机视觉技术也取得了显著的发展,从而能够使计算机自动识别和分析图像中的对象、场景和特征,从而为后续的基于多模态融合与注意力机制的目标检测提供了强大的基础。

3、进一步的,现有的基于多模态融合与注意力机制的目标检测技术是医学影像分析、智能交通系统等领域中必不可少的环节,并且现有的图像多模态技术的发展需要计算机视觉、自然语言处理以及音频处理等多个领域的交叉合作,以整合和理解出不同模态的数据,而这些数据能够用于改进各种应用的性能。

4、因此,针对现有技术的不足,提供一种能够简单、快速的融合多模态数据的方法很有必要。


技术实现思路

1、基于此,本专利技术的目的是提供一种基于多模态融合与注意力机制的本文档来自技高网...

【技术保护点】

1.一种基于多模态融合与注意力机制的目标检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于多模态融合与注意力机制的目标检测方法,其特征在于:所述通过特征提取模块以及切片特征融合模块实时提取出所述目标图像信息中包含的若干目标特征图的步骤包括:

3.根据权利要求2所述的基于多模态融合与注意力机制的目标检测方法,其特征在于:所述将所述目标图像信息依次通过1x1卷积、空间特征提取模块、通道特征提取模块以及1x1卷积,以输出对应的初始特征图的步骤包括:

4.根据权利要求3所述的基于多模态融合与注意力机制的目标检测方法,其特征在于:所述根据所述筛选...

【技术特征摘要】

1.一种基于多模态融合与注意力机制的目标检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于多模态融合与注意力机制的目标检测方法,其特征在于:所述通过特征提取模块以及切片特征融合模块实时提取出所述目标图像信息中包含的若干目标特征图的步骤包括:

3.根据权利要求2所述的基于多模态融合与注意力机制的目标检测方法,其特征在于:所述将所述目标图像信息依次通过1x1卷积、空间特征提取模块、通道特征提取模块以及1x1卷积,以输出对应的初始特征图的步骤包括:

4.根据权利要求3所述的基于多模态融合与注意力机制的目标检测方法,其特征在于:所述根据所述筛选向量对应生成所述初始特征图的步骤包括:

5.根据权利要求4所述的基于多模态融合与注意力机制的目标检测方法,其特征在于:所述通过特征提取模块以及切片特征融合模块实时提取出所述目标图像信息中包含的若干目标特征图的步骤还包括:

6.根据权利要求5所述...

【专利技术属性】
技术研发人员:王辉姜朱丰朱云丽刘智勇范自柱罗国亮杨辉
申请(专利权)人:华东交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1