一种多模态实时目标检测与跟踪系统技术方案

本发明专利技术涉及目标检测与跟踪技术领域，且公开了一种多模态实时目标检测与跟踪系统，多模态数据采集模块，集成高清摄像头、毫米波雷达、激光雷达和红外传感器，用于从视觉图像、距离速度角度、三维点云、热辐射等多维度采集目标信息；数据预处理模块，对所述多模态数据采集模块获取的原始数据进行去噪、增强、归一化、滤波、坐标转换、温度校正处理。本发明专利技术通过集成多种传感器采集多维度数据，经预处理后利用分层融合与注意力机制实现高效融合，检测模块结合改进算法与动态阈值，跟踪模块融合多特征并具备在线学习能力，系统控制模块实现智能管理，该系统大幅提升检测跟踪准确性、实时性与稳定性，创新技术优势显著，为相关领域提供新方案。

【技术实现步骤摘要】

本专利技术涉及目标检测与跟踪，更具体地涉及一种多模态实时目标检测与跟踪系统。

技术介绍

1、目前，目标检测与跟踪技术在安防监控、自动驾驶、智能机器人等众多领域有着广泛应用。传统的单模态目标检测与跟踪系统，如仅依赖摄像头的视觉检测系统，受光照、遮挡、视角等因素影响较大，在复杂环境下检测与跟踪的准确性和稳定性较差；而仅基于雷达等传感器的系统，虽然对环境适应性较强，但在目标特征识别方面存在不足，难以精确区分不同类型的目标。多模态目标检测与跟踪系统虽然有所发展，但现有的多模态系统存在数据融合效率低、算法难以自适应不同场景和目标变化、实时性不足等问题，无法满足复杂多变环境下对目标检测与跟踪高精度、高实时性的要求。因此，亟需一种多模态实时目标检测与跟踪系统以解决上述问题。

技术实现思路

1、为了克服现有技术的上述缺陷，本专利技术提供了一种多模态实时目标检测与跟踪系统，以解决上述
技术介绍
中存在的问题。

2、本专利技术提供如下技术方案：一种多模态实时目标检测与跟踪系统，包括：

3、多模态数据采集模块，本文档来自技高网...

【技术保护点】

1.一种多模态实时目标检测与跟踪系统，其特征在于：包括：

2.根据权利要求1所述的一种多模态实时目标检测与跟踪系统，其特征在于：所述多模态数据融合模块中，数据层融合是将摄像头图像数据、毫米波雷达和激光雷达点云数据、红外传感器热图像数据按规则合并；特征层融合时，利用卷积神经网络提取图像和红外数据特征，利用PointNet等点云处理网络提取毫米波雷达和激光雷达数据特征，再通过全连接层融合特征向量；决策层融合采用加权投票方式，根据各传感器在不同场景下的性能表现分配权重。

3.根据权利要求1所述的一种多模态实时目标检测与跟踪系统，其特征在于：所述目标检测模块中，改进的YO...

【技术特征摘要】

1.一种多模态实时目标检测与跟踪系统，其特征在于：包括：

2.根据权利要求1所述的一种多模态实时目标检测与跟踪系统，其特征在于：所述多模态数据融合模块中，数据层融合是将摄像头图像数据、毫米波雷达和激光雷达点云数据、红外传感器热图像数据按规则合并；特征层融合时，利用卷积神经网络提取图像和红外数据特征，利用pointnet等点云处理网络提取毫米波雷达和激光雷达数据特征，再通过全连接层融合特征向量；决策层融合采用加权投票方式，根据各传感器在不同场景下的性能表现分配权重。

3.根据权利要求1所述的一种多模态实时目标检测与跟踪系统，其特征在于：所述目标检测模块中，改进的yolo算法与transformer结构结合的多模态目标检测模型，通过增加多模态特征融合层，对多模态数据融合模块输出的特征表示进行进一步融合和特征提取。

4.根据权利要求1所述的一种多模态实时目标检测与跟踪系统，其特征在于：所述目标跟踪模块中，视觉特征包括颜色直方图和hog特征，运动特征通过计算目标在连续帧中的位置变化得到速度和加速度，空间特征为目标的位置坐标和尺寸信息。

5.根据权利要求1所述的一种多模态实时目标检测与跟踪系统，其特征在于：所述系统控制与管理模块采用嵌入式控制系统，通过编写控制程序实现对系统的运行控制和资源管...

【专利技术属性】
技术研发人员：李昊亮，
申请(专利权)人：厦门大学马来西亚分校，
类型：发明
国别省市：