当前位置: 首页 > 专利查询>武汉大学专利>正文

基于多模态数据的行人跟踪方法、装置、设备及存储介质制造方法及图纸

技术编号:45403743 阅读:37 留言:0更新日期:2025-05-30 17:57
公开了一种基于多模态数据的行人跟踪方法、装置、设备及存储介质,属于行人跟踪技术领域,该方法包括:获取第一区域在k时刻的多模态数据,多模态数据包括视频数据、RFID数据、Wi‑Fi数据、蓝牙数据和红外传感器数据;将多模态数据输入自适应加权模型中,并获取自适应加权模型输出的第一行人在k时刻的第一关节点集合;基于第一行人在k时刻的第一关节点集合,采用异质图卷积网络HGCN和基于时间注意力机制的时空图神经网络ST‑GNN确定第一行人的运动轨迹;基于第一行人的运动轨迹确定第一行人的行为模式,行为模式用于跟踪第一行人。该方法能够在复杂场景下准确地跟踪行人。

【技术实现步骤摘要】

本公开涉及行人跟踪,特别涉及一种基于多模态数据的行人跟踪方法、装置、设备及存储介质


技术介绍

1、现代智慧城市建设中,行人跟踪技术在城市公共安全、交通管理和应急响应中扮演了重要角色。传统视频监控系统虽已在这些场景中得到广泛应用,但在遮挡、光照变化及复杂场景中,视频数据往往难以提供稳定、准确的行人跟踪结果。

2、相关技术中的行人跟踪方法,通常是简单的滤波算法(如卡尔曼滤波算法等),难以在复杂和动态变化的环境中实现稳定的目标跟踪。当面对行人快速移动、图像被遮挡或者环境发生变化等复杂场景时,采用简单的滤波算法进行行人跟踪会导致跟踪精度下降。


技术实现思路

1、本公开提供了一种基于多模态数据的行人跟踪方法、装置、设备及存储介质,能够在复杂场景下准确地跟踪行人。所述技术方案至少包括如下方案:

2、第一方面,提供了一种基于多模态数据的行人跟踪方法,包括:获取第一区域在k时刻的多模态数据,所述多模态数据包括视频数据、rfid数据、wi-fi数据、蓝牙数据和红外传感器数据;将所述多模态数据输入自适应本文档来自技高网...

【技术保护点】

1.一种基于多模态数据的行人跟踪方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一行人包括n个关节点,所述多模态数据中包括至少一个图像模态,所述图像模态包括所述视频数据和所述红外传感器数据,

3.根据权利要求2所述的方法,其特征在于,所述基于所述第一区域在k时刻的多模态数据,确定所述第二关节点集合中每个关节点的自适应权重,包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1至4任一项所述的方法,其特征在于,所述基于所述第一行人在k时刻的第一关节点集合,采用异质图卷积网络HG...

【技术特征摘要】

1.一种基于多模态数据的行人跟踪方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一行人包括n个关节点,所述多模态数据中包括至少一个图像模态,所述图像模态包括所述视频数据和所述红外传感器数据,

3.根据权利要求2所述的方法,其特征在于,所述基于所述第一区域在k时刻的多模态数据,确定所述第二关节点集合中每个关节点的自适应权重,包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1至4任一项所述的方法,其特征在于,所述基于所述第一行人在k时刻的第一关节点集合,采用异质图卷积网络hgcn和基于时间注意力机制的时空图神经网络st-gnn确定所述第一行人的运动轨迹,包括:

6.根据权利要求...

【专利技术属性】
技术研发人员:杨丹阳孟庆祥
申请(专利权)人:武汉大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1