一种行为识别方法、装置、设备及存储介质制造方法及图纸

技术编号:45510079 阅读:21 留言:0更新日期:2025-06-13 17:16
本发明专利技术公开一种行为识别方法、装置、设备及存储介质,该方法包括:获取待处理视频中的若干个视频帧;利用预设的姿态估计网络获取若干个所述视频帧中待识别对象的骨骼序列数据;根据所述骨骼序列数据和预设的不同行为所对应的关节点先验拓扑连接结构,利用图神经网络从若干个所述视频帧中提取所述待识别对象的运动特征;从若干个所述视频帧中提取所述待识别对象与其所交互的物品的视觉特征;将所述运动特征和所述视觉特征融合为多模态行为特征,并根据所述多模态行为特征对所述待识别对象进行行为识别,获得行为识别结果。本发明专利技术能够提高行为识别的准确性和有效性。

【技术实现步骤摘要】

本专利技术涉及计算机视觉,尤其是涉及一种行为识别方法、装置、电子设备及计算机可读存储介质。


技术介绍

1、行为识别作为计算机视觉中的一个基本问题,具有广阔的应用前景,例如:智能监控、人机交互的体感游戏、视频检索等,因而引起了业内的广泛关注。

2、现有的行为识别方法通常基于骨骼序列进行识别或者基于视频进行识别,其中,基于骨骼序列进行行为识别的方式是从行为的运动模式中进行识别,然而,其对于具有相同运动模式的行为无法有效地进行区分,例如“喝水”和“吃东西”,这两种行为具有相同的运动模式,如果增加样本进行学习,会容易产生过拟合现象;基于视频进行行为识别的方式由于需要同时从时间和空间上进行视觉特征的建模,因此该方式对于网络规模和训练时间具有较高的要求,且收敛情况不理想。因此,现有的行为识别方法难以有效、准确地实现行为识别。


技术实现思路

1、本专利技术提供一种行为识别方法、装置、设备及存储介质,以解决现有的行为识别方法难以有效、准确地实现行为识别的技术问题。

2、为了解决上述技术问题,本专利技术本文档来自技高网...

【技术保护点】

1.一种行为识别方法,其特征在于,包括:

2.如权利要求1所述的行为识别方法,其特征在于,所述方法具体通过如下步骤获取不同行为所对应的关节点先验拓扑连接结构:

3.如权利要求2所述的行为识别方法,其特征在于,所述根据所述骨骼序列数据和预设的不同行为所对应的关节点先验拓扑连接结构,利用图神经网络从若干个所述视频帧中提取所述待识别对象的运动特征,具体包括:

4.如权利要求1所述的行为识别方法,其特征在于,所述从若干个所述视频帧中提取所述待识别对象与其所交互的物品的视觉特征,具体包括:

5.如权利要求4所述的行为识别方法,其特征在于,所述计算各个...

【技术特征摘要】

1.一种行为识别方法,其特征在于,包括:

2.如权利要求1所述的行为识别方法,其特征在于,所述方法具体通过如下步骤获取不同行为所对应的关节点先验拓扑连接结构:

3.如权利要求2所述的行为识别方法,其特征在于,所述根据所述骨骼序列数据和预设的不同行为所对应的关节点先验拓扑连接结构,利用图神经网络从若干个所述视频帧中提取所述待识别对象的运动特征,具体包括:

4.如权利要求1所述的行为识别方法,其特征在于,所述从若干个所述视频帧中提取所述待识别对象与其所交互的物品的视觉特征,具体包括:

5.如权利要求4所述的行为识别方法,其特征在于,所述计算各个所述候选框与所述边界框之间的面积交并比,具体包括:

6.如权利要求1所述的行为识别方法,其特征在于,所述...

【专利技术属性】
技术研发人员:谢雪梅钟雨彤
申请(专利权)人:西安电子科技大学广州研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1