基于场景图信息精炼与压缩的人物物交互动作检测方法技术

技术编号:40833685 阅读:24 留言:0更新日期:2024-04-01 14:57
本发明专利技术公开了一种基于场景图信息精炼与压缩的人物物交互动作检测方法,包括S1:获取待检测视频,提取待检测视频的帧图像数据;S2:根据帧图像数据,利用场景图生成算法,生成场景图结构,获取场景图特征;S3:基于场景图特征进行双分支人物物交互特征提取;S4:基于场景图特征进行长期时空特征提取;S5:根据得到的两个分支的特征以及提取的长期时空特征,进行特征融合操作,并输入到分类器中进行分类。本发明专利技术通过双分支人物物交互动作检测,提高了在交互物体被遮挡时人物物交互行为检测的准确率。

【技术实现步骤摘要】

本专利技术涉及计算机视觉,特别涉及一种基于场景图信息精炼与压缩的人物物交互动作检测方法


技术介绍

1、人物物交互动作是指一个人与两个物体在时序上连续发生交互的行为,例如:人拿着油管插入油罐车,人拖拽油管放入管套中,人拿着叉子吃蛋糕。该任务是面向视频的,细粒度的交互行为分析,其旨在对视频中的每一帧定位正在发生交互的人体空间位置以及识别正在发生的人物物交互类别。由于涉及到一个人与两个不同的物体之间的交互行为,因此需要对场景有更深入、更详细的了解。

2、目前,针对交互动作的识别方法大体可以分为两大类,分别是基于一阶段的方法和基于二阶段的方法。前者是同时进行人体的定位和动作的识别,后者是首先采用一个目标检测器,然后基于检测的人与物提取交互特征进行分类。基于当前的现有技术来说,与二阶段方法相比,一阶段方法更简单、更快、更高效,更容易部署到现实世界的应用程序中;然而,由于一阶段方法采用图片特征进行人和物的空间位置回归,相比于二阶段采用目标检测算法而言,一阶段方法的实体定位的准确率较低,并且对于交互动作的预测也需要复杂的后处理来提高识别结果;

本文档来自技高网...

【技术保护点】

1.一种基于场景图信息精炼与压缩的人物物交互动作检测方法,其特征在于,包括:

2.根据权利要求1所述的人物物交互动作检测方法,其特征在于,步骤S2中,所述场景图结构中包括目标之间的动词关系、注意力关系以及位置关系。

3.根据权利要求2所述的人物物交互动作检测方法,其特征在于,步骤S2中,通过构建时空场景图特征池,存储各帧对应的场景图特征。

4.根据权利要求1所述的人物物交互动作检测方法,其特征在于,所述基于场景图特征的人物物交互动作直接表征分支,具体过程如下:

5.根据权利要求1所述的人物物交互动作检测方法,其特征在于,所述基于场景图特征的...

【技术特征摘要】

1.一种基于场景图信息精炼与压缩的人物物交互动作检测方法,其特征在于,包括:

2.根据权利要求1所述的人物物交互动作检测方法,其特征在于,步骤s2中,所述场景图结构中包括目标之间的动词关系、注意力关系以及位置关系。

3.根据权利要求2所述的人物物交互动作检测方法,其特征在于,步骤s2中,通过构建时空场景图特征池,存储各帧对应的场景图特征。

4.根据权利要求1所述的人物物交互动作检测方法,其特征在于,所述基于场景图特征的人物物交互动作直接表征分支,具体过程如下:

5.根据权利要求1所述的人物物交互动作检测方法,其特征在于,所述基于场景图特征的人物物交互动作间接表征分支,具体过程...

【专利技术属性】
技术研发人员:吴晓张铭宣袁召全李威胡东风何廷全
申请(专利权)人:西南交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1