一种基于自注意力机制的人交互行为检测方法技术

本发明专利技术公开了一种基于自注意力机制的人交互行为检测方法，将预处理后的视频片段输入到构建好的识别网络模型，经过骨干网络提取时空特征，将提取的时空特征进行降维，然后将降维后时空特征进行展平，再进行位置编码得到含有位置信息的特征向量，将含有位置信息的特征向量输入到编码器中得到共享特征。然后通过两个解码器得到实例嵌入与交互关系嵌入，最后通过相似度解码器得到每一个实例与交互关系之间的实例交互特征，通过一个分类操作得到每一个实例与交互关系之间的相似度，确定每一实例所属的交互关系。所属的交互关系。所属的交互关系。

A method of human interaction behavior detection based on self attention mechanism

【技术实现步骤摘要】
一种基于自注意力机制的人交互行为检测方法


[0001]本申请属于人交互行为检测
，尤其涉及一种基于自注意力机制的人行为交互检测方法。

技术介绍

[0002]对人交互行为理解是在计算机视觉领域非常基础的一个任务，其对下游任务都有很多帮助，比如视频监控、关键事件检索、全体行为理解以及体育分析。人交互行为理解的任务要求是对视觉信号中的人交互情况进行预测，其中要求对场景中的每一个人进行定位和动作类别预测，以及找出人与人之间的交互关系。由于交互这种行为比较抽象复杂，因此计算机完成精确的交互行为预测往往面临着较大的挑战。
[0003]现阶段的人交互行为理解主要有两个方向，分别为人交互行为分类以及人交互行为检测。人交互行为分类是近期比较热门的一个方向，给定一个场景以及给定了场景中的人的定位(目标框)，模型需要在此基础上对每一个人进行动作识别以及交互关系预测。
[0004]Spatio
‑
Temporal CRF将识别任务分为了两个阶段，其中第一个阶段基于局部的视觉特征来区分交互与无交互，动作以及活动；在第二个阶段，动作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自注意力机制的人交互行为检测方法，其特征在于，所述基于自注意力机制的人交互行为检测方法，包括：对于待检测的图像帧，取其前后预设数量的图像帧组成一个视频片段，对视频片段进行预处理；将预处理后的视频片段输入到快慢双通道网络SlowFast中，将所述快慢双通道网络SlowFast双通道输出的特征进行拼接，得到提取到的时空特征；将提取的时空特征进行降维，然后将降维后时空特征进行展平，再进行位置编码得到含有位置信息的特征向量；将含有位置信息的特征向量输入到神经网络Transformer的编码器中得到共享特征，将共享特征和实例查询输入到实例解码器，得到实例特征，将共享特征和交互关系查询输入到交互关系解码器，得到交互关系特征，并分别将实例特征和交互关系特征输入到预测网络中，进行分类、回归以及嵌入操作；将嵌入操作得到的实例嵌入与交互关系嵌入拼接为实例交互对，然后将实例交互对和共享特征输入相似度解码器，得到每一个实例与交互关系之间的实例...

【专利技术属性】
技术研发人员：应凯宁，王振华，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：