一种基于关系图分析的群体行为识别方法技术

一种基于关系图分析的群体行为识别方法，包括以下步骤：S1对包含群体行为事件的视频序列进行稀疏抽样得到视频抽样帧，作为对视频事件的代表；S2通过目标检测网络和降维运算得到单帧抽样帧人物目标特征；S3根据个体之间的外貌和位置关系构建图模型以及利用图卷积神经网络提取单帧群体行为表述特征；以及S4通过对多帧群体行为特征进行融合得到整段视频群体行为表述特征。本发明专利技术方法，相比于传统的基于循环神经网络模型的视频行为动态描述方法，本发明专利技术提出的方法同时处理多张抽样视频帧，提高了算法运行的时间效率，取得了领先的检测水平。

A method of group behavior recognition based on graph analysis

【技术实现步骤摘要】
一种基于关系图分析的群体行为识别方法
本专利技术涉及机器学习方法和视频行为分析
，具体涉及到一种基于关系图分析的群体行为识别方法。
技术介绍
近年来，随着深度学习技术在图像分析和理解领域取得的巨大成功，越来越多的人开始用深度神经网络处理视频行为分析所面临的问题，例如视频行为分类，视频行为时间轴或空间轴-时间轴定位。现阶段，深度神经网络所处理的视频行为分析问题涉及到的多是简单的视频行为，例如跳高、跳远等单人体育运动，刷牙、梳头等日常生活中的行为。然而现实生活中发生的行为经常有多人参与，描述这类群体行为不仅要描述场景中单个个体的行为，还要考虑到他们之间的交互关系。目前，已有的方法多用预先指定的图模型来刻画个体之间的交互关系，这样做缺乏灵活性，对于不同的事件，需要预先设计不同的关系模型；其次，为了描述运动的动态特性，多使用循环神经网络(RecurrentNeuralNetwork,RNN)来处理连续抽样的样本，这样做计算复杂度高，且需要依次顺序处理输入视频帧，计算时间成本相应也高。
技术实现思路
本专利技术的目的是提供一种基本文档来自技高网...

【技术保护点】
1.一种基于关系图分析的群体行为识别方法，其特征在于，包括以下步骤：/nS1对包含群体行为事件的视频序列进行稀疏抽样得到视频抽样帧，作为对视频事件的代表；/nS2通过目标检测网络和降维运算得到单帧抽样帧人物目标特征；/nS3根据个体之间的外貌和位置关系构建图模型以及利用图卷积神经网络提取单帧群体行为表述特征；以及/nS4通过对多帧群体行为特征进行融合得到整段视频群体行为表述特征。/n

【技术特征摘要】
1.一种基于关系图分析的群体行为识别方法，其特征在于，包括以下步骤：
S1对包含群体行为事件的视频序列进行稀疏抽样得到视频抽样帧，作为对视频事件的代表；
S2通过目标检测网络和降维运算得到单帧抽样帧人物目标特征；
S3根据个体之间的外貌和位置关系构建图模型以及利用图卷积神经网络提取单帧群体行为表述特征；以及
S4通过对多帧群体行为特征进行融合得到整段视频群体行为表述特征。


2.根据权利要求1所述的基于关系图分析的群体行为识别方法，其特征在于，在步骤S1中，按照时间顺序随机抽样或者均匀抽样从所述视频序列稀疏抽取若干帧。


3.根据权利要求1所述的基于关系图分析的群体行为识别方法，其特征在于，在步骤S2中，使用目标检测网络对抽样帧Ps中的人物目标提取特征，提取特征过程即为把Ps输入到目标检测网络进行前向计算，提取所述人物目标所在区域所对应最后一个卷积层的特征，作为人物目标的特征，记为Fa；然后使用一个全连接层，对Fa进行降维运算。


4.根据权利要求1所述的基于关系图分析的群体行为识别方法，其特征在于，在所述步骤S3中，对于所述抽样帧Ps经过步骤S2处理完成后得到的所述视频抽样帧的人物目标外貌特征和位置坐标：构建关系网络图，其中即为降维后的特征li为人物目标所在区域中心坐标(xi，yi)，
具体地，对于N个人物目标，计算一个N*N的关系网络图G，其中和hl(li，lj)分别代表外貌和位置相似度，定义如下：






其中，(xi，yi)为人物目标所在区域中心坐标；以及
使用Softmax函数来归一化...

【专利技术属性】
技术研发人员：李楠楠，张世雄，赵翼飞，李若尘，李革，安欣赏，张伟民，
申请(专利权)人：深圳龙岗智能视听研究院，
类型：发明
国别省市：广东;44