基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法技术

本发明专利技术公开一种基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法，1)基于关键人物候选子网络获得组群中每个成员的重要性权重；2)将个人重要性权重和边界框特征输入至主网络CNN，获得输入到层叠LSTM网络的空间特征；3)以2)的输出作为输入进行共现性特征建模，通过对层叠LSTM内部神经元分组，实现不同的组学习不同的共现性特征，获得组群特征；4)将边界框特征输入到关键时间片段候选子网络进行特征提取，获得当前帧的重要性权重；5)将3)中获得的组群特征和4)中获得的当前帧的的重要性权重相结合获得当前帧的组群特征，并将其输入到softmax进行组群行为识别，完成分类任务。本方案基于关键时空信息提取组群重要成员特征以及关键的场景帧，并结合共现性处理组群行为内部的交互信息，实现组群行为识别精度的提升。

【技术实现步骤摘要】
基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法
本专利技术涉及组群行为识别领域，具体涉及一种基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法。
技术介绍
近年来，视频中的人类行为识别在计算机视觉领域取得了举世瞩目的成就。人体行为识别在现实生活中也得到了广泛应用，如智能视频监控、异常事件检测、体育分析、理解社会行为等，这些应用都使得组群行为识别具有重要的科学实用性和巨大的经济价值。组群行为识别是由多个人共同完成的复杂活动，组群行为识别方法中最重要的是个人特征的研究以及如何以个人推断组群行为。2016年发表在CVPR上的“AHierarchicalDeepTemporalModelforGroupActivityRecognition”构建了一个深度模型来捕获基于LSTM模型的动态，提出了一种新颖的深层体系结构，该体系结构在LSTM网络中对群组活动进行建模，在第一阶段对个人活动进行建模，然后将人员级别信息与代表团体活动相结合。该模型的时间表征值是基于长短期记忆(LSTM)网络，目标是利用个人行为和团体活动之间的层次结构中的判别信息。但是，该方法虽然使用了两层的LSTM网络，只是简单的将个人特征组合起来表示群组行为，不能利用个人的交互关系，而且无法识别群组中的关键人物，导致群组行为识别的精度较低；另外，考虑到群组活动中每个人对群组行为识别的重要性是不同的，该方案仅简单的对每个人进行建模，同时也会降低群组行为识别的精度。另外，2019年发表在JOURNALOFVISUALCOMMUNICATIONANDIMAGEREPRESENTATION上的“Regionbasedmulti-streamconvolutionalneuralnetworksforcollectiveactivityrecognition”提出了一种新的基于人的区域的多留体系结构，用于群组活动的识别，该方法除了使用整体的图像信息，还分析了多个局部区域，虽然很好的考虑了人-人和群组-人的交互信息，但是由于没有更好的利用LSTM网络，不能很好的捕捉视频的时序信息，也没有充分的考虑个人的光流运动信息；而且提出的SumFusion、MaxFusion、ConcatenationFusion等多种融合策略都是人为制定的，不能很好的进行特征表示。
技术实现思路
本专利技术为精确识别出组群中每个个体的行为，并利用个体以及他们之间的交互特征推断出组群行为，提出一种基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法。本专利技术是采用以下的技术方案实现的：一种基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法，包括以下步骤：步骤A、针对待识别视频，跟踪视频中每个成员，获得其边界框图像xt，按时间顺序输入至关键人物候选子网络进行静态特征和动态特征提取，并识别个人行为属性，获得个人重要性权重αt；步骤B、将步骤A获得的个人重要性权重αt以及个人边界框图像xt输入至主网络CNN进行分析处理，获得输入到层叠LSTM网络的空间特征X't＝xt*αt；步骤C、以步骤B的输出作为输入进行共现性特征建模，对层叠LSTM的神经元进行分组，不同的组学习不同的共现性特征，获得组群特征Zt；步骤D、将步骤A中的边界框图像xt输入到关键时间片段候选子网络进行特征提取，获得当前帧的重要性权重，即当前帧的重要性βt；步骤E、将步骤C中获得的组群特征Zt和步骤D中获得的当前帧的的重要性权重βt相结合，获得当前帧的组群特征Z't，并将Z't输入到softmax，完成组群行为识别。进一步的，所述步骤A中，在获得个人重要性权重αt时具体通过以下方式实现：(1)首先，建立关键人物候选子网络，所述关键人物候选子网络包括串联连接的CNN和LSTM层、全连接层、tanh激活函数和全连接层；(2)其次，获取组群成员的行为属性得分，具体的：在第t时刻，设定场景中共有M个成员，其经CNN网络提取的边界框特征集合为xt＝(xt，1,,...,xt，M)T，行为属性得分为st＝(st,1,...,st,M)T，行为属性得分表示M个成员的行为类别判断，表示为：其中，T为视频序列长度，Us,Wxs,Whs为可学习参数矩阵，bs,bus为偏置向量，表示来自LSTM层的隐藏变量。(3)最后，获得每个成员的重要性权重，进而确定关键人物，具体的：给定组群行为类别集合G_action＝(A1,A1,...,Aq)T，对于第k个人，计算其行为属性得分st,k在G_action的投影，具体地用这两个多维向量的余弦相似度来衡量：||||表示2范数；转化为余弦角度归一化系数为：由以下公式计算空间场景中每个人的重要性权重：αt,k是为了确定每个成员对组群行为识别任务来说有多大的贡献值。进一步的，所述步骤B具体通过以下方式实现：(1)首先，经重要性权重调制，获得t时刻第k个人的空间特征：x't,k＝αt,k·xt,k(2)然后，将所有经重要性权重调制的个体空间特征聚合做为主网络中层叠LSTM的输入，即得到：X't＝(x't,1,...,x't,K)。进一步的，所述步骤C中，进行共现性特征学习时，具体采用以下方式：步骤C1、首先建立端到端的全连接深度LSTM网络模型，实现时序特征自动学习和运动建模；基于LSTM层和前馈层交替部署构成一个深层网络以捕获运动信息，前馈层处于两层LSTM网络之间，以使每层神经元都与后一层的神经元完全连接；步骤C2、然后对层叠LSTM的神经元进行分组，在目标函数中引入对成员个体和神经元相连的权重的约束，使同一组的神经元对某些成员个体组成的子集有更大的权重连接，而对其他节点有较小的权重连接，从而挖掘成员个体的共现性。进一步的，所述步骤C1中，为了确保全连接深度LSTM网络模型学习有效的特征，在模型的不同部分实施不同类型的正则化，具体包括两种类型的正则化：1)对于完全连接的层，引入正则化来驱动模型以学习不同层的个体的共现性特征，以及各LSTM层之间的节点的共现性特征学习；2)对于LSTM神经元，导出一个新的Dropout层并将其应用于最后LSTM层中的LSTM神经元。进一步的，所述步骤C2中，通过对每组神经元和成员个体的连接加入群组稀疏约束来实现共现性的挖掘和利用：(1)根据组群行为类别数量对每层LSTM的神经元进行分组，对于第K组的神经元，此组神经元经过训练将自动区分不同的个体行为，在损失函数中加入共现性正则化：其中，L是深度LSTM网络的最大似然损失函数，Wxβ＝[Wx,1；...；Wx,K]是和输入单元的β相连的权重矩阵，设N表示神经元的数量，这N个神经元被分为θ组，每组神经元的数量为ε＝[N/θ]，对于LSTM层，S＝{i,f,o,c}表示LSTM神经元中的输入门、遗忘门、输出门和cell单元，对于前馈层来说本文档来自技高网...

【技术保护点】
1.基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法，其特征在于，包括以下步骤：/n步骤A、针对待识别视频，跟踪视频中每个成员，获得其边界框图像x

【技术特征摘要】
1.基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法，其特征在于，包括以下步骤：
步骤A、针对待识别视频，跟踪视频中每个成员，获得其边界框图像xt，按时间顺序输入至关键人物候选子网络进行静态和动态特征提取，并识别个人行为属性，进而获得个人重要性权重αt；
步骤B、将步骤A获得的个人重要性权重αt以及个人边界框图像xt输入至主网络进行分析处理，获得输入到层叠LSTM网络的空间特征X't＝xt*αt；
步骤C、以步骤B的输出作为输入进行共现性特征建模，对层叠LSTM的神经元进行分组，不同的组学习不同的共现性特征，获得组群特征Zt；
步骤D、将步骤A中的边界框图像xt输入到关键时间片段候选子网络进行特征提取，获得当前帧的重要性权重βt；
步骤E、将步骤C中获得的组群特征Zt和步骤D中获得的当前帧的重要性权重βt相结合，获得当前帧的组群特征Z't，并将Z't输入到softmax，完成组群行为识别。


2.根据权利要求1所述的基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法，其特征在于：所述步骤A中，在获得个人重要性权重αt时具体通过以下方式实现：
(1)首先，建立关键人物候选子网络，所述关键人物候选子网络包括串联连接的CNN和LSTM层、全连接层、tanh激活函数和全连接层；
(2)其次，获取组群成员的行为属性得分，具体地：
在第t时刻，设定场景中共有M个成员，其经CNN网络提取的边界框特征集合为xt＝(xt，1,,...,xt，M)T，行为属性得分为st＝(st,1,...,st,M)T，行为属性得分表示M个成员的行为类别判断，表示为：



其中，T为视频序列长度，Us,Wxs,Whs为可学习参数矩阵，bs,bus为偏置向量，表示来自LSTM层的隐藏变量；
(3)最后，获取每个成员的重要性权重，进而确定关键人物，具体的：
给定组群行为类别集合G_action＝(A1,A1,...,Aq)T，对于第k个人，计算其行为属性得分st,k在G_action的投影，可以用这两个多维向量的余弦相似度来衡量：

||||表示2范数；
转化为余弦角度归一化系数为：
由以下公式计算空间场景中每个人的重要性权重：



αt,k是为了确定每个成员对组群行为识别任务来说有多大的贡献值。


3.根据权利要求1所述的基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法，其特征在于：所述步骤B具体通过以下方式实现：
(1)首先，经重要性权重调制，获得t时刻第k个人的空间特征：
x't,k＝αt,k·xt,k
(2)然后，将所有经重要性权重调制的个体空间特征聚合做为主网络中的层叠LSTM输入，即得到：
X't＝(x't,1,...,x't,K)。


4.根据权利要求1所述的基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法，其特征在于：所述步骤C中，进行共现性特征学习时，具体采用以下方式：
步骤C1、首先建立端到端的全连接深度LSTM网络模型，实现时序特征学习和运动建模；
基于LSTM层和前馈层交替部署构成一个深层网络以捕获运动信息，前馈层处于两层LSTM网络之间，以使每层神经元都与后一层的神经元完全连接；
步骤C2、然后对层叠LSTM的神经元进行分组，在目标函数中引入对成员个体和神经元相连的权重的约束，使同一组的神经元对某些成员个体组成的子集有更大的权重连接，而对其他节点有较小的权重连接，从而挖掘成员个体的共现性。


5.根据权利要求4所述的基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法，其特征在于：所述步骤C1中，为了确保全连接深度LSTM网络模型学习有效的特征，在模型的不同部分实施不同类型的正则化，具体包括两种类型的正则化：
1)对于完全连接的层，引入正则化来驱动模型以学习不同层的个体的共现性特征、以及各LSTM层之间的节点的共现性特征学习；
2)对于LSTM神经元，导...

【专利技术属性】
技术研发人员：王传旭，薛豪，邓海刚，闫春娟，
申请(专利权)人：青岛科技大学，
类型：发明
国别省市：山东;37