基于子群组划分与动量特征融合的人群运动行为识别方法技术

本发明专利技术公开了一种基于子群组划分与动量特征融合的人群运动行为识别方法，该方法首先利用角点跟踪和背景建模的方法，获取视频图像帧中运动目标的时空信息，利用前景中群体分布的空间区域信息，将空间上相邻近的人群划分为若干子群体，子群体通过一段时间内的运动相关性进行进一步的分割，得到具有运动一致性的子群体；其次在子群体分割的基础上，提取出人群运动三个动量特征进行融合；最后将融合的特征以及视频帧的像素特征作为微分循环卷积神经网络的输入进行训练，采用人工标记的方法将训练视频片段标记成不同的描述词汇，用带标记的数据调整微分循环卷积神经网络的结果，得到了良好的训练成果，能够有效识别人群的运动行为，达到较好的效果。

【技术实现步骤摘要】
基于子群组划分与动量特征融合的人群运动行为识别方法
本专利技术涉及一种基于子群组划分与动量特征融合的人群运动行为识别方法，主要利用Harris角点检测算法提取人群运动轨迹，混合高斯背景建模提取场景的前景特征，进行子群组划分。在子群组基础上进行动量特征提取，将提取出三维动量特征视频数据输入至微分循环卷积神经网络训练，转化为人群行为标签，达到人群运动行为识别的目标，属于图像处理、视频检测和人工智能交叉技术应用领域。
技术介绍
人群运动行为识别的目的是从序列图像中通过运动轨迹和前景提取将密集人群划分成子群组，在子群组的基础上进行人群运动行为识别。对群组级别的活动识别日益成为计算机视觉领域的一个热点问题，在智能视频监控，公共安全、体育竞技等方面有着广泛的应用。对于视频图像帧中人群运动行为识别算法主要有Harris角点检测算法、混合高斯背景建模方法、动量特征融合方法。(1)哈里斯角点检测算法：该算法使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况，窗口中的像素灰度变化程度，当存在任意方向上的滑动时灰度变化程度较大，则认为该窗口中存在角点。角点在保留图像图形重要特征的同时本文档来自技高网...

【技术保护点】
1.一种基于子群组划分与动量特征融合的人群运动行为识别方法，其特征在于，该方法包括以下步骤：步骤1)：用户输入连续的视频，将视频划分成连续的视频帧，将上述每一个视频帧每单个行人作为一个特征跟踪点P，点P的运动信息用一个四维向量P＝(Px，Py，Pv，Pd)来表示，所述Px、Py表示特征特征跟踪点的空间坐标，Pv表示该点的位移大小，Pd表示该点的运动方向，Pd值为

【技术特征摘要】
1.一种基于子群组划分与动量特征融合的人群运动行为识别方法，其特征在于，该方法包括以下步骤：步骤1)：用户输入连续的视频，将视频划分成连续的视频帧，将上述每一个视频帧每单个行人作为一个特征跟踪点P，点P的运动信息用一个四维向量P＝(Px，Py，Pv，Pd)来表示，所述Px、Py表示特征特征跟踪点的空间坐标，Pv表示该点的位移大小，Pd表示该点的运动方向，Pd值为图像帧所有特征跟踪点的点集记为OI＝{P1，P2，P3，P4}；步骤2)：子群体的移动特征由动量特征决定，以子群体和子群体内的特征跟踪点为基础，定义三种不同的动量特征：运动方向一致性、空间稳定性、人群摩擦冲突性；每个子群体中包含H个特征跟踪点，即Ck＝(P1，P2，...，PH)；步骤3)：计算连续5帧内的描述因子的平均值，用三个平均值构造一个向量ω(C)，ρ(C))，共同组成一个三通道的图像，形成224×224×3维数据输入至微分递归卷积神经网络DRCNN进行训练，转化为4096维特征向量，所述微分循环卷积神经网络是将VGG-16模型和3层堆叠的长短期记忆递归神经网络LSTM连接到端对端的模型中，最后采用输出函数将特征向量转化为人群行为标签，采用人工标记的方法将训练视频片段根据行为发生主体，行为发生地点，行为本身的不同，标记为不同的描述词汇，用带标记的数据调整微分循环卷积神经网络的结果，实现人群运动行为识别。2.根据权利要求1所述的一种基于子群组划分与动量特征融合的人群运动行为识别方法，其特征在于，所述的步骤1)具体为：步骤1.1)：通过哈里斯角点检测算法得到连续视频帧中特征跟踪点的位置信息，获取目标群组的前景特征，哈里斯角点跟踪算法是使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况，窗口中的像素灰度变化程度，当存在任意方向上的滑动时灰度变化程度较大，则认为该窗口中存在角点，将连续视频帧中每个特征跟踪点的位置串联起来，得到每个特征跟踪点的运动轨迹T，所有特征跟踪点运动轨迹集合为TI＝{T1，T2，T3，T4}；步骤1.2)：利用混合高斯背景建模方法进行前景提取，对于当前视频帧中像素的灰度值，当高斯混合背景中第S个高斯分布的均值的差值满足公式：就认为匹配成功，即该像素为背景，其中I(x，y，t)表示该像素点(x，y)在t时刻的像素值，表示第S个高斯分布t时刻的平均灰度值，λ表示标准差的倍数系数，表示第S个高斯分布t时刻灰度值的方差，通过前景提取获取目标群体的空间大小以及和周围群体的距离关系，称为前景斑块，斑块集合记为BI＝{B1，B2，B3，...，Bk}，通过空间上的关系变化划分出空间上临近的个体；步骤1.3)：利用划分出的两种时空信息，对密集群体进行划分；3.根据权利要求1所述的一种基于子群组划分与动量特征融合的人群运动行为识别方法，其特征在于，所述的步骤1.3)具体为：步骤1.3.1)：将包含特征跟踪点的集合OI分割成包含若干点的子集，表示为OI＝{CI，FI}，所述CI＝{C1，C2，...

【专利技术属性】
技术研发人员：陈志，陈璐，岳文静，周传，刘玲，龚凯，掌静，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32