一种基于子群组划分和动静特征融合的人群行为识别方法技术

本发明专利技术公开了一种基于子群组划分和动静特征融合的人群行为识别方法，首先利用角点跟踪和背景建模的方法，获取视频图像帧中运动目标的时空信息，利用群体分布的空间区域信息，将空间上相邻近的人群划分为若干子群体；其次在子群体分割的基础上，提取出人群运动三个动量特征，再将其和通过CNN神经网络生成的静态序列利用Cholesky变换相融合，利用GRU神经网络实现视频的分类，最后采用输出函数将特征向量转化为人群行为标签，采用人工标记的方法将训练视频片段根据行为发生主体，行为发生地点，行为本身的不同，标记为不同的描述词汇。

A method of crowd behavior recognition based on sub group division and dynamic static feature fusion

【技术实现步骤摘要】
一种基于子群组划分和动静特征融合的人群行为识别方法
本专利技术涉及一种基于子群组划分和动静特征融合的人体行为识别方法，属于行为识别、机器学习等交叉

技术介绍
对群组级别的活动识别日益成为计算机视觉领域的一个热点问题，在智能视频监控，公共安全、体育竞技等方面有着广泛的应用。在人群行为分析的特征提取中,当前特征提取方法大多数建立在以人群中的单个行人作为目标建立动量特征,再将由每个人的动量特征线性组合成特征向量进行分类。实际情况下,针对单个行人目标构建的动量特征对于人个行人目标构建的动量特征对于人群聚集密集的情况效果不佳,对噪声敏感度大。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，本专利技术提供一种基于子群组划分和动静特征融合的人群行为识别方法，该方法能够对视频中的人群进行子群组的划分，提取动态和静态特征，提高人群行为识别的的准确性。技术方案：为实现上述目的，本专利技术采用的技术方案为：一种基于子群组划分和动静特征融合的人群行为识别方法，包括以下步骤：步骤1)输入1个视频，所述视频本文档来自技高网...

【技术保护点】
1.一种基于子群组划分和动静特征融合的人体行为识别方法，其特征在于，包括以下步骤：/n步骤1)，采集带有人体行为的密集群体的视频，将该视频分解成具有l帧的视频片段，将运动趋势相近人体行为划分成一个子群体；/n所述的步骤1)中将运动趋势相近人体行为划分成一个子群体：/n步骤1.1)：通过哈里斯角点检测算法获取连续视频帧中特征跟踪点的位置信息，利用局部窗口在图像上进行移动判断灰度是否发生较大的变化，当存在任意方向上的滑动时灰度变化程度较大，则认为该窗口中存在角点，将连续视频帧中每个角点的位置串联起来，得到每个特征跟踪点的运动轨迹T，所有特征跟踪点运动轨迹集合为T

【技术特征摘要】
1.一种基于子群组划分和动静特征融合的人体行为识别方法，其特征在于，包括以下步骤：
步骤1)，采集带有人体行为的密集群体的视频，将该视频分解成具有l帧的视频片段，将运动趋势相近人体行为划分成一个子群体；
所述的步骤1)中将运动趋势相近人体行为划分成一个子群体：
步骤1.1)：通过哈里斯角点检测算法获取连续视频帧中特征跟踪点的位置信息，利用局部窗口在图像上进行移动判断灰度是否发生较大的变化，当存在任意方向上的滑动时灰度变化程度较大，则认为该窗口中存在角点，将连续视频帧中每个角点的位置串联起来，得到每个特征跟踪点的运动轨迹T，所有特征跟踪点运动轨迹集合为TI＝{T1,T2,T3,T4...Tn}，特征跟踪点的集合为OI；
步骤1.2)：利用混合高斯背景建模方法进行前景提取，对于当前视频帧中像素的灰度值μ，当满足公式：就把该像素作为背景，否则作为前景，其中，X(t)表示像素点在t时刻的像素平均值，由红、绿、蓝三种像素值通过加权平均获得，表示第S个高斯分布t时刻的平均灰度值，表示其方差，λ为标准差倍数系数；在当前提取的背景下，通过目标群体的空间大小关系以及和周围群体的距离关系将其划分为前景斑块，斑块集合记为GI＝{G1,G2,G3,...,Gk}；
步骤1.3)：利用步骤1.1)得到的特征跟踪点运动轨迹和步骤1.2)得到的斑块集合，对密集群体进行划分，将其分为不同的子群组；
步骤1.3.1)：将包含特征跟踪点的集合OI根据斑块的位置分割成包含若干点的子集，表示为Oj＝{Rj1,Rj2,...Rjk}，Oj＝{Rj1,Rj2,...Rjk}为图像帧经过划分后具有运动一致性的点集，构成人群划分的子群体；其形成是采用用矩形区域近似代表斑块的空间位置，获取矩形右下角及左上角点的坐标，若特征跟踪点R的坐标位置处于矩形的覆盖范围内，则将该点选入对应点集，否则忽略该点；
步骤1.3.2)：特征跟踪点R的属性Rd表示特征跟踪点的运动特征，计算特征跟踪点R的位移向量值与水平方向的运动向量夹角θ，将方向夹角0～2π划分成12等份，每一等份代表不同的运动趋势；经过斑块范围划分以及运动方向的约束，将运动趋势相近的特征跟踪点划分成一个子群体；
步骤2)，将每个行人作为一个特征点R，用四维向量表示每个特征点的运动信息：R(Rx,Ry,Rl,Rd),Rx和Ry代表特征点的空间坐标信息，Rl代表特征点位移量，Rd是特征点的运动方向向量；将所有特征点的集合记为QI＝{R1,R2...Rn}，n为特征点数量；
步骤3)：构建三个子群组的动量特征，分别为群组的集体性动量特征、稳定性动量特征和冲突性动量特征，记子群体内特征点集记为：Cm＝{R1,R2...Rk}，k为选取的特征点数量；
所述步骤3)具体为：
步骤3.1)：集体性动量特征提取：群组的集体性由群组中各个成员的运动方向表示，若群组中的各个成员在一定时间段内能够保持相同的运动方向，则该群组有较强的集体性；我们计算运动相关性计算公式为其中，为子群体的总体运动趋势向量，先由各个特征跟踪点的坐标和位移的平均值，得到连续几帧中各个子群体的质心坐标和平均位移，再通过计算求得；N代表划分出的子群体个数，ωi表示子群体与i第个邻接点的运动趋势向量夹角，u(C)表示运动相关性，u(C)值越大表示集体性越高；
步骤3.2)：稳定性动量特征提取：稳定性在这里主要指空间稳定性，稳定性是指各个特征点在一定时间内能够保持稳定的相...

【专利技术属性】
技术研发人员：葛宇轩，陈志，岳文静，谢子凡，王多，崔明浩，周传，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32