一种基于多特征融合的群体行为分析方法技术

本发明专利技术公开了一种基于多特征融合的群体行为分析方法，属于机器视觉与智能信息处理领域。该方法一方面研究了群组级别的群体行为特性，提取出一系列表征局部运动信息的特征描述符，包括群集性、稳定性、一致性和冲突性。另一方面，该方法引入了一种新的多维光流直方图特征，以表征全局运动信息，并采用多层字典学习方法进行进一步优化。最后，通过融合局部和全局运动特征描述符，构成可全面描述群体行为的特征集合，可应用于群体行为分析与行为识别等方面。通过真实视频库上进行的实验，本发明专利技术的合理性和有效性得到证明。

A method of group behavior analysis based on multi feature fusion

The invention discloses a group behavior analysis method based on multi feature fusion, which belongs to the field of machine vision and intelligent information processing. On the one hand, this method studies group behavior characteristics of group level, and extracts a series of feature descriptors that represent local motion information, including clustering, stability, consistency and conflict. On the other hand, this method introduces a new feature of multi-dimensional optical flow histogram to characterize global motion information, and further optimizes it by using a multi-layer dictionary learning method. Finally, by combining the local and global motion descriptors, the feature sets can be fully described, which can be applied to group behavior analysis and behavior recognition. The rationality and validity of the invention are proved by experiments conducted on real video libraries.

【技术实现步骤摘要】
一种基于多特征融合的群体行为分析方法
本专利技术涉及一种群体运动研究方法，尤其涉及一种基于多特征融合的群体行为分析方法，属于机器视觉与智能信息处理领域。
技术介绍
群体运动是自然界中普遍存在的，种类繁多且规模各异。群体运动广泛存在于各类群体系统中，例如，天体聚集形成的星系运动，蚁群等生物体的活动以及公共场所中人群的群体行为。在实际生活中，群体运动的分析和研究在视觉监控、人群管理等相关领域带来了一系列关键应用，具体包括人群流量统计和拥塞分析、异常检测和报警、开发人群管理战略等多个方面。基于多特征融合的群体行为分析方法在技术上提取主要包括多特征提取和群体行为识别两大部分。首先，在对群体行为进行分析之前，需要先提取多个特征，如群集性、流体特征、局部时空特征等。群集性取决于多个因素，如个体决定，人群密度和场景结构等。Zhou等首次提出了群集性的概念，用以描述群体行为中个体作为一个整体的协作程度。Shao等用马尔科夫过程描述群体行为，在群组级别计算群集性描述子，且提取了群组的稳定性、一致性、冲突性特征。光流计算连续两帧之间像素的瞬间运动，被广泛用于异常行为识别，群体运动检测和分割等。粒子流提供了从粒子的初始位置到一段时间后粒子位置的轨迹信息，解决了光流无法获取长时轨迹的问题，在群体分割和人群异常行为检测方面取得了一定成果。此外，典型的群体运动一般具有规律性和重复性，故可以根据从轨迹中提取的运动特征来分析群体运动，如目标之间的相对距离，加速度或能量等。考虑到复杂场景中获取完整轨迹的困难，一种新的运动特征轨段被提出，即短时间内跟踪方法所获得的轨迹片段，在轨迹聚类、行为识别等方面得到了广泛应用。为了分析群体场景中的运动模式，多种聚类方法被提出。第一类是基于流体力学模型的运动模式聚类方法，即把运动群体看作由不同动态区域组成的流体。Ali等采用拉格朗日拟序结构来进行运动模式分割，揭示了速度场潜在的流体结构特性，但是这种方法的缺点在于不能很好区分缓慢运动的群体，且可能会过度分割低密度的群体。Wang等利用高精度的变分模型改进了经典的纹线流方法，从而实现更准确的运动模式分割。第二类方法是利用轨迹/轨段相似性实现群体运动模式聚类。Zhao等在轨段的基础上，通过流形学习推断场景的几何结构及视频中的运动模式。Zhou等利用KLT关键点跟踪方法获得的轨段，检测群体场景中的相干运动模式。此外，第三类运动模式聚类方法是基于统计概率模型的，如高斯混合模型，隐含狄利克雷分布模型，随机场主题模型等等。
技术实现思路
本专利技术提出了一种基于多特征融合的群体行为分析方法，充分提取并利用视频图像中的局部和全局运动信息，用于对视频图像中的群体行为进行分析。本专利技术通过以下技术方案来实现上述目的：(1)群组级别特征提取组是构成群体的主要实体，研究表明一个群组不仅是空间上相邻个体的集合，是表现各种基本的组内和组间特性的动态单元，这里把一系列有着共同目标和群体行为的成员归入同一个群组。对于τ帧的视频短片，利用群集转变(Collectivetransition,CT)方法检测到一系列群组每组包含由KLT特征点跟踪方法获取的轨段集合{z}。对每个被检测到的群组，要提取一组视觉描述符来表示其特性。为了便于说明，假定某个检测到的群组一帧中有n个成员，形成一个K-NN图G(V，E)，其顶点V代表成员，成员对由边缘E连接。边缘的计算通过关联矩阵W，矩阵元素为其中wij为两个成员的空间距离。在所给视频片段的每一帧，记一个成员z的近邻为A.群集性特征群集性反映群体行为中个体作为一个整体的协作程度。这里在群组检测的基础上量化群集性，群组的群集性表示为其中|.|表示输入集合的基数,∈(z,A)定义为的值高就表明群组成员向着共同目的地一致运动。此描述符可有效用于从马拉松、自动扶梯等场景观测到的高群集性群组中区分出低群集性的群组。B.稳定性特征稳定性表征群组随着时间的推移内部拓扑结构的不变性,类似于化学中的分子稳定性。特别地，稳定成员往往维持一组相似的近邻；与邻居保持一定的拓扑距离；离开当邻域可能性较小。根据这些特性提出了以下3个稳定性描述。第一个稳定性描述符，通过计算单位时间内各成员在K-NN图中的不变邻居数并取均值得到：其中第二个稳定描述符是用来检查成员与其近邻是否保持一定的拓扑距离，揭示了群组的成员之间拓扑结构的变化信息。首先根据两两成员间的亲和力，对一个成员(z)的近邻进行排序，随后利用theLevenshteinstringmetricdistance[42]来比较每连续两帧的排名。若二者是相同的，则若是成员的排名有所改变，则通过收集τ帧的对每个成员(z)构建了有K个小区间的直方图h(z)。第二个稳定描述符则作为平均直方图得到第三个稳定性描述符测量成员离开其当前邻域的可能性。假设所有群组成员随机游走，即允许成员在组内自由游走及与其他成员形成新的邻域集合。于是测量成员初始和最终转移概率之间的差别作为其稳定性。初始化转移概率矩阵P∈Rn×n为P＝D-1W(5)D是对角矩阵，其元素Dii＝∑jwij。第i个成员“游走”并“加入”其他成员的概率分布定义如下其中q∈R1×n，I是单位矩阵，ei＝(e1；…；en)T是指标向量，ei＝1及e\i＝0。参数α的范围为0<α<1/(ρ)，其中ρ(P)表示P的谱半径.设α＝0.9/K。第i个成员的稳定性通过测量第一帧和最后一帧间qi的KL散度来计算。KL散度skl的值越低表示稳定性越高。最后通过取所有成员的skl的平均值来计算第三个稳定性描述符：结合上述三个稳定描述符，得到稳定性特征为C.一致性特征一致性是表征群组空间分布均匀性的重要性质。如果一个群组的成员相互靠近且空间上是均匀分布的，则其空间分布的同源性较高。非均匀的群组有进一步被分成子集合的倾向。一致性通过推断K-NN中图割的最佳数量(C*)来量化。较高的C*表示更高程度的不均匀性。通过凝聚聚类和模块化函数Q生成了分层集群(H)，用于寻找C*。具体地，给定一个聚类数c，由H得到图形分割{V1,…,Vc}，对于c∈{1,…,C}计算Qc，它的最大值表明分割的最佳数量：其中A(V′,V″)＝∑i∈V′,j∈V″w(i,j)。由于群组的一致性可能随着群组的变化而变化，利用一段时间内最佳数量的均值和方差来表征一致性：D.冲突性特征冲突性表征了群组之间彼此接近时的互动、摩擦等。内部成员的外边界组成群组的轮廓，而冲突点被定义为K-NN序列中包含其他组成员的成员。此处定义的K-NN集合允许包含来自其他群组的成员。要计算冲突形状上下文描述符，第一步是引入以每个冲突点为中心的极坐标系[43]，计算轮廓特征点的频率并绘制相对坐标的直方图，从而获取每个冲突点的空间分布。第二步是训练视频片段进行K均值聚类，在直方图上构建词汇表，并生成BoW(BagofWords)表示。使用局部约束线性编码，第i个冲突点有词汇分布Ui。于是进一步计算得到冲突性描述子：∈(z,A)定义于公式(2)中，A是冲突点所在群组的CT因子。直观地说，如果冲突点的近邻大多是不符合A的其他组成员，∈conf值会较高。最终群组的冲突性是通过加权的最大汇总来计算。(2)多维光流直方图特征提取在研究拥挤场景的群体行为本文档来自技高网...

【技术保护点】
一种基于多特征融合的群体行为分析方法，包括以下步骤：步骤一：计算群组级别运动特征。对输入的τ帧视频序列图像，首先利用群集转变方法进行群组检测与分割，进而计算群组级别的特征描述符，包括群集性、稳定性、一致性、冲突性特征描述符，以表征视频中的局部运动信息。步骤二：引入多维光流直方图特征。对输入的τ帧视频序列图像，先进行优化分块处理，做2×2分块后进行光流特征提取，并且通过对光流信息的多维编码实现特征维度的提升，得到多维光流直方图特征，以充分表征视频图像中的全局运动信息和空间情景信息。步骤三：对步骤二中得到的多维光流直方图特征，采用一种多层字典学习的方法进行处理，降低原始特征维度，同时获得更高层的视频描述特征，使多维光流直方图特征能够表征更丰富的全局运动信息。步骤四：将表征局部与全局运动信息的特征描述符进行融合后，构成群体行为的特征集合，可表示为{Φ

【技术特征摘要】
1.一种基于多特征融合的群体行为分析方法，包括以下步骤：步骤一：计算群组级别运动特征。对输入的τ帧视频序列图像，首先利用群集转变方法进行群组检测与分割，进而计算群组级别的特征描述符，包括群集性、稳定性、一致性、冲突性特征描述符，以表征视频中的局部运动信息。步骤二：引入多维光流直方图特征。对输入的τ帧视频序列图像，先进行优化分块处理，做2×2分块后进行光流特征提取，并且通过对光流信息的多维编码实现特征维度的提升，得到多维光流直方图特征，以充分表征视频图像中的全局运动信息和空间情景信息。步骤三：对步骤二中得到的多维光流直方图特征，采用一种多层字典学习的方法进行处理，降低原始特征维度，同时获得更高层的视频描述特征，使多维光流直方图特征能够表征更丰富的全局运动信息。步骤四：将表征局部与全局运动信息的特征描述符进行融合后，构成群体行为的特征集合，可表示为{Φcoll,Φstab,Φunif,Φconf,ΦMHOF}。最后，选用SVM分类器进行训练识别。2.权利要求2所述的在群体行为分析方法中引入多维光流直方图特征，以充分表征视频序列中的全局运动信息和空间情景信息。多维光流直方图方法是通过对光流信息的多维编码实现特征维度的提升。为了使提取到的特征能更好得表征场景中的运动模式信息，首先要对输入图像进行优化分块处理，对图片做2×2分块后再进行多维光流直方图特征提取。多维光流直方图特征将提取到的光流特征分为内外两层，即K＝16位。向量中开始的8位是方向信息以及运动能量r＜τ的内层部分，后8位对应r＞τ的外层部分，具体计算公式如下：

【专利技术属性】
技术研发人员：何小海，刘文璨，卿粼波，滕奇志，吴晓红，单倩文，王正勇，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川,51