基于层次聚类的判别性部件挖掘行为识别方法技术

本发明专利技术公开了基于层次聚类的判别性部件挖掘行为识别方法，主要解决现有行为部件判别性不足和识别率低的问题。其方案为：1.对行为视频提取稠密轨迹，获取轨迹的底层特征；2.计算轨迹点的空间距离和形状距离，作为层次聚类的相似性度量；3.对稠密轨迹进行层次聚类，将簇内聚合度作为聚类有效性指标，以自动确定最优的聚类簇数目，并将对应的聚类簇作为候选部件；4.对候选部件添加判别式约束，实现候选部件的判别性评估，进一步筛选出判别性部件，以进行行为识别。本发明专利技术获得的判别性部件特征具较强的鉴别力，提高了行为识别的准确率，可用于监控安防系统。

Discriminant component mining behavior recognition method based on hierarchical clustering

The invention discloses a discriminative component mining behavior recognition method based on hierarchical clustering, which mainly solves the problem of insufficient discriminability and low recognition rate of existing behavioral components. The scheme is as follows: 1. extract dense trajectories of behavior video and obtain the underlying characteristics of the trajectory; 2. calculate the spatial distance and shape distance of the trajectory points as the similarity measure of hierarchical clustering; 3. hierarchical clustering of dense trajectories, the degree of cohesion within the cluster as a clustering validity index, in order to automatically determine the optimal cluster number. The corresponding clustering cluster is used as a candidate component; 4. discriminant constraints are added to the candidate components to evaluate the candidate components, and to further screen out discriminative components for behavior recognition. The discriminating feature obtained by the invention has strong discriminating power, improves the accuracy of the behavior recognition, and can be used for monitoring the security system.

【技术实现步骤摘要】
基于层次聚类的判别性部件挖掘行为识别方法
本专利技术属于计算机视觉模式识别和视频图像处理方法，特别涉及视频中的人体行为识别方法，可用于监控安防系统。
技术介绍
近年来，面对海量涌现的数据，如何自动获取并分析其中包含的内容成为一个亟待解决的问题。基于机器学习和计算机视觉的人体行为识别技术发展迅速，对视频数据进行处理和分析，学习并理解其中人体的动作和行为具有重要的学术价值、潜在的商业价值和巨大的应用前景。随着行为识别的进一步研究和探索，大量关于底层新特征优化的方法相继被提出，后来研究者们发现，底层特征只能用于表示视频中行为的底层视觉信息，而较大的行为类内变化，以及复杂背景等使得底层特征对视频中行为的表示能力和判别能力受到较大程度的限制，因此，研究者们开始转向挖掘更高层的新语义特征的研究，以实现对现有底层特征的优化和提炼。为了在底层特征中获取与行为类别更相关、更具有判别性的子行为信息，在局部特征的基础上，构建更具有全局信息的行为部件则显得越来越重要。目前已提出的部件构建方法主要有：(1)A.Ravichandran,C.Wang,M.Raptis,etal.Superfloxels:Amid-levelrepresentationforvideosequences[C].ECCV.SpringerBerlinHeidelberg,2012:131-140.文章为了增强部件的表示，提出了一种采用轨迹获取superfloxel，表示为一个聚类簇中具有代表性的轨迹，该轨迹的选取是通过确保提出的聚类方法是关于运动和遮挡边界来实现的。但该方法依赖于数据必须呈球形分布的假设条件。(2)Q.Zhao,H.I.Horace.Unsupervisedapproximate-semanticvocabularylearningforhumanactionandvideoclassification[J].PatternRecognitionLetters,2013,vol.34,no.15,pp.1870-1878.文章提出了一种无监督的上下文谱聚类框架以获取行为视频的部件表示，语义相近的视觉单词能够被划分在同一个聚类簇中，从而增强了聚类方法的精确度，但是该方法人体行为部件的判别力不足。(3)J.Zhu,B.Wang,X.Yang,W.Zhang,Z.Tu.Actionrecognitionwithactons.In:IEEEInternationalConferenceonComputerVision,2013,pp.3559-3566.文章提出了一个双层结构的行为识别框架去自动利用部件“acton”表示，通过一个新的最大边界多通道多示例学习框架学习，同时可以捕获多个中层行为概念，然而该方法提取的中层语义存在语义物理意义不明确的问题，且中层语义的判别性不足。
技术实现思路
本专利技术目的在于针对上述已有技术的不足，提出一种基于层次聚类的判别性部件挖掘行为识别方法，以获取具备较强鉴别力的行为部件，最终提高行为识别的准确率。为实现上述目的，本专利技术的技术方案包括如下：技术思路是：首先，在提取稠密轨迹的基础上，获取行为视频的底层特征。其次，计算稠密轨迹的空间距离和形状距离，采用空间距离和形状距离作为层次聚类的相似性度量。然后，进行层次聚类，构造簇内聚合度的聚类有效性指标，以自动确定最优的聚类簇数目，并将对应的聚类簇作为候选行为部件。接着，通过对候选行为部件添加判别式约束，以实现候选行为部件的判别性评估。最后，将具有判别性的行为部件用于行为识别。为实现上述目的，本专利技术的技术方案包括如下步骤：(1)对所有行为视频提取稠密轨迹，得到轨迹点的3D坐标，并分别计算轨迹点的方向梯度直方图HOG和光流方向直方图HOF，串接作为该轨迹的底层特征；(2)基于稠密轨迹，计算轨迹间的空间距离和形状距离；(3)采用步骤(2)获得的空间距离和形状距离作为相似性度量，进行层次聚类，获取轨迹聚类簇；(4)将轨迹聚类簇的簇内信息熵作为聚类的有效性度量指标Eval，通过迭代循环，选取Eval最小值对应的聚类簇作为最优的层次聚类结果，即候选行为部件；(5)采用判别式约束对候选行为部件进行进一步筛选和抽象：5a)剔除候选行为部件中的离散轨迹；5b)计算经5a)剔除后的候选行为部件的类内触发频度其中，表示为第i类行为的第j个候选行为部件经5a)剔除后的新候选行为部件，表示为第i类行为中所有行为视频隶属于的平均判分，Vi表示第i类行为的任一行为视频，Ni表示第i类行为的视频个数，i＝1,2,...,M，M表示行为类别总数目；5c)对新候选行为部件的类内触发频度进行归一化，得到归一化后的类内触发频度并计算新候选行为部件判别性度量指标5d)设置新候选行为部件判别性度量指标的阈值为TDis，筛选判别性行为部件：若则将新候选行为部件筛选为判别性行为部件，并将该判别性行为部件作为行为视频的表示，进行行为视频识别；否则，剔除该新候选行为部件，并将该新候选行为部件的相关轨迹置入轨迹缓冲区，返回步骤(2)。本专利技术与现有技术相比具有以下优点：1)本专利技术采用空间距离和形状距离作为相似性度量，进行层次聚类，获得的行为部件具备空间位置相近和轨迹形状相似的特点，更加准确且更符合人类对主体运动的理解。2)本专利技术构造了簇内聚合度的聚类有效性指标，可自动确定最优的聚类簇数目。3)本专利技术在获得的候选行为部件基础上，对候选行为部件添加判别式约束，以实现对候选行为部件判别性的评估，从而获取具备较强判别性的行为部件，最终提高行为识别的准确率。综上所述，本专利技术获得的判别性部件具有较强的鉴别力，提高了视频行为识别的准确率。附图说明图1是本专利技术的实现流程图。具体实施方式参照图1，本专利技术的实现步骤如下：步骤1，对所有行为视频提取稠密轨迹，得到轨迹点的3D坐标，并获取稠密轨迹点的HOG和HOF特征。本步骤的具体实现如下：1a)对行为视频八个尺度空间使用密集网格进行采样，每两个尺度空间之间的缩放因子为采样间隔为5个像素；1b)在光流场中跟踪稠密采样点并形成稠密轨迹；1c)以轨迹为中心，在轨迹周围提取一个大小为32×32像素，长度为15帧的立方体；1d)在轨迹立方体块内提取HOG和HOF特征并进行串接，作为该轨迹的底层特征；步骤2，计算空间距离和形状距离。利用步骤(1)中获取的轨迹点3D坐标，计算底层轨迹间的欧氏距离dqr：dqr＝dsp(t)+dapp(t),t∈o(Tq,Tr)，其中，dsp(t)为空间距离，dapp(t)为形状距离，o(Tq,Tr)表示底层轨迹Tq和Tr的时域重叠区间。步骤3，采用步骤(2)获得的空间距离和形状距离作为相似性度量，进行层次聚类，获取轨迹聚类簇。3a)将步骤(1)获得的稠密轨迹作为层次聚类的输入，将每一条稠密轨迹作为一个聚类簇，采用自底向上的凝聚策略，反复聚合数据，形成一个分层的嵌套聚类；3b)计算每两个簇内所有轨迹间的空间距离和形状距离，作为相似性度量，进行层次聚类，对相似性最大的2个聚类簇进行合并，得到新的聚类簇；3c)统计新的聚类簇个数，当个数达到预先设置的阈值时，停止循环，并输出各个聚类簇数目对应的轨迹聚类簇，否则，返回步骤3b)。步骤4，确定最优的聚类簇数目。4a)本专利技术采用轨迹本文档来自技高网...

【技术保护点】
1.基于层次聚类的判别性部件挖掘行为识别方法，包括如下步骤：(1)对所有行为视频提取稠密轨迹，得到轨迹点的3D坐标，并分别计算轨迹点的方向梯度直方图HOG和光流方向直方图HOF，串接作为该轨迹的底层特征；(2)基于稠密轨迹，计算轨迹间的空间距离和形状距离；(3)采用步骤(2)获得的空间距离和形状距离作为相似性度量，进行层次聚类，获取轨迹聚类簇；(4)将轨迹聚类簇的簇内信息熵作为聚类的有效性度量指标Eval，通过迭代循环，选取Eval最小值对应的聚类簇作为最优的层次聚类结果，即候选行为部件；(5)采用判别式约束对候选行为部件进行进一步筛选和抽象：5a)剔除候选行为部件中的离散轨迹；5b)计算经5a)剔除后的候选行为部件的类内触发频度

【技术特征摘要】
1.基于层次聚类的判别性部件挖掘行为识别方法，包括如下步骤：(1)对所有行为视频提取稠密轨迹，得到轨迹点的3D坐标，并分别计算轨迹点的方向梯度直方图HOG和光流方向直方图HOF，串接作为该轨迹的底层特征；(2)基于稠密轨迹，计算轨迹间的空间距离和形状距离；(3)采用步骤(2)获得的空间距离和形状距离作为相似性度量，进行层次聚类，获取轨迹聚类簇；(4)将轨迹聚类簇的簇内信息熵作为聚类的有效性度量指标Eval，通过迭代循环，选取Eval最小值对应的聚类簇作为最优的层次聚类结果，即候选行为部件；(5)采用判别式约束对候选行为部件进行进一步筛选和抽象：5a)剔除候选行为部件中的离散轨迹；5b)计算经5a)剔除后的候选行为部件的类内触发频度其中，表示为第i类行为的第j个候选行为部件经5a)剔除后的新候选行为部件，表示为第i类行为中所有行为视频隶属于的平均判分，Vi表示第i类行为的任一行为视频，Ni表示第i类行为的视频个数，i＝1,2,...,M，M表示行为类别总数目；5c)对新候选行为部件的类内触发频度进行归一化，得到归一化后的类内触发频度并计算新候选行为部件判别性度量指标其中，5d)设置新候选行为部件判别性度量指标的阈值为TDis，筛选判别性行为部件：若则将新候选行为部件筛选为判别性行为部件，并将该判别性行为部件作为行为视频的表示，进行行为视频识别；否则，剔除该新候选行为部件，并将该新候选行为部件的相关轨迹置入轨迹缓冲区，返回步骤(2)。2.根据权利要求1所述的方法，其中步骤(1)中“对所有行为视频提取稠密轨迹”，按如下步骤进行：1a)对行为视频八个尺度空间使用密集网格进行采样，每两个尺度空间之间的缩放因子为采样间隔为5个像素；1b)在光流场中跟踪稠密采样点并形成稠密轨迹。3.根据权利要求1所述的方法，其中步骤(1)中“计算轨迹点的HOG和HOF特征”，按如下步骤进行：1c)以轨迹为中心，在轨迹周围提取一个大小为32×32像素，长度为15帧的立方体；1d)在轨...

【专利技术属性】
技术研发人员：同鸣，郭志强，陈逸然，田伟娟，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61