一种基于概率潜在语义分析的行人异常识别方法技术

本发明专利技术提出一种基于概率潜在语义分析的行人异常识别方法，主要解决现有技术中特征表征能力弱、分类不够准确的问题。该方法主要步骤包括：从视频文件中提取人体运动目标，对目标区域提取时空兴趣点，并采用HOG3D/HOF描述子加以表征，通过K‑means聚类对所有描述子特征向量分类，生成视频词典，并建立其词袋模型，然后训练概率潜在语义分析模型，从而对测试视频分类。本发明专利技术能准确识别人体运动，而且对环境场景运动、人体形态变化有一定的鲁棒性，可用于行人视频监控。

A method of pedestrian anomaly recognition based on probabilistic latent semantic analysis

The invention relates to a method for identifying pedestrian anomalies based on probabilistic latent semantic analysis, which mainly solves the problems of weak capability of feature representation and insufficient classification in the prior art. The method includes the following steps: human motion target extraction from video files to the target area, extracting spatio-temporal interest point and the HOG3D/HOF descriptors are characterized by K, means clustering of all descriptors feature vector classification, generating video dictionary, and set up his bag model, then training probabilistic latent semantic analysis model to test video classification. The invention can accurately identify the movement of human body, and has certain robustness to the movement of the environment scene and the change of the human body shape.

【技术实现步骤摘要】

：本专利技术涉及一种利用计算机视觉进行人体行为识别的方法，具体地说是一种对待分析视频中的人体行为进行分类的方法，属于模式识别
技术背景：人体行为识别是近几年来计算机视觉领域的重大热点之一，其在运动捕获视频监控等多领域获得了初步的应用，并具重大的应用前景。由于人体运动的多变性和多样性，背景的嘈杂以及背景运动等多方面的因素严重影响人体运动的识别效果，实现人体行为识别是计算机视觉领域长期存在的问题。在人体行为识别问题中，研究者常对图像强度值在局部范围内有显著变化的像素点感兴趣，这些“兴趣点”通常被称为时空兴趣点(Space-TimeInterestPoints，STIP)。Harris角点就是一种常用的兴趣点，2003年，Laptev等人最先将空间域的Harris角点检测推广到时空域，得到3D-Harris角点。该方法较好的克服了尺度、速度、视角等变化，但检测到的时空角点过于稀疏。2005年，Dollar等人提出了Cuboids检测算法，在空间2D高斯滤波器的基础上引入时间Gabor滤波器，将相应函数高于某一阈值的区域定义为时空兴趣点，使提取的兴趣点更为稠密。然而Dollar方法不具有尺度不变性，2008年，Willems等人提出了基于三维Hessian矩阵的兴趣点检测方法，在保证兴趣点稠密性的同时具有尺度不变性。在以上时空兴趣点的检测方法中，一旦背景中有其他微小运动目标，时空兴趣点同样会记录这些微小运动。检测出兴趣点后，需要选择合适的局部特征描述子对兴趣点进行特征表示。Laptev等人采用基于HOG和HOF的特征描述子对3D-Harris角点表示，Dollar等人采用Cuboid描述子表示兴趣点。Klaser等人将HOG推广到时空维，得到3D-HOG描述子，其考虑了是将方向的梯度信息。同样的，Willems等人将SURF描述子推广到三维空间，得到ESURF描述子。以上描述例子中，有的只考虑梯度信息，有的只考虑光流信息，当联合考虑时有只在空间域与时间域内单独考虑。Wang等人比较了各种局部描述算子，并发现在大多数情况下整合了梯度和光流信息的描述算子其效果最好。在分类器的选择方面，Laptev和Dollar等人都采用K均值聚类对描述子聚类，后采用SVM对行为分类。检测结果较优，但是该方法忽略了动作之间的关联性以及时空上下文特征。2005年LiFeiFei首次将Bagofword模型应用于场景图像的表示，并通过主题模型实现对多种场景的分类李，使得主题模型进行人体行为分类被广泛接受。其应用Cuboid检测子从视频序列中提取兴趣点，利用HOG描述子描述提取到的兴趣点，生成视觉单词，应用pLSA(ProbabilisticLatentSemanticAnalysis)学习和分类人体行为，该方法不仅可以识别多个单动作视频序列，而且可以识别一个长视频中的多个动作。但这些早期的研究还只是局限于受限场景下的人体动作识别，比如特定的视角、动作人、背景和光照，在自然场景下，取消上述种种限制的情况下，该方法的性能急剧下降甚至不再适用。
技术实现思路
：本专利技术针对现有基于视频的人体行为识别方法存在的不足，提出一种基于概率潜在语义分析的行人异常识别方法，以提高特征的表征能力和行为识别率。为实现上述目的，该专利技术具体包括以下步骤：步骤A、取一个视频样本，采用混合高斯背景建模算法提取前景目标，对该视频每一帧生成仅含人体目标的二值掩码图片，通过掩码图片生成仅含人体目标的视频；读取视频前n帧，建立背景模型，对新读取的每一帧，分割出包含人体的二值图片。将该二值图像与原图像做掩膜操作，生成仅含人体目标的灰度图像，通过一系列灰度图像生成仅含前景人体的视频。步骤B、采用基于三维Hessian矩阵检测生成视频的时空兴趣点；该步骤的具体实现方法是：三维Hessian矩阵定义为其中，σ、τ分别为空间和时间尺度，ξ、η分别表示x、y或t，g(.；σ2，τ2)为高斯平滑函数，在该尺度下，对每一个像素计算Hessian矩阵行列式，得到兴趣点响应函数S＝|det(H)|，在时间、空间和尺度(x，y，t，σ，τ)上采用非最大值抑制选择局部最大值作为兴趣点的位置。在计算中，对极值点尺度归一化，并采用积分视频和盒滤波器加速计算。步骤C、采用HOG3D/HOF描述子计算步骤B中检测到的时空兴趣点，获得相应的特征向量；将兴趣点周围的视频块划分为不同子块，每一子块又划分为不同的元胞。每个元胞的直方图qj由元胞的平均梯度经正多面体量化得到，每个子块分别用直方图hi表示，则子块直方图hi由元胞直方图qj累加得到，再将所有子块直方图hi连接得到视频块直方图ds，进行二范数归一化最终生成HOG3D特征向量。以人体活动时空兴趣点p为中心，将局部时空小块按x，y，t方向均分成nx×ny×nt个小格，将0度至360度的光流方向划分5个方向；采用LK光流法计算每个像素位置的光流，之后在这5个方向做量化和直方图统计，得到每个小格的统计结果为一个五维向量，将每个小格按x，y，t的顺序顺次连接可得到一个5×nx×ny×nt维的光流直方图HOF特征。将HOG3D与HOF特征级联生成该时空兴趣点的HOG3D/HOF特征向量。步骤D、采用K-means对训练数据集中提取出的特征集合进行聚类，建立所有时空单词组成的集合W＝{w1，ww，…，wm本文档来自技高网...

【技术保护点】
一种基于概率潜在语义分析的行人异常识别方法，其特征在于，包括下述步骤：步骤A、取一个视频样本，采用混合高斯背景建模算法提取前景目标，对该视频每一帧生成仅含人体目标的二值掩码图片，通过掩码图片生成仅含人体目标的视频；步骤B、采用基于三维Hessian矩阵检测生成视频的时空兴趣点；步骤C、采用HOG3D/HOF描述子计算步骤B中检测到的时空兴趣点，获得相应的特征向量；步骤D、采用K‑mean聚类算法对视频的特征向量集合建立视频图像的词袋模型；步骤E、采用概率潜在语义分析模型训练视频集，进行行人异常识别。

【技术特征摘要】
1.一种基于概率潜在语义分析的行人异常识别方法，其特征在于，包括下述步骤：步骤A、取一个视频样本，采用混合高斯背景建模算法提取前景目标，对该视频每一帧生成仅含人体目标的二值掩码图片，通过掩码图片生成仅含人体目标的视频；步骤B、采用基于三维Hessian矩阵检测生成视频的时空兴趣点；步骤C、采用HOG3D/HOF描述子计算步骤B中检测到的时空兴趣点，获得相应的特征向量；步骤D、采用K-mean聚类算法对视频的特征向量集合建立视频图像的词袋模型；步骤E、采用概率潜在语义分析模型训练视频集，进行行人异常识别。2.根据权利要求1所述的一种基于概率潜在语义分析的行人异常识别方法，其特征在于，所述的步骤A包括：步骤A1、读取视频前n帧，用混合高斯模型建立背景模型，对每一帧不断更新背景模型；步骤A2、每读取新的一帧，根据步骤A1所得背景分割出仅含人体的二值图像；步骤A3、将二值图像与原图像做掩膜操作，生成仅含人体目标的灰度图像；步骤A4、将这一系列的灰度图像合并成仅含前景人体的视频。3.根据权利要求1所述的一种基于概率潜在语义分析的行人异常识别方法，其特征在于，所述的步骤B包括：步骤B1、三维Hessian矩阵定义为其中，σ、τ分别为空间和时间尺度，ξ、η分别表示x、y或t，g(·；σ2，τ2)为高斯平滑函数，在该尺度下，对每一个像素计算Hessian矩阵行列式，得到兴趣点响应函数S＝|det(H)|，在时间、空间和尺度(x，y，t，σ，τ)上采用非最大值抑制选择局部最大值作为兴趣点的位置；步骤B2、极值点尺度归一化，时空兴趣点局部极值所在尺度和真实尺度之间的关系为：也就是说在5维空间(x，y，t，σ，τ)中，将极值点处的尺度乘以得到兴趣点尺度，计算过程采用积分视频和盒滤波器进行加速。4.根据权利要求1所述的一种基于概率潜在语义分析的行人异常识别方法，其特征在于，所述的步骤C包括：步骤C1、将兴趣点周围的视频块划分为不同...

【专利技术属性】
技术研发人员：余国刚，顾丽军，彭伟鸿，惠志洲，戴小荣，巢文科，
申请(专利权)人：江苏新通达电子科技股份有限公司，
类型：发明
国别省市：江苏;32