一种基于时空信息和层级表示的视频人体行为识别方法技术

本发明专利技术涉及人工智能领域，更具体的，涉及一种基于时空信息和层级表示的视频人体行为识别方法。本发明专利技术充分利用了视频中的时空信息，层级时空束将视频运动分为几个部分，进而得到视频运动的更高维度的表示。针对传统视频表示方法忽略视频的中高层语义信息，仅仅关注特征出现的次数，利用的只是0阶信息等不足，基于层级时空束的视频表示方法能够有效剪除视频的背景噪声干扰、并且弥补底层特征与高层特征之间的语义鸿沟，可以捕获更高阶更复杂的运动结构信息。层级时空束方法可以在更高的维度上，析取更加复杂和更具表现力的视频表示，能够有效提高视频识别的效果。

A Video Human Behavior Recognition Method Based on Spatiotemporal Information and Hierarchical Representation

The invention relates to the field of artificial intelligence, and more specifically to a video human behavior recognition method based on temporal and spatial information and hierarchical representation. The invention makes full use of the space-time information in video, and the hierarchical space-time beam divides video motion into several parts, thereby obtaining a higher dimension representation of video motion. Traditional video representation methods neglect the high-level and middle-level semantic information of video, only focus on the number of features appearing, and use only 0-order information. The video representation method based on hierarchical space-time beam can effectively eliminate the background noise interference of video, and make up the semantic gap between the low-level and high-level features. It can capture higher-level and more complex motion structure information. Hierarchical space-time beam method can extract more complex and expressive video representations in higher dimensions, and can effectively improve the effect of video recognition.

【技术实现步骤摘要】
一种基于时空信息和层级表示的视频人体行为识别方法
本专利技术涉及人工智能领域，更具体的，涉及一种基于时空信息和层级表示的视频人体行为识别方法。
技术介绍
视频人体行为识别是一项前沿的人工智能技术，能够通过计算机自动计算，从而识别视频内容并进行分类，可广泛应用智能监控、人机交互、视频内容检索中。具体指通过机器学习技术，从已标定类别的视频数据集中提取特征，训练特征得到分类器，进而判断未知视频的过程。为了获取较高的人体行为识别率，首先需要提取具有表现力的特征。理想的特征首先需要对人体外观与尺寸、场景光照和拍摄视角等具有鲁棒性；其次，提取到的特征应含有丰富的场景上下文信息，从而能够有效区分其他运动类别的视频。从特征析取角度，目前人体行为识别技术包括基于底层特征、基于层次特征和基于深度特征的视频表示方法。基于底层特征的视频表示方法又可分为基于全局特征的视频表示和基于局部特征的视频表示，如时空兴趣点和轨迹特征等视频表示方法。基于层次特征的方法可分为基于场景上下文的视频表示方法和基于时空段的视频表示方法。以上技术现存在如下缺点：1)前景运动与背景运动分离在背景固定、光流变化不大的监控环境下，人体行本文档来自技高网...

【技术保护点】
1.一种基于时空信息和层级表示的视频人体行为识别方法，其特征在于，包括以下步骤：步骤S1：基于摄像机运动补偿整个视频片段的整体光流，提取前景运动光流，并形成补偿轨迹；步骤S2：通过关键帧选择，过滤得到视频中具有判别力的关键帧；步骤S3：对补偿轨迹采样并训练得到混合高斯模型；步骤S4：选择关键帧得到视频关键帧集合，并结合混合高斯模型对补偿轨迹进行FV编码，形成关键轨迹集；步骤S5：将整个视频进行片段分割与排序模型，将分割后的视频片段执行步骤S1～步骤S4，获得分割后视频片段的层级时空束特征；步骤S6：将以层级时空束作为视频表示，并作为分类器的输入，经过SVM分类之后，得到视频分类标签。

【技术特征摘要】
1.一种基于时空信息和层级表示的视频人体行为识别方法，其特征在于，包括以下步骤：步骤S1：基于摄像机运动补偿整个视频片段的整体光流，提取前景运动光流，并形成补偿轨迹；步骤S2：通过关键帧选择，过滤得到视频中具有判别力的关键帧；步骤S3：对补偿轨迹采样并训练得到混合高斯模型；步骤S4：选择关键帧得到视频关键帧集合，并结合混合高斯模型对补偿轨迹进行FV编码，形成关键轨迹集；步骤S5：将整个视频进行片段分割与排序模型，将分割后的视频片段执行步骤S1～步骤S4，获得分割后视频片段的层级时空束特征；步骤S6：将以层级时空束作为视频表示，并作为分类器的输入，经过SVM分类之后，得到视频分类标签。2.根据权利要求1所述的一种基于时空信息和层级表示的视频人体行为识别方法，其特征在于，步骤S1的具体步骤如下：步骤S101：采用六参数仿射模型，模拟摄像机运动；步骤S102：对视频帧的第i像素pi＝(xi,yi)，仿射光流向量wA(pi)表示如公式1所示：其中uA(pi)＝c1(i)+a1(i)xi+a2(i)yi为水平仿射光流向量，vA(pi)＝c2(i)+a3(i)xi+a4(i)yi为垂直仿射光流向量，θ＝[c1,c2,a1,…,a4]T为六参数仿射模型的参数向量，其中c1,c2表示摄像机平移参数，a1,a2,a3,a4表示摄像机旋转与缩放参数，设点pi在下一视频帧的位置为pi'，如公式2所示，其中θ＝[ca]，需求解的目标函数如公式3所示，其中m为视频帧中特征点的个数；其中，γ(θ)为物体在经过摄像机补偿后，去除了摄像机的运动，表示了物体现实世界的位移；步骤S103：基于实时增量多分辨率Motion2D算法，采用参数增量估计的方式计算得到仿射模型参数向量θ，并且定义像素pi＝(xi,yi)的全局光流向量为w(pi)＝(u(pi),v(pi))，补偿光流wF(pi)为公式4所示：wF(pi)＝w(pi)-wA(pi)(4)定义经过补偿光流wF追踪得到的改进密集轨迹为补偿轨迹。3.根据权利要求2所述的一种基于时空信息和层级表示的视频人体行为识别方法，其特征在于，步骤S2的具体步骤如下：步骤S201：对每个输入的视频帧，分别计算其时间显著性与空间显著性；步骤S202：将两种显著性线性组合用以计算每个...

【专利技术属性】
技术研发人员：吴昱焜，李仲泓，衣杨，沈金龙，佘滢，朱艺，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44