融合互补特征的视觉人体行为识别方法技术

本发明专利技术涉及一种融合互补特征的视觉人体行为识别方法。其中，该方法包括：构建视频中人体行为的表观特性的表达和运动特性的表达；确定时空表观特征和运动特征的时空结构信息；将时空表观特征和运动特征映射到低维子空间中；利用随机弱线性分类器对低维特征进行弱分类，完成对节点的分割，产生多棵随机树；计算随机树上叶节点中各类别训练样本的时空结构信息与统计分布的概率值；将测试视频的时空结构信息与叶节点中的训练样本的时空结构信息进行匹配，并以训练样本所属类别的统计分布的概率值作为测试视频属于该类的得分，判定视频中所述人体行为的所属类别。通过该技术方案，解决了如何对视频中人体行为进行高效、鲁棒的识别的技术问题。

Visual human behavior recognition method based on complementary features

The invention relates to a vision human behavior recognition method with fusion complementary features. Among them, the method includes: expression and movement characteristics of human behavior in view of characteristics of construction video table; space-time table space structure information view feature and motion feature; the apparent temporal features and motion features are mapped into a low dimensional subspace; using random weak linear classifier for low dimensional feature of weak classification the completion of the node, segmentation, multi tree random tree; tree probability calculation of random spatial and temporal structural information and statistical distribution of various categories of training samples in the leaf nodes of the value; will test the space-time structure information and spatial structure of leaf node video in the training samples, and the training sample category the statistical distribution of probability value as a test video which belongs to the category of the score, to determine the human behavior in the video. Through the technical scheme, the problem of how to efficiently and robustly recognize human behavior in video is solved.

【技术实现步骤摘要】
融合互补特征的视觉人体行为识别方法
本专利技术涉及计算机视觉
，特别涉及一种融合互补特征的视觉人体行为识别方法。
技术介绍
视觉人体行为分析是计算机视觉领域的一个重要的、同时又极具挑战性的研究问题。它的主要目的是对一组包含各种人体行为的图像序列进行描述与分析，通过相关算法识别出视频中所包含的人体行为。目前相关的行为分析技术在体育运动分析、互动型游戏、智能监控等多种场合都得到了广泛应用。视觉人体行为分析任务存在许多难点问题，如行为方式的多样性、拍摄视角的不固定、行为背景中的移动信息、光照和尺度的变化等因素。通常，不同种类的特征侧重于表达视频中人体行为的不同侧面的特性，对这些信息的合理利用与有效融合，将有助于完成对视频中的人体行为的识别任务。目前的多数方法已经证明了综合利用多种不同特征来进行人体行为识别的有效性，但当前的多数方法的一个不足是，只关注于综合利用不同种类的特征，而忽略了不同种类特征之间的互补性与冗余性等特点。而在视觉人体行为分析的任务中，通常要处理的视频多达上百上千个，当利用许多种冗余性较高的不同种类特征时，一方面并不能保证识别准确率的提高，同时也浪费了大量的计算资源。本文档来自技高网...

【技术保护点】
一种融合互补特征的视觉人体行为识别方法，其特征在于，所述方法包括：步骤1：提取视频中基于稀疏时空兴趣点的时空表观特征，并构建所述视频中所述人体行为的表观特性的表达；其中，所述视频包括测试视频和训练视频，所述训练视频包括训练样本集；步骤2：提取所述视频中基于密集采样的运动特征，并构建所述视频中所述人体行为的运动特性的表达；步骤3：确定所述时空表观特征和所述运动特征的时空结构信息；步骤4：构建基于随机森林的分类器，并执行以下步骤：利用基于随机选择的特征子空间投影，将所述时空表观特征和所述运动特征映射到随机选择的低维子空间中，得到低维特征；利用基于特征相似性的随机弱线性分类器对所述低维特征进行弱分类...

【技术特征摘要】
1.一种融合互补特征的视觉人体行为识别方法，其特征在于，所述方法包括：步骤1：提取视频中基于稀疏时空兴趣点的时空表观特征，并构建所述视频中所述人体行为的表观特性的表达；其中，所述视频包括测试视频和训练视频，所述训练视频包括训练样本集；步骤2：提取所述视频中基于密集采样的运动特征，并构建所述视频中所述人体行为的运动特性的表达；步骤3：确定所述时空表观特征和所述运动特征的时空结构信息；步骤4：构建基于随机森林的分类器，并执行以下步骤：利用基于随机选择的特征子空间投影，将所述时空表观特征和所述运动特征映射到随机选择的低维子空间中，得到低维特征；利用基于特征相似性的随机弱线性分类器对所述低维特征进行弱分类，对节点进行分割，直至产生叶节点；重复执行上述产生叶节点的步骤，产生多棵随机树；步骤6：计算所述随机森林中每棵随机树上叶节点中各类别训练样本的所述时空结构信息与统计分布的概率值；步骤7：将所述测试视频的所述时空结构信息与所述叶节点中的训练样本的时空结构信息进行匹配，并以所述训练样本所属类别的所述统计分布的概率值作为所述测试视频属于该类的得分，结合最大多数投票法则判定所述视频中所述人体行为的所属类别。2.根据权利要求1所述的方法，其特征在于，所述提取视频中基于稀疏时空兴趣点的时空表观特征，并构建所述视频中所述人体行为的表观特性的表达，具体包括：针对所述视频中的每一帧，在其二维空间上，使用二维高斯滤波器进行滤波，并在所述视频中的时间维上使用一维Gabor滤波器进行滤波，得到每个像素点的响应值；将所述每一帧中响应值最大的像素点确定为感兴趣的像素点；以所述感兴趣的像素点为中心，构建三维邻域；对各所述三维邻域进行划分，得到邻域块，并计算每一所述邻域块内像素点的梯度方向的直方图；将各所述直方图相串接并进行归一化，形成各所述感兴趣像素点的局部区域的描述子；通过k均值算法对所有所述局部描述子进行聚类，形成表观特性的团簇，并构建所述表观特性的视觉词典；利用最近邻原则，将所述局部区域的描述子分配至所述表观特性的团簇中；对所述视频中的所有局部区域所属团簇的频次进行统计，形成所述视频中人体行为的表观特性的表达。3.根据权利要求1所述的方法，其特征在于，所述提取所述视频中基于密集采样的运动特征，并构建所述视频中所述人体行为的运动特性的表达，具体包括：针对所述视频中的每一帧，进行像素点采样，并结合密集光流场和中值滤波，对采集的像素点进行跟踪，得到当前像素点在下一帧中的位置；将各所述位置进行串联，形成轨迹集合；检测所述每一帧中是否存在不包含跟踪点且与采样间隔相关的局部区域，若是，则将所述局部区域的中心点确定为初始点进行跟踪并加入所述轨迹集合；以每一轨迹上的位置为中心，计算所述中心周围邻域中的水平方向与竖直方向的光流差并统计形成直方图，作为对局部区域的运动特性描述子；对所有所述局部区域的运动特性描述子进行聚类，构建运动特性的视觉词典；根据最近邻原则，将每一所述局部区域的运动特性描述子划分到距离最近的聚类团簇中，并统计所述视频中所有团簇出现的频次，构建直方图向量，作为对所述视频中人体行为的运动特性的表达。4.根据权利要求1所述的方法，其特征在于，所述确定所述时空表观特征和所述运动特征的时空结构信息，具体包括：确定所述视频的中心位置；计算各个具有所述时空表观特征和所述运动特征的像素点位置与所述视频中心位置之间的偏移量，从而确定所述时空表观特征和所述运动特征的时空结构信息。5.根据权利要求4所述的方法，所述视频包括含有人体行为的中心位置标注的视频和不含行为中心位置标注的视频；其特征在于：所述确定所述视频的中心位置具体包括：针对所述含有人体行为的中心位置标注的视频，计算所...

【专利技术属性】
技术研发人员：胡卫明，杨双，原春锋，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11