结合置信度和贡献度的基于时空上下文的行为识别方法技术

技术编号:14861342 阅读:46 留言:0更新日期:2017-03-19 14:24
本发明专利技术是结合置信度和贡献度的基于时空上下文的行为识别方法。弥补了经典的局部特征+词袋模型进行人体行为识别时的不足。本发明专利技术不仅描述了局部特征在空间域和时间域上的上下文交互信息,而且还考虑了特征与行为之间的关联关系。本发明专利技术包括:从关联规则中挖掘单词的置信度;从线性SVM中学习单词的贡献度;联合置信度和贡献度计算单词与对应行为的关联权值;根据时空交互关系和自身关联权值,计算上下文关联系数;累积与邻域内所有点的关联系数得到局部上下文描述子;利用上下文描述子累积直方图,生成特征序列用于行为分类。本发明专利技术采用机器学习及数据挖掘相关技术,旨在使人体行为识别算法更具判别性和鲁棒性。

【技术实现步骤摘要】

本专利技术涉及基于内容的视频分析,智能监控与人体行为识别领域,尤其涉及结合置信度和贡献度的基于时空上下文的行为识别方法
技术介绍
基于视觉的人体行为分析有着广阔的应用前景,因为人体所获得的八成以上的信息都是视觉信息,面对如此庞大的信息量,人工处理显然是不切实际的,因此急需研究开发能替代人力的计算机相关方面的能力。人体行为识别在视频监控,基于内容的检索以及人机交互方面具有广泛的应用价值,已经成为计算机视觉的热门研究领域。行为分析有两大关键问题:行为描述和行为识别,其中行为描述是通过提取有判别力的,鲁棒的特征来表达行为;行为识别则是选取与之相应的分类模型,利用所提取的特征对行为进行分类识别。目前行为识别最常用的特征有静态特征(例如形状和轮廓)和动态特征(例如光流和局部时空特征)。近些年,局部时空特征+词袋模型(BOW)因其出色的识别能力和较低的复杂度,成为行为识别领域广泛应用的方法。词袋模型利用一系列无序且相互独立的时空单词对人体行为进行建模,在构建直方图时只保留每个单词在词典中的类别标号。虽然,该模型对视角和尺度变化不敏感并且不需要对人体进行跟踪,但是它有自身的局限性。如此建模方法,不仅损失了兴趣点的时空分布信息与上下文交互信息,而且每个单词都被认为对行为具有相同的贡献程度。
技术实现思路
本专利技术的目的是克服传统的局部特征+词袋模型用于行为识别时的局限性,从而提出结合置信度和贡献度的基于时空上下文的行为识别方法。本专利技术有如下的创新点:①将时空上下文作为一种补充信息,用来描述3D局部特征点之间的相互关系,并且设计了一种简单但不失判别力的局部上下文描述子。②从关联规则中计算置信度,挖掘单词与行为之间的统计关系;从线性支持向量机SVM中计算贡献度,学习单词与行为之间的因果关系。③基于置信度和贡献度,为每个单词计算其对应不同行为的关联权值,该权值在分类过程中,使模型更具判别性和鲁棒性。本专利技术包括如下步骤:步骤1:为每个视频序列,提取时空兴趣点STIP,这些点是在时间域和空间域中变化剧烈的角点;步骤2:利用梯度方向直方图HOG和光流方向直方图HOF,对每个兴趣点进行描述,生成特征向量;步骤3:利用K均值聚类,对提取的所有兴趣点进行聚类,形成码本;步骤4:为每个兴趣点分配单词标号,计算兴趣点与码本中各单词的距离,选取最近单词的标号作为该点的类别标号,这样每个兴趣点就可以表示为一个四元组{x,y,t,c本文档来自技高网...

【技术保护点】
结合置信度和贡献度的基于时空上下文的行为识别方法,其特征在于,包括如下步骤:步骤1:提取时空兴趣点;步骤2:用HOG\HOF描述兴趣点;步骤3:聚类形成码本;步骤4:为每个兴趣点分配单词标号;步骤5:统计每个单词的置信度;步骤6:学习每个单词的贡献度;步骤7:计算每个单词的关联权值;步骤8:计算上下文关联系数;步骤9:得到每个兴趣点的局部上下文描述子;步骤10:利用上下文描述子累积直方图,生成特征序列;步骤11:进行KNN最近邻分类。

【技术特征摘要】
1.结合置信度和贡献度的基于时空上下文的行为识别方法,其特征
在于,包括如下步骤:
步骤1:提取时空兴趣点;
步骤2:用HOG\\HOF描述兴趣点;
步骤3:聚类形成码本;
步骤4:为每个兴趣点分配单词标号;
步骤5:统计每个单词的置信度;
步骤6:学习每个单词的贡献度;
步骤7:计算每个单词的关联权值;
步骤8:计算上下文关联系数;
步骤9:得到每个兴趣点的局部上下文描述子;
步骤10:利用上下文描述子累积直方图,生成特征序列;
步骤11:进行KNN最近邻分类。
2.根据权利要求1所述的行为识别方法,其特征在于:在步骤5
统计置信度时,利用数据挖掘技术,挖掘各单词与各行为之间的统计
关系,所述的步骤5包括,
步骤5-1:挖掘样本集中的频繁项集,得到每个单词的支持度,
当支持度大于阈值,进行步骤5-2,否则将该单词的置信度置0,跳
转进行步骤6;
步骤5-2:挖掘样本集中的关联规则,得到每个单词的置信度,
当置信度大于阈值,即表示为一个关联规则,此关联规则的置信度即

\t为该单词对应该行为的置信度,否则将该单词的置信度置0。
3.根据权利要求1所述的行为识别方法,其特征在于:在步骤6
学习贡献度时,利用机器学习技...

【专利技术属性】
技术研发人员:苗振江许万茹张强刘汝杰
申请(专利权)人:北京交通大学富士通株式会社
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1