基于多特征融合的群体行为识别方法技术

本发明专利技术公开了基于多特征融合的群体行为识别方法，包括：对三个不同层次的特征信息进行提取，分别是：对单个人提特征，主要考虑的是每帧中每个人的位置、大小、运动信息，以及用卷积神经网络对每个人提取的特征；针对人与人之间的交互进行语义特征提取，主要考虑人与人之间的外在动作关系以及相对朝向关系；对群体行为中人所处的环境提取场景信息。采用全链接条件随机场模型，将这些特征信息进行融合，实现对群体行为的识别。该方法同时考虑了多种特征信息，能更全面、更有效地对群体行为进行描述，提高了群体行为的识别率，在视频监控中有重要的应用价值。

【技术实现步骤摘要】

本专利技术属于图像处理技术及模式识别领域，特别涉及基于多特征融合的群体行为识别方法。
技术介绍
行为识别是计算机视觉领域中备受关注的前沿方向，在单个人以及双人之间的行为识别研究方法中，已经取得了显著的成就。而近年来，由于视频监控、人机交互、基于视频的内容检索的需求越来越大，群体行为识别渐渐成为了计算视觉和模式识别的研究热点之一。但是群体行为所涉及的人数多且不固定、人与人之间交互关系的多变性、以及场景的复杂性，对群体行为的研究具有极大的挑战。近年来，许多的群体行为识别研究中工作致力于研究语义信息对群体行为识别的影响，并取得了一定的成果。对于分析视频监控下的群体行为，更需要考虑的是语义信息，即人与人之间的交互以及每个人在特定群体中所扮演的角色。Choi提出一种语义描述符Spatio-TemporalLocal(STL)，主要是利用人与人之间的姿态的相对关系来描述他们之间的交互行为。这种捕捉语义关系的描述符的提出是一图形分类领域的ShapeContext算法为基础的，该特征捕捉了其他人相对于焦点人物的空间位置关系以及人脸方向关系。以场景中的某个人为中心，计算周围人的位置和人脸方向关系，最后用直方图来表示。STL特征可以有效的捕捉人与人之间的空间位置关系和一定的交互关系，但是它的缺点在于没有描述人与人之间的动作关系，所以识别效果不是很理想。Lan提出一种基于外观的动作语义描述符(ActionContext)，利用每个人与周围邻近人的外在动作关系来更好的描述当前人的行为。这种描述符对于动作差异比较大的群体行为识别效果比较好，但是对于视角的变化比较敏感，导致识别率不高。Takuhiro综合了Lan和Choi方法的优点，在考虑人与人之间的动作关系的基础上，还考虑了人与人之间的相对朝向关系，对视角变化不敏感，对识别结果有一定的提升，但仍不够理想。从上面的方法可以看出，他们考虑的特征信息比较单一，对于人数多变且交互复杂的群体行为，我们应从多个方面提取特征信息，进行综合，这样可以更全面并有效地描述群体行为。
技术实现思路
对于群体行为而言，由于存在的人数比较多，且每个人所表现的行为有差异，如果将他们看成一个群体行为，仅仅提取交互特征进行分析，显然存在不足，应该考虑更多的能够有效地描述群体行为的特征信息，并综合考虑这些特征，才能更显著地进行群体行为识别。本专利技术的目的在于提出一种基于多特征融合的群体行为识别方法。其特征是，该方法包括如下步骤：步骤1、分为三个部分进行不同层次的特征提取，分别针对单个人提取单人特征信息，对人与人之间的交互关系提取交互特征，其中的交互关系主要是人与人之间的动作关系和相对朝向关系，并对群体行为中的人所处的环境进行场景信息提取；步骤2、特征融合：将人与人之间的交互特征与场景信息合并，采用含有径向基函数的支持向量机(SupportVectorMachine，SVM)分类算法得到行为得分，作为全链接条件随机场模型的一元势，对单个人所提取的特征信息作为全链接条件随机场模型的二元势，将提取的所有特征融合于一个模型中，进行群体行为识别。作为本专利技术的进一步改进，所述步骤1具体包括：步骤1-1、提取单人的特征信息，主要是考虑每个人的位置信息、大小信息(高度信息)、运动信息(其中位置信息和大小信息是数据库中提供的)，这三种特征主要是反映每个人的表征特征，采用卷积神经网络(ConvolutionNeuralNetwork，CNN)对单个人提特征，也是对前面三种表征特征信息的补充；步骤1-2、针对人与人之间的交互关系进行特征提取，分别以每个人为中心，将他周围的与他邻近的人视为他的上下文，根据自身行为以及周围邻近人所表现的行为，提取行为上下文特征，记作AC描述符，而这种描述符只捕捉了人与人之间的动作关系；在此基础上，并考虑每个人与他周围邻近人的相对朝向关系，提取相对上下文特征，记作RAC描述符；步骤1-3、人群体行为中的人所处的场景也为行为识别提供必要的线索，对人所处的环境提取场景信息，主要考虑了三种场景信息：室外、室内、汽车。场景信息的提取分成两步进行，首先采用空间金字塔分配方法对场景进行室外、室内分类，其次利用眼动仪观察场景图片，可以得到感兴趣区域，对感兴趣区域进行分析，看场景中是否有汽车存在。作为本专利技术的进一步改进，所述步骤2具体包括：步骤2-1、计算全链接条件随机场模型的一元势：将人与人之间的交互特征AC描述符和RAC描述符分别与场景信息合并得到新的特征向量，采用SVM分类模型进行分类得到行为得分，再分别经过softmax转换得到概率，并对这两种概率通过求max得到新的概率向量，将得到的结果作为全链接条件随机场模型的一元势；步骤2-2、特征融合：针对单个人提取的所有特征信息作为全链接条件随机场模型的二元势，根据模型的一元势和二元势自动学习，进行群体行为识别；有益效果在目前现有的群体行为识别研究方法中，主要是针对人与人之间的交互提特征，他们将将场景中的所有人看成一个群体进行分析，但是在现实的视频监控场景中往往可能存在多个群体，而且每个群体进行不一样的活动，比如：场景中总共有5个人，其中有4个人围在一起谈话，但有一个人正好从旁边走路经过，这个人和其他的4个人就不是一个群体，因为他们表现的行为是不一样的。显然将所有人看成一个群体进行分析是不合理的。而且目前的群体行为研究方法都没有考虑人所处环境的场景信息，但是场景信息对于行为识别可以提供一些线索。比如：我们知道行为发生在室外、有汽车、斑马线或红绿灯，那么我们就可以判断这不可能是谈话或排队行为，反而是过马路行为的可能性更大一些；如果是发生在室内，那么就不可能是过马路、或在等待过马路。因此引入场景信息对群体行为分析具有一定的重要意义。当然，在我们的实验结果中能看出来，考虑场景信息是很有效的。因此我们的做法是：考虑单个人的特征、人与人之间的交互特征以及场景信息，并且利用全链接条件随机场模型将这些特征信息进行融合，并实现自动分群(分群的依据是：属于同一个群体的每个人具有相似的位置、大小、以及运动信息)，从而达到更好的识别群体行为的效果。附图说明图1专利技术的主流程图。图2利用卷积神经网络(CNN)对单个人提特征。图3根据眼动实验得到的注释轨迹图、注释热点图。图4本文方法在CollectivityActivityDataset数据库上的所做实验的识别结果。具体实施方式下面结合附图和实例对本专利技术作进一步说明，应指出的是，所描述的实例仅旨在便于对本专利技术的理解，而对其不起任何限定作用。基于多特征融合的群体行为识别方法，包括如下步骤：步骤1、分三部分进行不同的特征提取，分别针对单个人提取单人特征信息，对人与人之间的交互提取交互特征，并对群体行为中的人所处的环境进行场景信息提取；步骤2、将人与人之间的交互特征与场景信息进行融合，采用含有径向基函数的SVM分类算法得到行为得分，作为全链接条件随机场模型的一元势，而针对单个人所提取的特征信息作为全链接条件随机场模型的二元势，将所提取的所有特征融合于一个模型中，进行群体行为识别。特征提取的过程包括：步骤1-1、针对单个人所提的特征信息，主要是考虑每个人的位置信息、大小信息(高度信息)、运动信息(其中位置信息和大小信息是数据库中提供的)，并采用卷本文档来自技高网...

【技术保护点】
基于多特征融合的群体行为识别方法，其特征是，该方法包括如下步骤：步骤1、特征提取：分三部分进行不同的特征提取，分别针对单个人提取单人特征信息，对人与人之间的交互提取交互特征，并对群体行为中的人所处的环境进行场景信息提取；步骤2、特征融合：将人与人之间的交互特征与场景信息融合，采用含有径向基函数的支持向量机分类算法得到行为得分，作为全链接条件随机场模型的一元势，而针对单个人所提取的特征信息作为全链接条件随机场模型的二元势，将所提取的所有特征融合于一个模型中，进行群体行为识别。

【技术特征摘要】
1.基于多特征融合的群体行为识别方法，其特征是，该方法包括如下步骤：步骤1、特征提取：分三部分进行不同的特征提取，分别针对单个人提取单人特征信息，对人与人之间的交互提取交互特征，并对群体行为中的人所处的环境进行场景信息提取；步骤2、特征融合：将人与人之间的交互特征与场景信息融合，采用含有径向基函数的支持向量机分类算法得到行为得分，作为全链接条件随机场模型的一元势，而针对单个人所提取的特征信息作为全链接条件随机场模型的二元势，将所提取的所有特征融合于一个模型中，进行群体行为识别。2.根据权利要求1所述的群体行为识别方法，其特征是，所述步骤1具体包括：步骤1-1、针对单个人所提的特征信息，考虑每个人的位置信息、大小信息、运动信息，这三种信息都属于最基本的外在表征信息；并采用卷积神经网络对单个人提特征，这种特征提取的方法是针对整幅图片提取特征，经过多个卷积层、降采样层操作，最终得到的特征是高层次的语义组合，这种方法比单纯的外在特征能更好地描述单个人的行为、姿态信息；步骤1-2、针对人与人之间的交互进行特征提取，分别以每个人为中心，将他周围的与他邻近的人视为他的上下文，根据自身行为以及周围邻近人所表现的行为，提取行为上下...

【专利技术属性】
技术研发人员：陈昌红，余晓，干宗良，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32