基于视频分析的航站楼旅客常见聚集行为识别方法技术

本专利提出了一种基于视频分析的航站楼旅客常见聚集行为识别方法。该方法给出一种新的旅客聚集分割方法，能够从视频场景中对聚集旅客区域进行提取，并识别常见的四种旅客聚集行为：坐姿等候、自由站立等侯、排队等候和结伴行走，并以此为基础对获得的聚集旅客视频数据集进行分割和标注，然后采用VGG卷积神经网络训练获得航站楼常见聚集旅客行为分类器，用于新视频场景中聚集旅客的行为识别。

Recognition Method of Common Aggregation Behavior of Passengers in Terminal Based on Video Analysis

【技术实现步骤摘要】
基于视频分析的航站楼旅客常见聚集行为识别方法所属
本专利技术专利属于计算机视觉、模式识别、数字图像处理、机器学习
，主要涉及基于视频的航站楼常见旅客聚集行为识别方法。
技术介绍
近年来随着我国民航运输量的增加，航站楼内旅客的吞吐量也迅速增长。就2017年上半年而言，1000-2000万级的航站楼旅客数持续增长，30强机场航站楼的旅客吞吐量到达到了4.39亿人次。航站楼作为客流量大、人员密集的大型公共场所，如何对其内部的人群进行有效地监控和管理，是一个非常重要的公共安全问题，也是机场能够安全有序运行的重要保障。旅客聚集是航站楼内的最为常见的场景：例如在行李托运办理、值机柜前、安检区域、服务问询柜台等场景中通常都会出现聚集人群。通过对航站楼内的聚集人群行为进行深入研究分析，能够发现航站楼内的旅客群体主要以四种形式进行聚集：坐姿等候旅客群体、自由站立等候旅客群体、排队旅客群体、结伴行走旅客群体。目前国内航站楼基本上已经实现了监控视频的全方位覆盖，如北京首都机场T3扩建工程中监控系统摄像机约3000套；深圳机场T3扩建工程中，摄像机约2900套；天津机场T2航站楼部署全高清摄像机1133套，未来可接入5000套以上。利用监控视频自动分析和识别出航站楼内以上四种常见的旅客聚集行为，是发现航站楼内人群行为规律的基础，也是进一步识别异常旅客群体行为的基础。能够为航站楼内旅客的有效管理、合理设计公共设施、事件检测和交通控制提供决策依据。
技术实现思路
本专利提出了一种基于视频分析的航站楼旅客常见聚集行为识别方法。该方法给出一种新的旅客聚集分割方法，能够从视频场景中对聚集旅客区域进行提取；总结出了常见的四种旅客聚集行为：①坐姿等候旅客群体、②自由站立等候旅客群体、③排队旅客群体、④结伴行走旅客群体。并以此为基础对获得的聚集旅客视频数据集进行分割和标注，然后采用VGG卷积神经网络训练获得航站楼常见聚集旅客行为分类器，用于新视频场景中对聚集旅客的行为进行实时识别。除用于航站楼外，本专利技术专利还可以应用于火车站、地铁、商场、医院等人群聚集场所的实时监控，可作为进一步总结聚集旅客行为规律的基础，以及识别聚集人群异常行为的基础。本专利技术专利包括如下主要内容：1.航站楼视频场景中的聚集旅客区域分割方法(1)计算航站楼聚集旅客的相对平均距离阈值收集航站楼内聚集旅客场景图像数据集，并标记出聚集人群区域。对这些图像进行灰度化、去噪声等预处理操作。对每一帧图像上的聚集人群区域利用HOG方法进行行人检测，获得人群中每个成员的所占区域的宽度，以及其位置区域。在上述工作的基础上，计算和分析当前聚集旅客中所有个体成员的相对平均距离，即把旅客宽度作为构成人群的成员之间的距离参考标准。计算获得所收集航站楼图像数据集中所有聚集旅客区域的相对平均距离值后，对这些数据进行统计和排序，取90％置信度的数值作为聚集旅客的相对平均距离阈值。(2)基于航站楼聚集旅客相对平均距离的旅客群组区域分割算法对当前要分析的视频场景图像进行前景检测，提取出其中的群聚旅客区域：包含静止旅客和移动旅客。利用行人检测技术，对提取到的前景图像进一步处理，过滤掉其中的非行人像素。利用行人检测器，检测出图像场景中所有行人区域，并计算这些行人区域的速度信息。本文专利提出一种基于航站楼聚集旅客相对平均距离的旅客群组区域分割算法，对待分析场景中的聚集旅客进行分析。该算法以(1)中得到的距离阈值为连通参数，结合速度相似性采用DBSCAN聚类算法对聚集人群进行聚类分析。通过以上聚类过程，可以把相距距离远、速度差别大零散行人和聚集人群分割开，获得多个聚集人群子区域。2.聚集旅客常见行为检测方法收集航站楼内四种常见的聚集旅客视频数据集，并具体标注出该场景中人群的聚集子区域和聚集行为类别。以聚集旅客子区域视频作为输入，聚集行为类别作为期望输出，利用VGG卷积神经网络提取人群聚集子区域的特征，进而训练获得常见旅客聚集行为分类器。其过程如附图(图1旅客聚集行为检测过程图)所示。本专利的算法部分施方案，主要包括：(1)对聚集旅客区域进行分割。(2)识别聚集旅客的行为。其具体实施路线如下：1.聚集旅客区域分割(1)提取聚集人群的相对距离阈值收集航站楼内各位置的聚集旅客图像数据集，并在这些图像上进行人工标注，标注出图像上的人群聚集区域。对标记后的图像进行灰度化、Gamma校正；计算图像的HOG特征和LBP特征；采用HOG_LBP行人检测器对标注区域的图像进行行人检测，检测出每个行人的区域。检测结果中的行人都是以矩形框的形式标记出来，以每个行人矩形框的中心作为该行人的位置标识点，称为行人参考点，则当前样本区域内所有的行人参考点集合为P＝{pi}，i＝1，…，n，n为参考点的个数，参考点pi在样本图像中为位置为{xpi，ypi}。计算出该样本图像中所有行人参考点之间的相对平均距离，即行人的平均距离，其公式如下：计算该样本区域内标记行人区域矩形框的宽度平均值：得出该样本区域内的行人的相对平均聚集距离，计算公式如下：计算采集到的所有聚集人群图像中Di，对这些值进行排序和统计，取90％位置的值作为聚集人群区域的阈值。(2)基于相对平均距离阈值的聚集旅客子区域分割对于当前采集到的视频场景图像，利用cookbook码本方法进行前景检测。得到静止人群和移动人群的前景图像img1，并在该前景图像img1上采用HOG_LBP行人测器进一步进行检测，保留场景中的行人前景，去除掉前景中非行人的部分，得到只包含行人前景的图像img2，以及行人参考点集合P＝{pi}，i＝1，…，n，n为参考点的个数。在前景图img2上利用Lucas_Kanade光流法计算特征点的速度信息。HOG_LBP行人检测器在该图像上标识出了每个行人的矩形范围区域，形成了矩形区域集合Rect＝{recti}，i＝1，…，n，n为检测出的行人个数。对于每个recti，统计属于其范围内的光流点，并以这些光流点的平均速度作为该行人的速度，也就是对应的行人参考点pi的速度。利用本专利所给出的基于相对平均距离阈值的DBSCAN算法对行人参考点集合P进行聚类。其中的邻域参数采用(1)中所分析得到的Di。在聚类过程中，邻域可达的条件除了对于距离小于阈值外还应该考虑速度是不是相似。只有在距离可达，速度相似的条件下，才进行聚类扩展，其中速度相似性是指速度的大小相差不超过20％，速度的角度相差不大于90度角。通过以上聚类过程，可以把相距距离远、速度差别大的零散行人和聚集人群分割开，进而把聚集旅客区域划分为多个聚集人群子区域。2.聚集旅客常见行为检测(1)聚集旅客行为分类器训练分别收集航站楼内四种常见的旅客聚集视频数据集，首先对视频进行预处理并提取出聚集人群区域，利用基于相对平均距离阈值的DBSCAN算法对聚集人群进行分析，把聚集人群分割成若干个不同行为的子区域，标注出每个子区域的旅客聚集行为类别，具体包括①坐姿等候旅客群体、②自由站立等候旅客群体、③排队旅客群体、④结伴行走旅客群体。把聚集子区域进行图像归一化为244像素*244像素的统一尺寸，作为输入；并把该区域内旅客的聚集行为类别作为输出，使用VGG网络结构进行训练。该网络具有16个卷积层、3个全连接层和5个池化层，卷积层采用本文档来自技高网...

【技术保护点】
1.航站楼视频场景中的聚集旅客区域分割方法(1)计算航站楼聚集旅客的相对平均距离阈值计算获得所收集航站楼图像数据集中所有聚集旅客区域的相对平均距离值后，对这些数据进行统计和排序，取90％置信度的数值作为聚集旅客的相对平均距离阈值。(2)航站楼聚集旅客区域分割本文专利提出一种基于航站楼聚集旅客相对平均距离的旅客群组区域分割算法，对待分析场景中的聚集旅客进行分析。该算法以(1)中得到的距离阈值为连通参数，结合速度相似性采用DBSCAN聚类算法对聚集人群进行聚类分析。通过以上聚类过程，可以把相距距离远、速度差别大零散行人和聚集人群分割开，获得多个聚集人群子区域。

【技术特征摘要】
1.航站楼视频场景中的聚集旅客区域分割方法(1)计算航站楼聚集旅客的相对平均距离阈值计算获得所收集航站楼图像数据集中所有聚集旅客区域的相对平均距离值后，对这些数据进行统计和排序，取90％置信度的数值作为聚集旅客的相对平均距离阈值。(2)航站楼聚集旅客区域分割本文专利提出一种基于航站楼聚集旅客相对平均距离的旅客群组区域分割算法，对待分析场景中的聚集旅客进行分析。该算法以(1)中得到的距离阈值为连通参数，结合速度相似性采用DBSCAN聚类算法对聚集人群进行聚类分析。通过以上聚类过程，可以把相距距离远、速度差别大零散行人和聚集人群分割开，获得多个聚集人群子区域。...

【专利技术属性】
技术研发人员：刘赏，董林芳，
申请(专利权)人：刘赏，董林芳，天津财经大学，
类型：发明
国别省市：天津,12