地铁断面客流量统计和行人逆行检测方法及系统技术方案

本发明专利技术公开了一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法，本发明专利技术将在线多目标跟踪算法应用于地铁监控场景，采用地铁监控视频制作样本集用于训练检测器，同时利用大规模行人再识别数据集训练外观特征抽取网络。综合运动信息和外观特征提高跟踪算法性能，通过算法跟踪场景内的每一个行人目标，进而通过跟踪目标与设置的绊线之间的逻辑判断统计出客流量信息，同时也可以检测出行人的逆行行为。

【技术实现步骤摘要】
地铁断面客流量统计和行人逆行检测方法及系统
本专利技术涉及人流量和异常行为检测
，具体为一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法及系统。
技术介绍
随着我国的城市化的不断推进和基础建设领域的持续投资，一、二线的大型城市都规划了较为完善的轨道交通网络。地铁对于城市而言，不仅大大方便了人民群众的日常通勤，也提升了城市的综合治理水平。与此同时，地铁作为典型的人群密集场所，也有许多新的安全议题，其公共安全治理也对管理者提出更高的要求。以视频监控控制客流、预警危险事件，不仅可以保障乘客安全，而且更高效智能，能节省大量人力资源。掌握地铁站内实时客流信息、对乘客存在的危险行为及时预警是地铁监控视频智能分析的基本任务。基于在线的多目标跟踪算法，我们可以获取监控场景内的客流量变化，还可以对控制区域的行人逆行进行快速检测并报警。地铁监控场景具有客流量大、人流密集、人群相互遮挡、行人运动复杂等特征，这对多目标跟踪算法提出了很大的挑战。多目标跟踪算法旨在准确描绘出独立个体的连续运动，难点在于不同个体连续跟踪过程中的准确性，比如同一目标遮挡后的恢复，多个目标交织后的准确区分，对运动过程中的目标变形的跟踪等。多目标跟踪算法多采用跟踪基于检测的策略，检测器的性能是跟踪的基础，检测器为跟踪器提供初始化并在跟踪过程中对跟踪做出持续的修正，这又被称为数据关联。检测器的改进能大幅提高跟踪的效果，目标的准确跟踪则依赖于数据关联，包括关联度量的相似度计算和匹配方法。因为检测器的改进对于跟踪效果的提升影响很大，而数据关联的相关研究一直未有大突破，所以多目标跟踪在学术界并不是热门。但是实际工业应用却对其有很大的需求。Sort(2016)和DeepSort(2017)就是目前工业界关注最高的算法，这两个算法基本流程一样，都遵循：检测→运动预测(特征提取)→相似度计算→数据关联的基本流程。由于加入了外观信息的关联度量和级联匹配，DeepSort相当于Sort的改进版本。DeepSort算法核心包括卡尔曼滤波、匈牙利匹配和利用外观特征和距离特征的级联匹配，框架简单但是十分高效，外观特征的提取也没有增加太多的计算负荷，因此能满足有实时性要求的工程应用。最新的研究提出引入轨迹评分机制来完善匹配优先级，将检测网络和特征提取网络结合起来以进一步提升速度。这些都是基于DeepSort的改进，并未改变整体的框架，也未有突破性的性能提升。中国专利技术专利申请公开号CN110782484A，介绍了一种无人机视频人员识别追踪的方法。针对无人机对行人跟踪，采用了RetinaNet作为检测模型对行人进行学习，然后利用跟踪算法对行人进行跟踪。该专利技术针对无人机拍摄的视频进行行人跟踪，只采用公共数据集进行检测模型的训练，未对场景特征进行优化，同时对于多目标跟踪算法只采用了卡尔曼预测和匈牙利匹配，未利用目标的外观特征提升跟踪算法的性能。此外，无人机监控视频并非固定视角，因此场景画面一直在变化，这对多目标跟踪是十分不利的，几乎使得目标的运动信息无法使用。中国专利技术专利申请公开号CN110532852A，介绍了一种基于深度学习的地铁行人异常事件检测的方法。使用了深度学习检测算法和DeepSort跟踪算法进行地铁的异常行为监测。其中包括入侵、逆行和摔倒。该专利技术中的逆行检测通过前后15帧同一行人构成的运动方向向量，计算其与预设绝对逆行方向向量间的角度差进行逆行异常判断。该方法因为需要视频的前后帧数据，因此无法做到实时的应用，且连续帧的运动向量方向非线性，实用性并不好。而通过计算前后3帧的行人质心位置Y坐标的相对变化量和行人检测框宽高比的相对变化量，判断行人是否发生摔倒异常，会因为大量的遮挡导致检测框瞬时变化而产生误判，实用性也不佳。
技术实现思路
本专利技术所要解决的技术问题在于：利用深度学习算法智能统计地铁站内监控视频的断面客流量并检测行人逆行。本专利技术通过以下技术手段实现解决上述技术问题。一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法，包括以下步骤S01.目标检测模型训练，采用地铁站监控视频制作样本集，对目标跟踪算法进行训练，得到目标检测模型；S02.外观特征描述模型训练，采用行人再识别数据集训练表观特征抽取网络，得到特征提取模型，用于提取检测目标外观特征向量；S03.绊线设置，根据实际场景设置用于判断行人跨越的绊线，作为判断行人跨越行为的依据；S04.目标追踪，获取地铁站内监控视频，将视频解码抽帧，输入目标检测模型，目标检测模型获取初始的行人检测框，特征提取模型根据检测框内的目标得到外观特征向量；依据检测框的位置信息和提取出的外观特征向量进行目标跟踪匹配，循环迭代确定跟踪目标的目标ID号并返回；S05.行为判断，对于同一目标ID号的行人目标，判断其检测框坐标与绊线的位置关系；根据检测框是否在一定时期内出现在绊线两侧，来判断其是否存在跨越绊线行为；S06.客流量和逆行计算，根据行人目标的跨越行为，统计计算出视频区域内的断面客流量，同时判断特定区域是否存在行人逆行行为，并给出报警信号。进一步的，所述步骤S01中，采用YOLOV3检测算法作为目标跟踪算法的检测器，以darknet53为基础的特征提取网络作为检测器的backbong，对样本集进行迭代训练。进一步的，所述步骤S02中，使用darknet深度学习框架搭建CNN外观特征抽取网络，离线训练得到特征提取模型。进一步的，所述CNN外观特征抽取网络为10层，分别为2个卷积层，1个最大值池化层，6个残差层，1个全连接层；其中，对样本数据进行三次下采样，最后批归一化得到128维向量作为外观特征度量向量。进一步的，所述步骤S03中绊线垂直于客流行进方向，设置于地铁站内楼梯口、扶梯口、闸机口区域。进一步的，所述步骤S04具体为：接入地铁监控视频，解码抽帧后输入YOLOV3检测算法中获取当前帧内的检测目标的检测框，YOLOV3检测算法采用非极大值抑制和置信度对检测框进行筛选，然后再采用10层的CNN外观特征抽取网络对检测框内检测目标分别计算其外观特征的128维向量。进一步的，所述步骤S04中的目标跟踪匹配为先对检测目标和跟踪器进行级联匹配，然后针对级联匹配中筛选出的未匹配的检测目标再进行IOU匹配；所述级联匹配为先采用多目标跟踪算法进行目标跟踪，进行距离度量，具体为：对跟踪目标执行卡尔曼滤波，同时使用匈牙利匹配方法对目标ID进行逐帧关联；其中，卡尔曼滤波器为di,j1＝(dj-yi)TSi-1(dj-yi)(1)其中，(yi，Si)表示第i个跟踪器预测值在度量空间的分布，dj表示第j个检测框；计算检测框距离跟踪器位置的平均标准差得到马氏距离；然后，通过计算检测器i和跟踪器j的外观空间中的最小余弦距离获得外观度量然后采用加权和将距离度量和外观度量组合，得到ci,j＝λdi,j1+(1-λ)di,j2根据阈值排除距离较大的关联，综合后的阈值：bi,j＝本文档来自技高网...

【技术保护点】
1.一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法，其特征在于：包括以下步骤/nS01.目标检测模型训练，采用地铁站监控视频制作样本集，对目标跟踪算法进行训练，得到目标检测模型；/nS02.外观特征描述模型训练，采用行人再识别数据集训练表观特征抽取网络，得到特征提取模型，用于提取检测目标外观特征向量；/nS03.绊线设置，根据实际场景设置用于判断行人跨越的绊线，作为判断行人跨越行为的依据；/nS04.目标追踪，获取地铁站内监控视频，将视频解码抽帧，输入目标检测模型，目标检测模型获取初始的行人检测框，特征提取模型根据检测框内的目标得到外观特征向量；依据检测框的位置信息和提取出的外观特征向量进行目标跟踪匹配，循环迭代确定跟踪目标的目标ID号并返回；/nS05.行为判断，对于同一目标ID号的行人目标，判断其检测框坐标与绊线的位置关系；根据检测框是否在一定时期内出现在绊线两侧，来判断其是否存在跨越绊线行为；/nS06.客流量和逆行计算，根据行人目标的跨越行为，统计计算出视频区域内的断面客流量，同时判断特定区域是否存在行人逆行行为，并给出报警信号。/n

【技术特征摘要】
1.一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法，其特征在于：包括以下步骤
S01.目标检测模型训练，采用地铁站监控视频制作样本集，对目标跟踪算法进行训练，得到目标检测模型；
S02.外观特征描述模型训练，采用行人再识别数据集训练表观特征抽取网络，得到特征提取模型，用于提取检测目标外观特征向量；
S03.绊线设置，根据实际场景设置用于判断行人跨越的绊线，作为判断行人跨越行为的依据；
S04.目标追踪，获取地铁站内监控视频，将视频解码抽帧，输入目标检测模型，目标检测模型获取初始的行人检测框，特征提取模型根据检测框内的目标得到外观特征向量；依据检测框的位置信息和提取出的外观特征向量进行目标跟踪匹配，循环迭代确定跟踪目标的目标ID号并返回；
S05.行为判断，对于同一目标ID号的行人目标，判断其检测框坐标与绊线的位置关系；根据检测框是否在一定时期内出现在绊线两侧，来判断其是否存在跨越绊线行为；
S06.客流量和逆行计算，根据行人目标的跨越行为，统计计算出视频区域内的断面客流量，同时判断特定区域是否存在行人逆行行为，并给出报警信号。


2.根据权利要求1所述的一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法，其特征在于：所述步骤S01中，采用YOLOV3检测算法作为目标跟踪算法的检测器，以darknet53为基础的特征提取网络作为检测器的backbone，对样本集进行迭代训练。


3.根据权利要求2所述的一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法，其特征在于：所述步骤S02中，使用darknet深度学习框架搭建CNN外观特征抽取网络，离线训练得到特征提取模型。


4.根据权利要求3所述的种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法，其特征在于：所述CNN外观特征抽取网络为10层，分别为2个卷积层，1个最大值池化层，6个残差层，1个全连接层；其中，对样本数据进行三次下采样，最后批归一化得到128维向量作为外观特征度量向量。


5.根据权利要求1所述的种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法，其特征在于：所述步骤S03中绊线垂直于客流行进方向，设置于地铁站内楼梯口、扶梯口、闸机口区域。


6.根据权利要求4所述的一种基于多目标跟踪算法的地铁断面客流量统计和行人逆行检测方法，其特征在于：所述步骤S04具体为：接入地铁监控视频，解码抽帧后输入YOLOV3检测算法中获取当前帧内的检测目标的检测框，YOLOV3检测算法采用非极大值抑制和置信度对检测框进行筛选，然后再采用10层的CNN外观特征抽取网络对检测框内检测目标分别计算其外观特征的128维向量。


7.根据权利要求4所述的一种基于多目标跟踪算法的地铁端面客流量统计和行人逆行检测方法，其特征在于：所述步骤S04中的目标跟踪匹配为先对检测目标和跟踪器进行级联匹配，然后针对级联匹配中筛选出的未匹配的检测目标再进行IOU匹配；
所述级联匹配为先采用多目标跟踪算法进行目标跟踪，进行距离度量，具体为：对跟踪目标执行卡尔曼滤波，同时使用匈牙利匹配方法对目标ID进行逐帧关联；其中，卡尔曼滤波器为
di，j1＝(dj-yi)TSi-1(dj-yi)(1)
其中，(yi，Si)表示第i个跟踪器预测值在度量空间的分布，dj表示第j个检测框；计算检测框距离跟踪器位置的平均标准差得到马氏距离；
然后，通过计算检测器i和跟踪器j的外观空间中的最小余弦距离获得外观度量



然后采用加权和将距离度量和外观度量组合，得到
ci，j＝λdi，j...

【专利技术属性】
技术研发人员：房思思，卢安安，甘彤，商国军，王崇海，时亚丽，马彪彪，唐亮，凌虎，刘海涛，张琦珺，任好，
申请(专利权)人：中国电子科技集团公司第三十八研究所，
类型：发明
国别省市：安徽;34