一种针对游泳馆场景下的多目标跟踪方法技术

本发明专利技术公开了一种针对游泳馆场景下的多目标跟踪方法，构建的目标检测网络模型，所述目标检测网络模型包括基础目标检测模块和匹配模块，采用训练好的目标检测网络模型对游泳馆内摄像头采集的视频图像序列进行目标检测和匹配，获得配对的人头框与人体框，作为目标检测结果；然后对目标检测网络模型的目标检测结果，采用多目标跟踪算法对已配对的人头框与人体框对象进行多目标跟踪，获得目标轨迹。本发明专利技术模型框架简单，能够有效地对分类并跟踪游泳馆内岸上的人员以及游泳人员，实时对游泳人员进行检测跟踪，获取位置信息、行为信息。行为信息。行为信息。

【技术实现步骤摘要】
一种针对游泳馆场景下的多目标跟踪方法


[0001]本申请属于计算机视觉
，尤其涉及一种针对游泳馆场景下的多目标跟踪方法。

技术介绍

[0002]目标跟踪是计算机视觉领域中研究的热点之一，分为单目标跟踪与多目标跟踪。前者跟踪视频画面中的单个目标，后者则同时跟踪视频画面中的多个目标，得到这些目标的运动轨迹。基于视觉的多目标跟踪在近年来越来越多地成为计算机视觉领域的研究重点，主要是因为其在智能监控、动作与行为分析、自动驾驶、虚拟现实和娱乐互动等领域都有重要的应用。
[0003]多目标跟踪问题可以根据是否使用到当前帧之后的帧图像进行划分，分为在线跟踪(Online tracking)和离线跟踪(Batch tracking)。在工业应用方面，在线跟踪可以根据当前的检测结果与历史轨迹按时间顺序逐步生成新的轨迹。而且在线多目标跟踪可以实时处理输入的视频序列，因此能够在现实场景中应用。目前在线多目标跟踪遵循两种主要范式：检测跟踪TBD(tracking
‑
by
‑
detection)和联合检测与跟踪JDT(joint detection and tracking)。检测跟踪(TBD)将检测和跟踪视为两种独立的任务，通常使用已有的目标检测器对视频序列的每一帧进行目标检测，根据包围框对目标进行裁剪，得到图像中的所有目标。然后，转化为前后两帧之间的目标关联问题，通过IoU、外观等构建相似度矩阵，再通过匈牙利算法、贪婪算法等方法进行求解。联合检测与跟踪(JDT)是使用端到端可训练的检测框范式，共同学习检测和表观特征，能够在单个神经网络框架中联合执行检测和跟踪的多目标跟踪方法。虽然联合检测与跟踪单从深度神经网络的结构来看，跟踪器中的目标特征预测、表观特征提取和数据关联模块都可以与目标检测网络相融合，但目前在工业落地使用的角度考虑，基于检测的在线多目标跟踪算法仍是主流范式。
[0004]基于检测的在线多目标跟踪算法中，检测部分加入性能较高的深度学习目标检测器，例如R
‑
CNN、SSD、YOLO，能够大幅度提升在线多目标跟踪算法的性能。典型的SORT算法就基于传统的匈牙利匹配算法，使用Faster R
‑
CNN目标检测网络替换原有的聚合通道检测，实现了跟踪准确度和速度的大幅度提升。后续的研究也表明了检测精度与在线多目标跟踪性能存在高度的正相关。以良好的目标检测结果为前置输入，分别改进目标特征预测模块、表观特征提取模块和数据关联模块的算法都属于基于检测的多目标跟踪算法。目标的表观特征被广泛用于多目标跟踪进行关联，因为相比于一些只使用简单的运动建模的基线跟踪器，目标的表观特征较为稳定，可以更加鲁棒地连接长时间遮挡的目标。例如，DeepSORT在SORT算法的基础上使用了在ReID数据集上预训练的ResNet网络提取目标的表观特征，然后将表观特征相似性度量融入到关联代价中进行关联，从而大幅减少了跟踪过程中目标身份切换的问题。
[0005]目前在线多目标跟踪算法已在多个领域中进行应用，对于游泳馆场景下的所有目标进行跟踪是属于智能监控领域。在游泳池内，初学者可能因为缺乏训练使得游泳人员在
水中失去平衡，发生溺水并导致死亡。一些游泳人员也可能因受伤、抽筋、突发疾病等原因发生溺水。目前，泳池的安全大多采用传统的人工监管模式，但是救生员不可能24小时每时每刻都在监管泳池所有区域。但已有的防溺水方法中包括：压力传感器、心跳监测传感器、运动传感器、水下摄像头等设备。这些设备具有极高的维护成本并且难以对所有人员进行监测。而基于视觉的对游泳馆内目标进行跟踪的意义有：一、能够对游泳馆客流量进行统计，防止人数超员、肢体冲突等事故风险；二、能够实时对视频中的所有游泳人员进行检测跟踪，并从这些序列图像中逐帧获取到跟踪人员的位置信息、行为信息等，并根据行为识别与分析判断是否发生溺水，防止游泳溺亡事故；三、可以实时检测游泳馆内的安全员是否在岗，防止溺水事件突发，救生员离岗救生不及时。
[0006]目前基于视觉的对游泳馆内目标进行跟踪的方法例如有：法国Vision IQ公司研发的Poseidon利用位于游泳池上方的摄像头和位于水底的网络系统同时实时对游泳者的活动进行监视，此装置通过图像处理来确定游泳者的轨迹，该系统把人体沉入水底这一溺水行为作为判断游泳者是否溺水的依据；新加坡南洋科技大学溺水报警系统小组研究出的DEWS通过分析人体溺水行为及正常游泳行为的特点及区别来判断游泳者是否溺水；中国北京科技大学用水下摄像头采集视频，完成对游泳者的检测；中国台湾科技大学采用Haar特征及Adaboost算法对游泳者进行检测，同时采用卡尔曼滤波对检测到的游泳者进行跟踪，但由于检测使用的特征单一，并不能很好的将游泳者与泳池背景分开，仅仅实现了对单个游泳者的跟踪。
[0007]根据以上的研究方法，发现在针对游泳馆场景下的多目标跟踪技术难点主要表现在以下几点：
[0008](1)如何区分游泳馆内的游泳者和岸上人员。游泳馆内不同角度的摄像头会监控覆盖整个馆内的人员。若只针对游泳人员进行溺水判断时，就需要对游泳者和岸上人员进行区分，并为后续行为识别做出准备。
[0009](2)如何将目标检测的人头框和人体框进行准确的配对。目标检测网络中仅对游泳馆内的人头和人体进行不同类别的检测，但缺少了同一目标下人头框和人体框的关联操作。关联结果能够在后续的多目标跟踪算法中对同一目标的人头框和人体框进行整体地跟踪。
[0010](3)对游泳者进行检测跟踪时只使用到了人体的特征信息，而缺少了重要的人头信息。如果出现背景信息干扰、溺水行为表现不显著时，行为识别网络难以对人体的行为特征做出判断。此时，可结合人头在水上或水下的特征信息做出判断。
[0011](4)水花、水面反光。游泳者在水中游泳时产生的水花以及由于光照、灯光的影响出现反光现象。这时就需要鲁棒的检测网络以及制作在不同光照场景下对游泳人员标注的数据集。

技术实现思路

[0012]本申请的目的是提供一种针对游泳馆场景下的多目标跟踪方法。通过基于检测的在线多目标跟踪范式，改进针对泳池场景的检测器与跟踪器。在检测跟踪时可实时获取到游泳馆内所有目标的人头和人体信息并将人头和人体进行配对，实现一个有效的游泳馆场景下的多目标跟踪方法。
[0013]为了实现上述目的，本申请技术方案如下：
[0014]一种针对游泳馆场景下的多目标跟踪方法，包括：
[0015]获取游泳馆内摄像头采集的图像，对图像中目标进行标注，标注出人头框和人体框，以及人头框和人体框各自的类别，其中类别分别是水上或水下，人头框包含在人体框内，属于同一人的人头框和人体框具有相同的标识编号，构成训练数据集；
[0016]采用训练数据集训练构建的目标检测网络模型，所述目标检测网络模型包括基础目标检测模块和匹配模块，采用训练好的目标检测网络模型对游泳馆内摄像头采集的视频图像序列进行目标检测和匹配，获得配对的人头框与人体框，作为目标检测结果；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对游泳馆场景下的多目标跟踪方法，其特征在于，所述针对游泳馆场景下的多目标跟踪方法，包括：获取游泳馆内摄像头采集的图像，对图像中目标进行标注，标注出人头框和人体框，以及人头框和人体框各自的类别，其中类别分别是水上或水下，人头框包含在人体框内，属于同一人的人头框和人体框具有相同的标识编号，构成训练数据集；采用训练数据集训练构建的目标检测网络模型，所述目标检测网络模型包括基础目标检测模块和匹配模块，采用训练好的目标检测网络模型对游泳馆内摄像头采集的视频图像序列进行目标检测和匹配，获得配对的人头框与人体框，作为目标检测结果；对目标检测网络模型的目标检测结果，采用多目标跟踪算法对已配对的人头框与人体框对象进行多目标跟踪，获得目标轨迹。2.根据权利要求1所述的针对游泳馆场景下的多目标跟踪方法，其特征在于，所述目标检测网络模型对游泳馆内摄像头采集的视频图像进行目标检测和匹配，包括：采用基础目标检测模块进行目标检测，获得基础目标检测模块骨干网输出的特征图，以及基础目标检测模块最终输出的预测检测框和预测分类结果；将特征图、预测检测框和预测分类结果输入到匹配模块中，执行如下操作：在匹配模块中，通过感兴趣区域池化层将预测检测框映射至特征图中，根据预测分类结果提供的类别信息，提取特征图中人头特征与人体特征；采用提取的人头特征与人体特征，计算人头特征与人体特征的余弦距离；计算人头框与人体框的交并比距离；对余弦距离和交并比距离进行加权求和，获得代价矩阵作为人头框与人体框之间关联度量；将人头框与人体框之间的关联度量作为匹配权值，通过匈牙利匹配算法，匹配出人头框与人体框之间的匹配关系。3.根据权利要求1所述的针对游泳馆场景下的多目标跟踪方法，其特征在于，所述对目标检测网络模型的目标检测结果，采用多目标跟踪算法...

【专利技术属性】
技术研发人员：王晓航，朱鹏飞，郭东岩，张剑华，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：