闸机逃票检测方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了闸机逃票检测方法、装置、计算机设备及存储介质。所述方法包括：获取摄像头拍摄的视频，并对视频进行处理，以得到待检测图片；将待检测图片输入图片模型内进行人体实例分割以及关键点检测，以得到关键点预测图以及人体掩膜预测图；将关键点预测图以及人体掩膜预测图输入至跟踪模型内进行目标跟踪，以得到跟踪结果；根据跟踪结果生成掩膜姿态关键点序列视频；将掩膜姿态关键点序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；当检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。通过实施本发明专利技术实施例的方法可实现实时对逃票行为检测，无需红外成像技术进行目标定位，节省大量成本，识别准确率高。识别准确率高。识别准确率高。

【技术实现步骤摘要】
闸机逃票检测方法、装置、计算机设备及存储介质


[0001]本专利技术涉及逃票检测方法，更具体地说是指闸机逃票检测方法、装置、计算机设备及存储介质。

技术介绍

[0002]当前，地铁等轨道交通作为一种重要而便捷的交通方式，被越来越多的人所青睐。一般情况下，人们在乘坐地铁前需要购票，在进站时需要通过闸机进行检票，但每天都有很多乘客逃票，例如通过跨越闸机等方式进行逃票，给地铁公司带来了很大经济损失。
[0003]中国专利CN201910010440.8公开了一种基于红外热成像的地铁逃票行为检测方法及系统，包括如下步骤：检测行人是否进入闸机图像行人检测范围；利用自动更新背景进行红外热成像图像背景差分,提取行人红外热成像俯视图图像；对提取到的行人红外热成像俯视图图像进行形态学处理,得到基于自动更新合适的阈值的二值化行人通过闸机口的俯视图图像；对二值化的行人俯视图图像进行并行感兴趣子区域提取，设置ROI区域与闸机口个数(N)相同,获得N个相互独立的二值化闸机通道行人俯视图；对N个相互独立的二值化闸机通道行人俯视图二值图像分别进行连通区域标记，获取行人参数；对N个闸机口逃票行为判定。采用该专利技术能够有效的识别并避免逃票行为。但是这种方法基于和红外热成像进行逃票检测成本较大，且需要固定摄像头这对于项目部署来说非常不友好，有一定的局限性，且基于二值化闸机通道行人俯视图二值图像进行判断往往受到光照等其他环境影响较大，无法保证效果的准确率。中国专利CN201911224925.3提供一种地铁乘客逃票行为检测系统和方法，该系统具体包括乘客信息标记模块，识别并标记乘客是否为需购票乘车乘客、是否携带婴儿，并抓取人脸信息，储存乘客动态乘车信息；刷卡行为识别莫OK，基于深度摄像的人体骨骼运动轨迹与刷卡区是否存在交集判断乘客是否刷卡；刷卡信息读取模块，读取闸机刷卡信息和时间，刷卡行为实施的同时又刷卡成功记录判定为刷卡成功；逃票行为判定与预警模块，结合乘客购票标记信息，刷卡行为识别信息，刷卡成功记录和通过人数识别逃票行为并预警；该方法基于深度摄像机进行拍摄，成本较大，且该系统需要结合刷卡信息读取摸摸看来获取逃票行为，无法直接进行图像信息来判断有一定局限性。中国专利CN201510144081.7公开了一种闸机检测系统及方法，该系统包括：三维图像信息采集模块，包括于从不同位置采集包含同一种待检测区域的二维图像信息的至少两个图像数据采集装置，用于获取待检测区域内的人体的影像信息；闸门状态获取模块，用于获取闸机的闸门状态信息；三维图像信息识别处理模块，用于利用所述人体的影像信息和所述闸门的状态信息判定人体是否发生逃票行为：报警模块，用于当所述人体发生逃票行为时进行报警；该方法需要采用三维图像信息采集模块成本较低，且需要基于闸机状态的获取，无法仅仅依据图像信息进行分析，部署项目也相对复杂。中国专利CN202110192793.1涉及一种基于乘客姿态快速估计的地铁闸机通行逃票方法，通过如下步骤进行识别，首先先通过地铁闸机视频监控信息采集，在进行地铁乘客骨骼关键点检测，最后同故宫闸机通行乘客逃票行为识别，但是该方法仅仅依据关键点信息来判断乘客逃票行为判断，该方法无法获取到乘客
逃票行为的连续特征，识别信息缺失影响乘客逃票的行为判断，其次仅仅依靠关键点信息进行逻辑判断，往往受摄像头拍摄的空间影响，带来识别不准确。
[0004]因此，有必要设计一种新的方法，实现实时对逃票行为检测，无需红外成像技术进行目标定位，节省大量成本，识别准确率高。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的缺陷，提供闸机逃票检测方法、装置、计算机设备及存储介质。
[0006]为实现上述目的，本专利技术采用以下技术方案：闸机逃票检测方法，包括：
[0007]获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；
[0008]将所述待检测图片输入图片模型内进行人体实例分割以及关键点检测，以得到关键点预测图以及人体掩膜预测图；
[0009]将关键点预测图以及人体掩膜预测图输入至跟踪模型内进行目标跟踪，以得到跟踪结果；
[0010]根据所述跟踪结果生成掩膜姿态关键点序列视频；
[0011]将所述掩膜姿态关键点序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；
[0012]当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
[0013]其进一步技术方案为：所述图片模型是基于yolov5模型添加mask分支形成的，且对于目标检测采用CIOU损失函数，目标分类采用focal loss损失函数，对于语义分割采用dice损失函数，对于关键点检测采用Adaloss损失函数。
[0014]其进一步技术方案为：所述将所述待检测图片输入图片模型内进行人体实例分割以及关键点检测，以得到关键点预测图以及人体掩膜预测图，包括：
[0015]将所述待检测图片输入图片模型内，由图片模型的yolov5模型中选取PANet网络的N3、N4以及N5层的输出信息通过mask分支进行人体关键点预测图的预测，并生成人体掩膜，以得到关键点预测图以及人体掩膜预测图。
[0016]其进一步技术方案为：所述跟踪模型通过若干个带有目标检测框标签的人体掩膜预测图训练SimMask
‑
Transformer网络所得的。
[0017]其进一步技术方案为：所述根据所述跟踪结果生成掩膜姿态关键点序列视频，包括：
[0018]将所述跟踪结果中的关键点预测图通过yolov5
‑
mp生成对应的姿态关键点预测图；
[0019]将所述跟踪结果中的人体掩膜预测图与姿态关键点预测图进行原始特征直接拼接合并，以形成融合图片；
[0020]对所述融合图片按时间进行合并，以生成掩膜姿态关键点序列视频。
[0021]其进一步技术方案为：所述行为识别模型是通过若干个逃票行为标签的掩膜姿态关键点序列视频训练3DTransformer
‑
TIN模型所得的。
[0022]其进一步技术方案为：所述逃票行为标签包括下蹲、跳跃以及尾随行为标签。
[0023]本专利技术还提供了闸机逃票检测装置，包括：
[0024]采样单元，用于获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；
[0025]分割检测单元，用于将所述待检测图片输入图片模型内进行人体实例分割以及关键点检测，以得到关键点预测图以及人体掩膜预测图；
[0026]跟踪单元，用于将关键点预测图以及人体掩膜预测图输入至跟踪模型内进行目标跟踪，以得到跟踪结果；
[0027]视频生成单元，用于根据所述跟踪结果生成掩膜姿态关键点序列视频；
[0028]行为检测单元，用于将所述掩膜姿态关键点序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；
[0029]警告单元，用于当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
...

【技术保护点】

【技术特征摘要】
1.闸机逃票检测方法，其特征在于，包括：获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；将所述待检测图片输入图片模型内进行人体实例分割以及关键点检测，以得到关键点预测图以及人体掩膜预测图；将关键点预测图以及人体掩膜预测图输入至跟踪模型内进行目标跟踪，以得到跟踪结果；根据所述跟踪结果生成掩膜姿态关键点序列视频；将所述掩膜姿态关键点序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。2.根据权利要求1所述的闸机逃票检测方法，其特征在于，所述图片模型是基于yolov5模型添加mask分支形成的，且对于目标检测采用CIOU损失函数，目标分类采用focalloss损失函数，对于语义分割采用dice损失函数，对于关键点检测采用Adaloss损失函数。3.根据权利要求2所述的闸机逃票检测方法，其特征在于，所述将所述待检测图片输入图片模型内进行人体实例分割以及关键点检测，以得到关键点预测图以及人体掩膜预测图，包括：将所述待检测图片输入图片模型内，由图片模型的yolov5模型中选取PANet网络的N3、N4以及N5层的输出信息通过mask分支进行人体关键点预测图的预测，并生成人体掩膜，以得到关键点预测图以及人体掩膜预测图。4.根据权利要求1所述的闸机逃票检测方法，其特征在于，所述跟踪模型通过若干个带有目标检测框标签的人体掩膜预测图训练SimMask
‑
Transformer网络所得的。5.根据权利要求1所述的闸机逃票检测方法，其特征在于，所述根据所述跟踪结果生成掩膜姿态关键点序列视频，包括：将所述跟踪结果中的关...

【专利技术属性】
技术研发人员：胡懋成，王秋阳，汪玉冰，郑博超，凤阳，
申请(专利权)人：深圳市赛为智能股份有限公司，
类型：发明
国别省市：