一种基于视频的出租车违法载客检测与识别方法及系统技术方案

本发明专利技术涉及一种基于视频的出租车违法载客检测与识别方法及系统，其方法包括：S1：获取禁止载客道路的摄像头拍摄的视频数据，进行预处理，得到车辆视频帧，将车辆视帧输入目标检测与车辆跟踪模型，得到每个车辆的跟踪结果；S2：利用基于buffer的静止判断校验方法，分别计算每个车辆的所属跟踪结果的历史固定间隔帧之间的IoU以及所属初始帧和所属结束帧的IoU，获得排除抖动影响的静止可疑车辆结果；S3：将排除抖动影响的静止可疑车辆结果输入上下车动作识别网络，得到上下车动作识别预测结果，并结合出租车运营平台的实时监控数据，输出出租车违法载客检测的识别结果。本发明专利技术提供的方法实现了违法载客的自动化检测，解决了人工执法成本高、效率低的问题。效率低的问题。效率低的问题。

【技术实现步骤摘要】
一种基于视频的出租车违法载客检测与识别方法及系统


[0001]本专利技术涉及计算机视觉领域，具体涉及一种基于视频的出租车违法载客检测与识别方法及系统。

技术介绍

[0002]随着出租车数量的增多，其运营过程中存在的违法问题也日益显著，对出租车行业运营过程中的监管难度也在不断加大。出租车行业具有覆盖面广、构成复杂、流动性强的特点，由于出租车驾驶员违法载客而引起的超时停靠、私自揽客等行为严重影响了交通公用路段的正常使用。
[0003]出租车违法载客行为定义：对象为出租车车辆，在特定区域内非司机位上车、关门并起步打表。目前出租车违法载客的查处仍以人工观看视频取证的方式为主，其执法过程存在明显的不足，受传输带宽、并发调用视频数限制，人工取证执法，效率低下，威慑力不足，更重要的是，当前出租车违法载客发现、取证、查处的整个处理流程繁琐，运行机制低效，缺乏自动化的、有效的处理流程与方法。
[0004]因此，如何准确地定位图像信号中的出租车车辆并且识别其中的非司机位上下车动作是非现场执法首先面临的问题；此外，还应该考虑证据留存和确认车辆起步打表等方面的技术路径，严格确保实际执法的准确性。

技术实现思路

[0005]为了解决上述技术问题，本专利技术提供一种基于视频的出租车违法载客检测与识别方法及系统。
[0006]本专利技术技术解决方案为：一种基于视频的出租车违法载客检测与识别方法，包括：
[0007]步骤S1：获取禁止载客道路的摄像头拍摄的视频数据，进行预处理，得到车辆视频帧，将所述车辆视帧输入目标检测与车辆跟踪模型，得到每个车辆的跟踪结果，即每个车辆从起始帧到结束帧之间每帧中对应的跟踪框；
[0008]步骤S2：利用基于buffer的静止判断校验方法，分别计算每个车辆的所属跟踪结果的历史固定间隔帧之间的IoU以及所属初始帧和所属结束帧的IoU，获得排除抖动影响的静止可疑车辆结果；
[0009]步骤S3：将所述排除抖动影响的静止可疑车辆结果输入上下车动作识别网络，得到以单一车门为粒度的上下车动作识别预测结果，并结合出租车运营平台的实时监控数据，输出出租车违法载客检测的识别结果。
[0010]本专利技术与现有技术相比，具有以下优点：
[0011]1、本专利技术公开了一种基于视频的出租车违法载客检测与识别方法，设计了基于buffer的静止判断校验方法，消除了由于跟踪框抖动，或者因开关车门导致的跟踪框范围变化的影响，从而得到理想、稳定的跟踪结果。
[0012]2、本专利技术通过设计上下车动作识别网络，对乘客和驾驶员的上下车动作进行区
分，判断该出租车是否存在违法载客行为，从而实现了违法载客的自动化检测，解决了人工执法成本高、效率低的问题，进而推动交通领域非现场执法由信息化转向智能化。
附图说明
[0013]图1为本专利技术实施例中一种基于视频的出租车违法载客检测与识别方法的流程图；
[0014]图2A为本专利技术实施例中一般的动作识别的数据标注示意图；
[0015]图2B为本专利技术实施例中本专利技术实施例中增加了车门之后的数据标注示意图；
[0016]图3为本专利技术实施例中上下车动作识别网BANN的预测输出部分的结构示意图；
[0017]图4为本专利技术实施例中一种基于视频的出租车违法载客检测与识别系统的结构框图。
具体实施方式
[0018]本专利技术提供了一种基于视频的出租车违法载客检测与识别方法，实现了违法载客的自动化检测，解决了人工执法成本高、效率低的问题，推动交通领域非现场执法由信息化转向智能化。
[0019]为了使本专利技术的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本专利技术进一步详细说明。
[0020]实施例一
[0021]如图1所示，本专利技术实施例提供的一种基于视频的出租车违法载客检测与识别方法，包括下述步骤：
[0022]步骤S1：获取禁止载客道路的摄像头拍摄的视频数据，进行预处理，得到车辆视频帧，将车辆视帧输入目标检测与车辆跟踪模型，得到每个车辆的跟踪结果，即每个车辆从起始帧到结束帧之间每帧中对应的跟踪框；
[0023]步骤S2：利用基于buffer的静止判断校验方法，分别计算每个车辆的所属跟踪结果的历史固定间隔帧之间的IoU以及所属初始帧和所属结束帧的IoU，获得排除抖动影响的静止可疑车辆结果；
[0024]步骤S3：将排除抖动影响的静止可疑车辆结果输入上下车动作识别网络，得到以单一车门为粒度的上下车动作识别预测结果，并结合出租车运营平台的实时监控数据，输出出租车违法载客检测的识别结果。
[0025]在一个实施例中，上述步骤S1：获取禁止载客道路的摄像头拍摄的视频数据，进行预处理，得到车辆视频帧，将车辆视帧输入目标检测与车辆跟踪模型，得到每个车辆的跟踪结果，即每个车辆从起始帧到结束帧之间每帧中对应的跟踪框，具体包括：
[0026]步骤S11：获取道路摄像头拍摄的视频数据，存储至服务器指定缓冲区目录，轮询检验目录并读入图片，构建出一段连续完整独立的预测视频；将预测视频输入轻量模型，过滤其中不存在车辆的视频帧，得到车辆视频帧；
[0027]首先采集禁止载客道路的摄像头拍摄的视频数据，构建预测视频。由于在连续时间维度下，预测视频中存在车辆的视频帧可能是稀疏分布的，因此本专利技术实施例中的轻量模型采用较轻量的one
‑
stage的yolov5模型，用于对预测视频进行识别，判断车辆的存在
性，以此过滤不存在车辆的视频帧以节约资源、提升系统预测性能；
[0028]步骤S12：将车辆视频帧输入目标检测与车辆跟踪模型，对其中所包含的多个车辆进行跟踪，得到每个车辆从起始帧到结束帧之间在每帧中对应的一系列跟踪框。
[0029]本专利技术实施例采用deepsort作为目标检测与车辆跟踪模型，对过滤后的车辆视频帧进行检测跟踪，可得到多车辆跟踪结果，包括车辆视频帧中所出现每个车辆的起始帧、结束帧以及其间每帧中该车辆的跟踪框。
[0030]在一个实施例中，上述步骤S2：利用基于buffer的静止判断校验方法，分别计算每个车辆的所属跟踪结果的历史固定间隔帧之间的IoU以及所属初始帧和所属结束帧的IoU，获得排除抖动影响的静止可疑车辆结果，具体包括：
[0031]计算每个车辆的得分score，当score大于预定的阈值时，判断该车辆处于排除抖动影响的可疑静止状态：
[0032][0033]P(i,j)＝IoU(bbox
i
,bbox
j
)
[0034][0035]其中，α预设的超参数；t为跟踪结果的视频帧个数，k为预定义的间隔帧个数；x和y为跟踪框bbox左上点的坐标值，w和h分别跟踪框的长和宽。
[0036]基于步骤S1得到的跟踪结果，会存在由于跟踪框抖动，或者因开关车门导致跟踪框范围变化，从而得不到理想、稳定的跟踪结果，若额外使用深度学习模型对运动状态进行分类，耗时且开销大。本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频的出租车违法载客检测与识别方法，其特征在于，包括：步骤S1：获取禁止载客道路的摄像头拍摄的视频数据，进行预处理，得到车辆视频帧，将所述车辆视帧输入目标检测与车辆跟踪模型，得到每个车辆的跟踪结果，即每个车辆从起始帧到结束帧之间每帧中对应的跟踪框；步骤S2：利用基于buffer的静止判断校验方法，分别计算每个车辆的所属跟踪结果的历史固定间隔帧之间的IoU以及所属初始帧和所属结束帧的IoU，获得排除抖动影响的静止可疑车辆结果；步骤S3：将所述排除抖动影响的静止可疑车辆结果输入上下车动作识别网络，得到以单一车门为粒度的上下车动作识别预测结果，并结合出租车运营平台的实时监控数据，输出出租车违法载客检测的识别结果。2.根据权利要求1所述的基于视频的出租车违法载客检测与识别方法，其特征在于，所述步骤S1：获取禁止载客道路的摄像头拍摄的视频数据，进行预处理，得到车辆视频帧，将所述车辆视帧输入目标检测与车辆跟踪模型，得到每个车辆的跟踪结果，即每个车辆从起始帧到结束帧之间每帧中对应的跟踪框，具体包括：步骤S11：获取道路摄像头拍摄的视频数据，存储至服务器指定缓冲区目录，轮询检验目录并读入图片，构建出一段连续完整独立的预测视频；将所述预测视频输入轻量模型，过滤其中不存在车辆的视频帧，得到车辆视频帧；步骤S12：将所述车辆视频帧输入目标检测与车辆跟踪模型，对其中所包含的多个车辆进行跟踪，得到每个车辆从起始帧到结束帧之间在每帧中对应的一系列跟踪框。3.根据权利要求2所述的基于视频的出租车违法载客检测与识别方法，其特征在于，所述步骤S2：利用基于buffer的静止判断校验方法，分别计算每个车辆的所属跟踪结果的历史固定间隔帧之间的IoU以及所属初始帧和所属结束帧的IoU，获得排除抖动影响的静止可疑车辆结果，具体包括：计算每个车辆的得分score，当score大于预定的阈值时，判断该车辆处于排除抖动影响的可疑静止状态：P(i,j)＝IoU(bbox
i
,bbox
j
)其中，α为预设的超参数；t为所述跟踪结果的视频帧个数，k为预定义的间隔帧个数；x和y为跟踪框bbox左上点的坐标值，w和h分别跟踪框的长和宽。4.根据权利要求3所述的基于视频的出租车违法载客检测与识别方法，其特征在于，所述步骤S3：将所述排除抖动影响的静止可疑车辆结果输入上下车动作识别网络，得到...

【专利技术属性】
技术研发人员：刘文平，廖惠敏，张贺，董婉青，张骦，胡亦锟，黄坚，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：