一种基于深度学习的行人闯红灯违法行为分析方法及系统技术方案

本发明专利技术提供了一种基于深度学习的行人闯红灯违法行为分析方法。行人穿越马路过程中，利用设计的人脸检测方法实时检测人脸坐标，目标跟踪模块将提纯后的正确人脸目标转换为跟踪坐标，利用目标匹配，可以实现行人目标实时跟踪，通过前后两帧人脸IOU比对，保证行人人脸可以实时更新，并前后保持一致，当行人轨迹通过抓拍一线、二线、三线时，均为红灯时，可判断行人闯红灯违法行为。本发明专利技术自适应能力强，速度快，计算消耗低，便于移植，能够实时地在嵌入式平台中完成各类目标检测及分析任务，具有较高准确性和较强的场景适应性，可较为准确的识别行人闯红灯违法行为。

An analysis method and system of pedestrian's illegal behavior of running a red light based on deep learning

【技术实现步骤摘要】
一种基于深度学习的行人闯红灯违法行为分析方法及系统
本专利技术属于智能视频监控
，尤其是涉及一种基于深度学习的行人闯红灯违法行为分析方法及系统。
技术介绍
在智能交通系统中的核心功能是交通事件违法行为准确判断，而行人闯红灯违法行为愈发严重，缺少监管措施，近年来随着计算机多媒体技术和图像处理技术的发展，基于视频的违法行为判断在智能交通中占据的分量也越来越大，社会各界投入的研究力量也越来越多。由于我国对道路监控的日益重视，视频检测技术已经成为智能交通领域最重要的信息采集手段，综合评比，将视频检测技术应用于高速公路和城市道路具有很大的可行性。
技术实现思路
有鉴于此，本专利技术旨在提出一种基于深度学习的行人闯红灯违法行为分析方法及系统，利用采集到的交通图像，对其进行分析处理，完成行人违法行为判断，具有较高的准确性。本专利技术的专利技术构思是：对图像帧进行处理，检测当前图像中的人脸坐标和分值，对分值进行有判断，满足阈值要求后，与跟踪器进行逐一IOU匹配，满足匹配要求，更新跟踪器的人脸坐标和分值，不满足匹配要求的，将创建新的跟踪器，当跟踪器在红灯状态下，穿越人行横道，认为是行人闯红灯违法成立，输出违法报警。为达到上述目的，本专利技术的技术方案是这样实现的：第一方面，本专利技术提供一种基于深度学习的行人闯红灯违法行为分析方法，包括如下步骤：1)端到端的人脸检测网络的设计：采用稠密连接设计检测网络的主网络，通过融合特征得到最终的面部检测与面部定位结果；2)轨迹跟踪人脸坐标实时更新：21)采用人脸检测网络对视频帧进行检测，得到人脸检测结果，将人脸检测结果送入人工神经网络分类器进行二分类，过滤非人脸检测结果得到提纯后的人脸检测结果；22)将提纯后的人脸检测结果和历史跟踪器的历史跟踪结果逐一匹配：若满足匹配条件后，进行人脸坐标更新，并输出人脸分数阈值；若不满足，则创建新的跟踪器并加入历史跟踪；3)行人闯红灯违法行为分析：判断跟踪模块中的每一个跟踪器的轨迹周期中是否有红灯亮起，若有则判断为该行人闯红灯违法行为成立，若否，则判断该该行人闯红灯违法行为不成立。进一步的，在步骤21)中，包括如下步骤：211)将人脸检测结果中的人脸矩形图像提取出来，归一化处理后构建直方图，再提取梯度直方图特征；212)将梯度直方图特征送入神经网络分类器后，会自动计算各个类别的置信度，在神经网络分类器输出的2个置信度中选择最大值对应的label作为最终的结果；其中，所述神经网络分类器是根据已知的梯度直方图特征进行构建的；213)将神经网络分类器得到的人脸目标在进行阈值过滤，低于第一阈值的人脸检测结果认为置信度较低，不使用其结果，大于第一阈值的人脸检测结果为提纯后的人脸检测结果。进一步的，在步骤2)中将不满足匹配条件的人脸检测结果转换为形变较小的躯干跟踪区域，具体是将人脸坐标为：[x,y,width,height],按照如下公式换算为初始跟踪器坐标：[x-width/2,y+height,width*2,height*2],以该坐标和图像帧送入跟踪模块，创建新的跟踪器。第二方面，本专利技术提供一种基于深度学习的行人闯红灯违法行为分析系统，包括：端到端的人脸检测网络：为采用稠密连接设计检测网络的主网络，通过融合特征得到最终的面部检测与面部定位结果；轨迹跟踪人脸坐标实时更新模块，用于采用人脸检测网络对视频帧进行检测，得到人脸检测结果，将人脸检测结果送入人工神经网络分类器进行二分类，过滤非人脸检测结果得到提纯后的人脸检测结果；将提纯后的人脸检测结果和历史跟踪器的历史跟踪结果逐一匹配：若满足匹配条件后，进行人脸坐标更新，并输出人脸分数阈值；若不满足，则创建新的跟踪器并加入历史跟踪；行人闯红灯违法行为分析模块：判断跟踪模块中的每一个跟踪器的轨迹周期中是否有红灯亮起，若有则判断为该行人闯红灯违法行为成立，若否，则判断该该行人闯红灯违法行为不成立。第三方面，本专利技术提供一种电子设备，包括存储器和处理器，所述存储器存储有可被所述处理器执行的程序指令，当所述计算机程序被处理器执行时，实现上述的方法。。第四方面，本专利技术提供一种非暂态计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述的方法。相对于现有技术，本专利技术提供的基于深度学习的行人闯红灯违法行为分析的方法及系统，利用采集到的交通图像，对特定区域的的视频图像进行分析处理，完成行人违法行为判断。该方法可准确识别行人闯红灯违法行为，具有较高的准确性。附图说明构成本专利技术的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术实施例所述一种基于深度学习的行人闯红灯违法行为分析方法的流程图；图2为本专利技术实施例本专利技术实施例的端到端训练的流程示意图；图3为本专利技术实施例的稠密连接主网络的结构示意图；图4为本专利技术实施例的多尺度特征金字塔分层检测网络结构示意图；图5为本专利技术实施例的神经网络分类器模型的训练与识别流程示意图。具体实施方式为了使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。且需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。本专利技术的基于深度学习的行人闯红灯违法行为分析的方法的具体流程如图1所示，本专利技术核心思想是：对图像帧进行处理，检测当前图像中的人脸坐标和分值，对分值进行有判断，满足阈值要求后，与跟踪器进行逐一IOU匹配，满足匹配要求，更新跟踪器的人脸坐标和分值，不满足匹配要求的，将创建新的跟踪器，当跟踪器在红灯状态下，穿越人行横道，认为是行人闯红灯违法成立，输出违法报警，专利技术具体技术方案主要分三个方面来实现：1.人脸定位检测网络设计：1.1.人脸检测网络架构设计人脸检测网络的架构设计及端到端的训练与检测。行人检测及其属性分析可以将任务分解为两类，面部检测和面部定位。其中面部检测为二分类问题，即判断给定区域是否包含面部；面部定位为回归问题，即给出当前区域面部的精确位置。传统的深度学习方法会将多类任务分配到多级检测器中训练，这样不仅耗时，而且易用性差。而本申请将任务进行端到端训练和检测设计，具体的方案流程图如图2示：其中IOU为交并比，若检测框与物体的交集面积除以二者并集面积大于0.6时，可认为检测框中存在面部，否则就认为不包含面部，这里设定的数值较大的原因就在于必须面部信息足够多时才能够进行属性分析，否则会导致结果不准确。整个训练流程如图2所示，首先传入一张完整的图像，然后对整个图像进行随机裁本文档来自技高网...

【技术保护点】
1.一种基于深度学习的行人闯红灯违法行为分析方法，其特征在于，包括如下步骤：/n1)端到端的人脸检测网络的设计：/n采用稠密连接设计检测网络的主网络，通过融合特征得到最终的面部检测与面部定位结果；/n2)轨迹跟踪人脸坐标实时更新：/n21)采用人脸检测网络对视频帧进行检测，得到人脸检测结果，将人脸检测结果送入人工神经网络分类器进行二分类，过滤非人脸检测结果得到提纯后的人脸检测结果；/n22)将提纯后的人脸检测结果和历史跟踪器的历史跟踪结果逐一匹配：若满足匹配条件后，进行人脸坐标更新，并输出人脸分数阈值；若不满足，则创建新的跟踪器并加入历史跟踪；/n3)行人闯红灯违法行为分析：/n判断跟踪模块中的每一个跟踪器的轨迹周期中是否有红灯亮起，若有则判断为该行人闯红灯违法行为成立，若否，则判断该该行人闯红灯违法行为不成立。/n

【技术特征摘要】
1.一种基于深度学习的行人闯红灯违法行为分析方法，其特征在于，包括如下步骤：
1)端到端的人脸检测网络的设计：
采用稠密连接设计检测网络的主网络，通过融合特征得到最终的面部检测与面部定位结果；
2)轨迹跟踪人脸坐标实时更新：
21)采用人脸检测网络对视频帧进行检测，得到人脸检测结果，将人脸检测结果送入人工神经网络分类器进行二分类，过滤非人脸检测结果得到提纯后的人脸检测结果；
22)将提纯后的人脸检测结果和历史跟踪器的历史跟踪结果逐一匹配：若满足匹配条件后，进行人脸坐标更新，并输出人脸分数阈值；若不满足，则创建新的跟踪器并加入历史跟踪；
3)行人闯红灯违法行为分析：
判断跟踪模块中的每一个跟踪器的轨迹周期中是否有红灯亮起，若有则判断为该行人闯红灯违法行为成立，若否，则判断该该行人闯红灯违法行为不成立。


2.根据权利要求1所述的方法，其特征在于：在步骤21)中，包括如下步骤：
211)将人脸检测结果中的人脸矩形图像提取出来，归一化处理后构建直方图，再提取梯度直方图特征；
212)将梯度直方图特征送入神经网络分类器后，会自动计算各个类别的置信度，在神经网络分类器输出的2个置信度中选择最大值对应的label作为最终的结果；其中，所述神经网络分类器是根据已知的梯度直方图特征进行构建的；
213)将神经网络分类器得到的人脸目标在进行阈值过滤，低于第一阈值的人脸检测结果认为置信度较低，不使用其结果，大于第一阈值的人脸检测结果为提纯后的人脸检测结果。


3.根据权利要求...

【专利技术属性】
技术研发人员：耗弗非，谢刚，张云飞，李振伟，
申请(专利权)人：天地伟业技术有限公司，天津市公安局交通警察总队科技和设施保障支队，
类型：发明
国别省市：天津;12