基于深度学习的交通视频车辆违停自动识别抓拍的方法技术

本发明专利技术公开了一种基于深度学习的交通视频车辆违停自动识别抓拍的方法，基于深度学习卷积神经网络技术，构建车辆及车牌检测模型，实时检测识别交通监控视频中出现的特定类型的监控车辆(如大巴车、出租车等)，并利用帧间差分法对监控车辆的运动状态进行检测，判断其是否发生违停行为，再结合三维定位技术联动摄像球机进行角度的转动和画面的缩放，从而拍摄清晰的违章车辆图片及车牌号码图片，并基于深度学习卷积神经网络技术构建的车牌号码识别模型进行车牌号码的自动识别，从而最终实现违章视频片段的自动抓拍及违章车辆信息的结构化提取，为交通违停的执法人员提供完整的证据链。

Automatic Recognition of Vehicle Parking Video Based on Deep Learning

【技术实现步骤摘要】
基于深度学习的交通视频车辆违停自动识别抓拍的方法
本专利技术涉及车牌识别领域，具体涉及一种基于深度学习的交通视频车辆违停自动识别抓拍的方法。
技术介绍
随着社会经济的蓬勃发展和城市车辆保有量的逐年攀升，城市道路拥堵和交通违规问题不断加剧，已经成为社会关注的重点。其中，车辆的违章停车行为不仅恶化了拥堵现象，破坏了交通秩序，还容易引发交通事故带来极大的安全隐患。为此，城市架设了密集的交通摄像头监控车辆的违停行为。然而，面对海量的交通监控视频录像，需要人工逐段浏览视频以定位车辆的违章行为和违章片段，耗时耗力且效率低下。另外，对于停放较远或视角较差的区域，摄像头难以捕获清晰的车牌号码图片，无法为后期执法提供直接有力的客观证据。为了解决违停车辆的视频自动识别问题，在专利《一种违章停车检测方法和装置》CN103116985B中，根据视频序列获得图像的禁停区域，利用前景检测得到车辆目标，并跟踪车辆目标判断是否进入禁停区域并计算违停时长。专利《一种交通视频行为分析与报警服务器》CN102081844A采用高斯背景建模方法检测监控视频中的运动物体，并根据物体大小、长宽比例、直方图信息等人工特征识别车辆行人，利用粒子滤波技术跟踪车辆目标，判断其是否在禁停区域停留，并进一步识别车牌。然而，上述方法采用传统的图像处理技术进行车辆识别，对于天气光照、图像画面质量、拍摄角度、车辆的外观等条件变化较为敏感，识别精度低，容易产生误识别、漏识别等问题。专利《基于SSD神经网络的违章停车车辆实时检测方法》CN106935035A基于深度学习构建车辆检测神经网络SSD识别视频画面中禁停区域内的车辆目标，并结合模板匹配法对车辆目标进行轨迹追踪判断是否为违章停车。该方法虽然提升了车辆目标检测识别的精度，然而车牌号码的识别仍然需要人工查看视频，且对于占据画面比例较小的车辆目标，无法抓拍清晰的车牌号码区域图片，对于交通违章执法的帮助有限。因此，为解决以上问题，需要一种基于深度学习的交通视频车辆违停自动识别抓拍的方法，能够解决现有技术中的车辆违停自动识别抓拍精度低、效果差的技术问题。
技术实现思路
有鉴于此，本专利技术的目的是克服现有技术中的缺陷，提供基于深度学习的交通视频车辆违停自动识别抓拍的方法，能够解决现有技术中的车辆违停自动识别抓拍精度低、效果差的技术问题。本专利技术的基于深度学习的交通视频车辆违停自动识别抓拍的方法，包括下列步骤：步骤一：获取多段包含特定类型的监控车辆目标违停行为的视频序列，并添加标签，构成训练数据集；步骤二：基于步骤一中的训练数据集，训练目标检测深层卷积神经网络，得到车辆车牌检测模型；步骤三：基于步骤一中训练数据集，训练字符识别卷积神经网络，得到车牌号码识别模型；步骤四：对实时交通监控视频流进行解码，得到单帧交通图像；步骤五：基于步骤二中车辆车牌检测模型对单帧交通图像进行检测，得到特定类型的车辆所在的像素区域、车牌所在的像素区域；步骤六：基于多张连续的单帧交通图像的车辆所在像素区域，利用帧间差分法进行运动判别，得到多张单帧交通图像所对应的车辆的运动状态；步骤七：对多张单帧交通图像的车辆运动状态判别结果，分析车辆是否有违停行为，并定位违停的起始、持续、结束时间点；步骤八：当出现违停的起始时间点时，开始违停的抓拍录制，并利用三维定位技术联动控制调整摄像球机，获得清晰的车辆图像；步骤九：基于步骤三中车牌号码识别模型对清晰的车辆图像进行车牌号码识别，得到车牌号码；步骤十：当出现违停的结束时间点时，结束违停的抓拍录制。进一步，在步骤二和步骤三中，目标检测深层卷积神经网络和字符识别深层卷积神经网络均包括一个输入层、多个卷积层、多个池化层、1个或多个全连接层、1个输出层，训练过程分别基于梯度下降法进行，迭代多次直至收敛，分别得到车辆车牌检测模型和车牌号码识别模型。进一步，步骤五包括下列分步骤：5.1对单帧交通图像进行尺寸缩放及像素归一化；5.2将归一化后的图像输入到车辆车牌检测模型中，得到特定类型的车辆所在的像素区域、车牌所在的像素区域。进一步，利用三维定位技术联动控制调整摄像球机包含：基于车辆检测结果进行球机摄像角度的调整和画面的缩放，使得车辆所在的像素区域处于整个画面的中央位置并保证其所占比例大于预设的阈值。进一步，在步骤一中，包括下列分步骤：1.1对多段视频序列进行解码，得到多张单帧图片；1.2对单帧图片添加标签，标签包含车辆类型、车辆区域像素坐标、车牌号码区域像素坐标、车牌号码字符，得到训练数据集。进一步，在步骤六中，运动判断步骤为：6.1计算单帧交通图像中车辆所在的像素区域与特定帧数的历史交通图像中车辆所在的像素区域之间的位置偏差；6.2将上述位置偏差与预设的运行判断阈值进行对比，若大于阈值则认为车辆处于运动状态，否则认为车辆处于静止状态。进一步，在步骤七中，违停判别方法为：7.1将当前帧交通图像的车辆运动状态与上一帧交通图像的车辆运动状态进行对比，若车辆由运动变为静止，则认为车辆发生违停行为，且当前帧为违停的起始时间点；7.2将当前帧交通图像的车辆运动状态与上一帧交通图像的车辆运动状态进行对比，若车辆状态均为运动，则认为车辆未发生违停行为；7.3将当前帧交通图像的车辆运动状态与上一帧交通图像的车辆运动状态进行对比，若车辆状态均为静止，则认为车辆仍处于违停行为，且当前帧为违停的持续时间点；7.4将当前帧交通图像的车辆运动状态与上一帧交通图像的车辆运动状态进行对比，若车辆由静止变为运动，则认为车辆结束了违停行为，且当前帧为违停的结束时间点。进一步，在步骤九中，包括下列分步骤：9.1基于清晰的车辆图像和车牌所在的像素区域，获得清晰的车牌区域图像；9.2对清晰的车牌区域图像进行字符分割，得到单个车牌字符图像；9.3对单个车牌字符图像进行尺寸缩放；9.4输入尺寸缩放后的单个车牌字符图像至车牌号码识别模型，得到车牌号码；9.5识别完成后，将摄像头归位调整到原始预置点。本专利技术的有益效果是：1.本专利技术采用深度学习卷积神经网络技术构建车辆车牌检测模型及车牌号码识别模型，计算速度快、精度高，且对多种光照、背景、环境、车辆外观变化等具有很强的鲁棒性；2.本专利技术基于自动的车辆车牌检测及帧间差分法进行运动判别，可以于第一时间定位违停行为，提升了预警的实时性和监控效率；3.本专利技术利用三维定位技术联动控制球机获取高清的违停车辆图片，实现由全局到局部的全方位监管，对于停放较远、拍摄角度较差的车辆也可以轻松识别；4.本专利技术采用深度学习卷积神经网络技术构建车牌号码识别模型，将违停车辆的信息进行实时的结构化转换，有利于为后续交通执法提供直接的数据支撑，提升执法效率。附图说明下面结合附图和实施例对本专利技术作进一步描述：图1为本专利技术的流程图。具体实施方式图1为本专利技术的流程图，如图所示，本实施例中的基于深度学习的交通视频车辆违停自动识别抓拍的方法，该方法包括如下步骤：步骤S101：获取多段包含特定类型的监控车辆目标违停行为的视频序列，并添加标签，构成训练数据集；其中，本实例获取了100段包含大巴车违停行为的视频序列，每段视频长度为10分钟，视频分辨率为1280x720，每秒帧数为30；1.1对多段视频序列进行解码，得到多张单帧图片；其中，本实例共获取180万张单帧图片；本文档来自技高网...

【技术保护点】
1.一种基于深度学习的交通视频车辆违停自动识别抓拍的方法，其特征在于：包括下列步骤：步骤一：获取多段包含特定类型的监控车辆目标违停行为的视频序列，并添加标签，构成训练数据集；步骤二：基于步骤一中的训练数据集，训练目标检测深层卷积神经网络，得到车辆车牌检测模型；步骤三：基于步骤一中训练数据集，训练字符识别卷积神经网络，得到车牌号码识别模型；步骤四：对实时交通监控视频流进行解码，得到单帧交通图像；步骤五：基于步骤二中车辆车牌检测模型对单帧交通图像进行检测，得到特定类型的车辆所在的像素区域、车牌所在的像素区域；步骤六：基于多张连续的单帧交通图像的车辆所在像素区域，利用帧间差分法进行运动判别，得到多张单帧交通图像所对应的车辆的运动状态；步骤七：对多张单帧交通图像的车辆运动状态判别结果，分析车辆是否有违停行为，并定位违停的起始、持续、结束时间点；步骤八：当出现违停的起始时间点时，开始违停的抓拍录制，并利用三维定位技术联动控制调整摄像球机，获得清晰的车辆图像；步骤九：基于步骤三中车牌号码识别模型对清晰的车辆图像进行车牌号码识别，得到车牌号码；步骤十：当出现违停的结束时间点时，结束违停的抓拍录制。

【技术特征摘要】
1.一种基于深度学习的交通视频车辆违停自动识别抓拍的方法，其特征在于：包括下列步骤：步骤一：获取多段包含特定类型的监控车辆目标违停行为的视频序列，并添加标签，构成训练数据集；步骤二：基于步骤一中的训练数据集，训练目标检测深层卷积神经网络，得到车辆车牌检测模型；步骤三：基于步骤一中训练数据集，训练字符识别卷积神经网络，得到车牌号码识别模型；步骤四：对实时交通监控视频流进行解码，得到单帧交通图像；步骤五：基于步骤二中车辆车牌检测模型对单帧交通图像进行检测，得到特定类型的车辆所在的像素区域、车牌所在的像素区域；步骤六：基于多张连续的单帧交通图像的车辆所在像素区域，利用帧间差分法进行运动判别，得到多张单帧交通图像所对应的车辆的运动状态；步骤七：对多张单帧交通图像的车辆运动状态判别结果，分析车辆是否有违停行为，并定位违停的起始、持续、结束时间点；步骤八：当出现违停的起始时间点时，开始违停的抓拍录制，并利用三维定位技术联动控制调整摄像球机，获得清晰的车辆图像；步骤九：基于步骤三中车牌号码识别模型对清晰的车辆图像进行车牌号码识别，得到车牌号码；步骤十：当出现违停的结束时间点时，结束违停的抓拍录制。2.根据权利要求1所述的基于深度学习的交通视频车辆违停自动识别抓拍的方法，其特征在于：在步骤二和步骤三中，目标检测深层卷积神经网络和字符识别深层卷积神经网络均包括一个输入层、多个卷积层、多个池化层、1个或多个全连接层、1个输出层，训练过程分别基于梯度下降法进行，迭代多次直至收敛，分别得到车辆车牌检测模型和车牌号码识别模型。3.根据权利要求1所述的基于深度学习的交通视频车辆违停自动识别抓拍的方法，其特征在于：步骤五包括下列分步骤：5.1对单帧交通图像进行尺寸缩放及像素归一化；5.2将归一化后的图像输入到车辆车牌检测模型中，得到特定类型的车辆所在的像素区域、车牌所在的像素区域。4.根据权利要求1所述的基于深度学习的交通视频车辆违停自动识别抓拍的方法，其特征在于：利用三维定位技术联动控制调整摄像球机包含：基于车辆检测结果进行球机摄像角度的调整和画面的缩放，使得车...

【专利技术属性】
技术研发人员：刘若泉，马佳丽，
申请(专利权)人：珠海华园信息技术有限公司，
类型：发明
国别省市：广东,44