一种基于深度学习的违反导向违法自动审核方法技术

本发明专利技术公开了一种基于深度学习的违反导向违法自动审核方法，包括以下步骤：获取交通路口违法车辆时间间隔较短三张不同图像数据；利用检测模型检测三张图像中所有车辆；利用识别模型定位出目标车辆在三张图所在的位置；利用分割模型分割出违法车辆所在的路口的车道线以及导向线；利用分类模型判断出目标车辆行驶方向类别；根据三张图中目标车辆所在位置以及车辆行驶方向分类结果判断目标车辆的行驶方向，判断车辆行驶方法与第一张图中目标车辆所在的导向线的分割类型是否一致从而判断出车辆是否违反导向。本发明专利技术实现了检测、分割以及分类的多任务自动审核，这样替换了现有的海量数据的人工审核，不仅大大节约了人力，加快了审核速度，同时一定程度上降低了人工审核由于劳累带来的误判。

【技术实现步骤摘要】
一种基于深度学习的违反导向违法自动审核方法
本专利技术涉及机动车车辆人工智能检测、识别、分类
，特别涉及一种基于深度学习的违反导向违法自动审核系统。
技术介绍
随着社会经济的不断发展和人民生活水平的持续提高，城市机动车保有量迅猛增长。机动车车辆违法审核工作量也随之迅速增大。传统的车辆违法审核主要是通过人工审核，海量的数据通过人工审核比较耗费人力，并且长时间的人力审核由于疲劳也影响审核效率。如何准确、快速地对车辆进行违法审核，同时避免人工审核成本高，易疲劳，易疏忽等弊端，是急需解决的技术问题。
技术实现思路
本专利技术的目的是：提出一种基于深度学习的违反导向违法自动审核方法，自动对车辆进行违法审核，以满足如今对车辆进行违法审核工作效率、准确率的需求。本专利技术解决其技术问题所采用的技术方案是：1.一种基于深度学习的违反导向违法自动审核方法，包括以下步骤：S1、获取交通路口违法车辆时间间隔较短(1秒至20秒)三张不同图像数据，利用路口的摄像头从车辆后面抓拍不同时刻的三张图，因为摄像头是固定不动的，但是目标车辆一般是在运动的(直行、左转、右转)，所以获取的第一张图一般是从目标车辆的正后方抓拍的，第二张第三张抓拍的有可能是正后角度或者侧面角度；S2、利用常规检测算法检测三张图像中所有车辆；S3、通过车牌识别方法定位第一张图中正确的车辆位置；S4、采用GoogLenet网络结构跟踪三张图中上述S3中车辆位置；S5、利用分割模型分割出违法车辆所在的路口的车道线以及导向线；S6、利用分类模型判断出目标车辆行驶方向的类别，将三张图中的目标车辆取出，贴在第一张图的分割结果图中对应位置，作为训练分类模型的训练数据进行训练，数据如图6所示；S7、根据三张图中目标车辆所在位置、车道线的位置以及车辆行驶方向分类结果判断目标车辆的行驶方向；S8、判断车辆行驶方向与第一张图中目标车辆所在的导向线的分割类型是否一致从而判断出车辆是否违反导向。采用GoogLenet网络对车辆跟踪步骤如下：S40、在训练特征提取模块时，在网络最后一个256维全连接层接一个分类层，该层对不同款车型进行分类，每一个类别拥有不同帧时刻采集的同一车，并对所有采集的车进行数据增强。当训练的损失值loss降低到最低时，裁剪掉分类层，取出上一个256维全连接层，此时获取的256维特征能够很好的表征该车辆的特征；S41、对第一张图定位到的车辆输入到GoogLenetInception-V2网络，在该网络的输入层，对输入的车辆进行padding，变成长宽一致的图像，多余的部分以0像素填充；然后对预处理后的图像进行上采样或下采样操作，统一resize成200*200分辨率的图像，最后得到一个256维特征；S42、对第二张图所有待匹配的车辆输入GoogLenetInception-V2网络，同S41，得到若干256维特征；S43、对第三张图所有待匹配的车辆输入GoogLenetInception-V2网络，同S41，得到若干256维特征；S44、用S41中一个256维特征和S42中若干个256维特征做余弦相似度，由于特征提取模块提取的256维特征已经能够很好的表征该车辆，所以采用余弦相似可以更显现出两辆车之间的差异度，最后取出得分最高所对应的256维特征；S45、用S42中得分最高的256维特征和S43中若干个256维特征做余弦相似度，取出得分最高所对应的256维特征；S46、由于第二张图和第三张图通过检测算法已经分别检测出若干辆车，用上述算法找到相似度得分最高的车，取出得分最高所对应的车辆索引号即为跟踪到的车辆。所述基于深度学习的场景分割模型获取步骤如下：S51、收集实际应用场景中车辆，停止线，导向线，黄线的图片，并人工标注出这些区域，即人工标注包围车辆，停止线，导向线，黄线的闭合多边形；S52、将人工标注转换为标签矩阵，即人工标注的车辆闭合区域内所有像素点标签设置为0,停止线闭合区域内所有像素点标签设置为1,导向闭合区域内所有像素点标签设置为2,黄线闭合区域内所有像素点标签设置为3。S53、将车辆，停止线，导向线，黄线图片及对应的标签矩阵输入deeplab-v2分割算法训练，deeplab-v2分割算法采用ResNet-34作为骨干网络，psp_module和unet模块作为解码器，并使用skiplayer引入低维细节特征作为模型网络结构。使用a＊bce_loss+b＊lovasz_loss作为最终loss(0<＝a,b<＝1，人为设定)，并引入辅助损失aux_loss进行训练；S54、应用训练好的deeplab-v2分割算法预测输入图像像素点类别，将属于车辆，停止线，导向线，黄线各个类别的像素点坐标集合输出，从而实现车辆，停止线，导向线，黄线区域的分割。所述基于深度学习的车辆行驶方向分类模型获取步骤如下：S61、取每一组在交通路口抓拍的违章图中的第一张进行分割，得到分割结果图，只保留分割得到的车道线，导向线，停止线，斑马线信息；S62、取出每一组违章图中的目标车辆，并记录其在三张图中的位置信息；S63、利用记录的目标车辆的位置信息将其贴在分割结果图对应的位置(如下图6所示)，并给出目标车辆是直行、左转或者右转的标签；S64、利用制作的训练数据集以及其标签进行车辆行驶方向的分类模型训练。所述基于车道线、车辆位置以及分类模型的车辆行驶方向的综合判断步骤如下：S71、利用车辆分类模型给出第三张图中目标车辆的行驶方向，以及得分；S72、分割模型给出的车道线的位置，车辆检测、车辆识别定位模型给出三张图中目标车辆的位置，根据车道线的位置以及三张图中目标车辆的位置判断车辆的行驶方向；S73、根据三张图中目标车辆的中心位置分别求出相互之间车辆相对图像y轴的偏转角度，根据偏转角度判断车辆行驶方向；S74、如果三种判断方法其中两种给出的结果一致，则此结果作为最终结果，如果三种方法给出的结果全不一样，而且分类模型给出的结果得分比较高，则最终结果采用分类模型给出的结果，如果分类模型给出的结果得分比较低则采用利用车道线给出的结果。本专利技术的有益效果是：本专利技术主要应用于机动车车辆违反导向违法自动审，既节约了人力，又保证了准确性。附图说明图1是本专利技术流程图。图2是本专利技术的结构示意图。图3是本专利技术目标检测单元的结构示意图。图4是本专利技术场景分割单元的结构示意图。图5是本专利技术车辆识别单元的结构示意图。图6是分类网络右转、直行、左转训练数据。具体实施方式以下结合附图，对本专利技术做进一步说明。本专利技术主要基于目标检测模块、车辆识别定位模块、场景分割模块、车辆行驶方向判断模块。如图2所示，违反导向违法自动审核系统由目标检测单元、车辆识别定位单元、场景分割单元、车辆行驶方向判断单元组成。首先，将图像传入目标检测单元以及场景分割单元，利用目标检测模型获取所有车辆位置，利用车辆识别定位模型定位出目标车辆所在位置。然后，根据第一张图中目标车辆的大致位置利用场景分割模型获取目标车辆在第一张图中所在的导向线类别，同时分割出所有车道线位置。最后，先再利用车辆行驶方向分类模型给出第三张图中目标车辆的行驶方向类别以及得分，并结合车道线以及目标车辆在三张图中的位置给出车辆的行驶方向的最终结果，根据车辆行驶方向以及分割的本文档来自技高网...

【技术保护点】
1.一种基于深度学习的违反导向违法自动审核方法，包括以下步骤：S1、获取交通路口违法车辆时间间隔为1秒至20秒的三张不同图像数据，利用路口的摄像头从车辆后面抓拍不同时刻的三张图；S2、利用检测算法检测三张图像中所有车辆；S3、通过车牌识别方法定位第一张图中正确的车辆位置；S4、采用GoogLenet网络结构跟踪三张图中上述S3中车辆位置；S5、利用分割模型分割出违法车辆所在的路口的车道线以及导向线；S6、利用车辆行驶方向分类模型判断出目标车辆的行驶方向，将三张图中的目标车辆取出，贴在第一张图的分割结果图中对应位置，作为训练分类模型的训练数据进行训练；S7、根据三张图中目标车辆所在位置、车道线的位置以及车辆行驶方向分类结果判断目标车辆的行驶方向；S8、判断车辆行驶方向与第一张图中目标车辆所在的导向线的分割类型是否一致从而判断出车辆是否违反导向。

【技术特征摘要】
1.一种基于深度学习的违反导向违法自动审核方法，包括以下步骤：S1、获取交通路口违法车辆时间间隔为1秒至20秒的三张不同图像数据，利用路口的摄像头从车辆后面抓拍不同时刻的三张图；S2、利用检测算法检测三张图像中所有车辆；S3、通过车牌识别方法定位第一张图中正确的车辆位置；S4、采用GoogLenet网络结构跟踪三张图中上述S3中车辆位置；S5、利用分割模型分割出违法车辆所在的路口的车道线以及导向线；S6、利用车辆行驶方向分类模型判断出目标车辆的行驶方向，将三张图中的目标车辆取出，贴在第一张图的分割结果图中对应位置，作为训练分类模型的训练数据进行训练；S7、根据三张图中目标车辆所在位置、车道线的位置以及车辆行驶方向分类结果判断目标车辆的行驶方向；S8、判断车辆行驶方向与第一张图中目标车辆所在的导向线的分割类型是否一致从而判断出车辆是否违反导向。2.如权利要求1所述的一种基于深度学习的违反导向违法自动审核方法，其特征在于，所述采用GoogLenet网络对车辆跟踪步骤如下：S40、在训练特征提取模块时，在网络最后一个256维全连接层接一个分类层，该层对不同款车型进行分类，每一个类别拥有不同帧时刻采集的同一车，并对所有采集的车进行数据增强，当训练的损失值loss降低到最低时，裁剪掉分类层，取出上一个256维全连接层，此时获取的256维特征能够很好的表征该车辆的特征；S41、对第一张图定位到的车辆输入到GoogLenetInception-V2网络，在该网络的输入层，对输入的车辆进行padding，变成长宽一致的图像，多余的部分以0像素填充；然后对预处理后的图像进行上采样或下采样操作，统一resize成200＊200分辨率的图像，最后得到一个256维特征；S42、对第二张图所有待匹配的车辆输入GoogLenetInception-V2网络，同S41，得到若干256维特征；S43、对第三张图所有待匹配的车辆输入GoogLenetInception-V2网络，同S41，得到若干256维特征；S44、用S41中一个256维特征和S42中若干个256维特征做余弦相似度，由于特征提取模块提取的256维特征已经能够很好的表征该车辆，所以采用余弦相似可以更显现出两辆车之间的差异度，最后取出得分最高所对应的256维特征；S45、用S42中得分最高的256维特征和S43中若干个256维特征做余弦相似度，取出得分最高所对应的256维特征；S46、由于第二张图和第三张图通过检测算法已经分别检测出若干辆车，用上述算法找到相似度得分最高的车，取出得分最高所对应的车辆索引号即为跟踪到的车辆。3.如权利要求1所述的一种基于深度学习...

【专利技术属性】
技术研发人员：周康明，
申请(专利权)人：上海眼控科技股份有限公司，
类型：发明
国别省市：上海,31