一种基于R‑CNN的车窗年检标检测方法技术

本发明专利技术公开了一种基于R‑CNN的车窗年检标检测方法。本发明专利技术先使用超像素算法提取建议区域，再使用级联思想设计CNN分类网络，使用CNN回归提升年检标检测位置准确性，最后使用年检标的先验信息提升年检标检测的性能。本发明专利技术使用车窗位置信息，减少计算量；同时使用超像素分割算法，对算法做了GPU优化和算法优化，并且使用了车型信息指导超像素分割算法得到更好的结果，只需要两次迭代就可以得到较好的结果。

A target detection method based on CNN R inspection window

The invention discloses a standard detection method based on CNN R inspection window. The invention uses super pixel extraction algorithm proposed area, then use cascade design CNN network classification, using CNN regression to enhance detection accuracy of standard inspection position, and finally the use of prior information to enhance performance of standard inspection inspection target detection. The invention uses the window position information, reduce the amount of calculation; at the same time using the super pixel segmentation algorithm, GPU optimization and algorithm optimization algorithm, and the use of the vehicle information guidance super pixel segmentation algorithm to get better results, only two iterations to get good results.

【技术实现步骤摘要】
一种基于R-CNN的车窗年检标检测方法
本专利技术属于视频监控
，涉及一种基于R-CNN的车窗年检标检测方法。
技术介绍
当前，道路监控摄像头的安装已经十分普遍，如何利用好监控摄像头产生的大量车辆数据成为了一个问题。车辆检测、车牌识别等已经不能满足需求，需要更深度的车辆数据应用，比如套牌车检测、车辆轨迹分析、犯罪侦查、车辆是否按时年检等。相对于车窗内的人、摆件、挂件等，年检标是一个更大概率上短时间内不变的特征物体。而检测并定位到年检标的位置，为进一步分析车辆是够按时年检等应用打下基础。目前已有的技术中：《一种基于深度学习的车辆特征物检测方法-201610052980.9》提出的结合selectivesearch(SelectiveSearchforObjectRecognition)与edgebox(EdgeBoxes:LocatingObjectProposalsfromEdges)建议框提取方法，对于提取年检标建议框效果不好，特别是多个年检标黏连的情况，而且速度较慢。《一种车辆物件检测方法及装置-201610073077.0》直接在监控图像上做年检标检测，而不是在车窗上做，对于年检标检测问题，这个方法中大量的计算量其实是不必要的，而且提取特征图像的GoogleNet模型，计算量也过大了，因此限制了输入图片大小不能过大(400*800)，图片需要缩图，在车窗占整个图像比例较小的情况的，检测年检标这种小物体性能会急剧下降。
技术实现思路
本专利技术针对现有技术的不足，提供了一种基于R-CNN的车窗年检标检测方法。本专利技术使用R-CNN(Region-basedConvolutionalNeuralNetwork)进行车窗内的年检标的检测。本专利技术先使用超像素算法提取建议区域，再使用级联思想设计CNN分类网络，使用CNN回归提升年检标检测位置准确性，最后使用年检标的先验信息提升年检标检测的性能。本专利技术方法具体步骤如下：步骤1、输入图像、车窗位置、车的类型。步骤2、使用超像素算法做超像素分割，并修改超像素算法的距离公式，使超像素分割的效果更好，减少计算的迭代次数；具体为：步骤2.1、对超像素算法做了GPU速度优化。因为GPU的计算优势，颜色距离标准化系数从一个固定的值改为根据当前像素点群变化的值，即公式替换为D表示两个像素点之间的距离，dc表示两个像素点之间的颜色距离，ds表示两个像素点之间空间距离，m和Nc表示颜色距离的标准化系数，Ns表示空间距离的标准化系数。步骤2.2、超像素算法的超像素块数量参数：因为不同车型的车窗大小是不同的，而年检标的大小是固定的，所以不同车型的使用不同的超像素块数量参数可以得到更好的效果，根据标注数据，统计得到超像素块数量参数。步骤3、通过超像素块计算建议框：步骤3.1、计算超像素块的中心点(xc,yc)作为矩形框的中心点。矩形框的宽高根据公式计算，如下：w表示矩形框的宽，h表示矩形框的高，U表示超像素块内点的集合，xi、yi分别表示超像素块内点的水平方向和竖直方向坐标。即矩形框的宽等于超像素块的左边界和右边界与中心点水平方向距离最小值的两倍。步骤3.2、当年检标黏连，超像素分割可能失败，因此将矩形框高宽比过大的矩形框分裂成上下两个矩形框；步骤4、将建议框输入已经离线训练好的CNN1分类模型做分类，CNN1分类模型是一个轻量级的网络，作用是快速去除非年检标的建议框。步骤5、将CNN1分类判定为正样本的矩形框输入CNN1回归模型，回归年检标的左上角坐标和右下角坐标。步骤6、将CNN1回归模型的结果输入CNN2模型，做分类和回归。步骤7、将CNN2的得到的检测框合并。步骤8、根据统计年检标标注结果，得到年检标在车窗内相对位置的先验概率。结合年检标位置的先验概率和CNN2分类得到分数，计算检测框所在位置是否有年检标的后验概率；根据后验概率，得到最后检测结果。步骤9、输出检测结果。本专利技术的有益效果：(1)使用车窗位置信息，减少计算量。(2)使用超像素分割算法，对算法做了GPU优化和算法优化，并且使用了车型信息指导超像素分割算法得到更好的结果，只需要两次迭代就可以得到较好的结果(一般超像素分割算法需要迭代五次)。(3)CNN1分类是一个轻量级的分类网络，采用了级联思想，提升整个方法的速度。(4)做了两次CNN回归，得到的年检标的位置更准确。(5)使用年检标在车窗内相对位置的先验概率，进一步提升年检标检测的性能。附图说明图1为本专利技术方法流程图。图2为CNN1分类的网络结构图。图3为CNN1回归的网络结构图。图4为CNN2网络结构图。具体实施方式以下结合实施例和附图1对本专利技术作进一步说明：本实施例包括下步骤：步骤一、数据收集1.1收集若干包含车前脸车窗的图片样本。1.2使用车辆检测算法检测车辆，使用车辆特征点回归算法回归得到车窗位置，使用车型分类算法得到车辆类型。1.3标注车窗内年检标的外接包围矩形框。步骤二、离线训练2.1、使用超像素算法做超像素分割，参考《SLICSuperpixelsComparedtoState-of-the-artSuperpixelMethods》，并修改了超像素算法的距离公式。2.1.1、对超像素算法做了GPU速度优化。因为GPU的计算优势，颜色距离标准化系数从一个固定的值改为根据当前像素点群变化的值，即公式替换为D表示两个像素点之间的距离，dc表示两个像素点之间的颜色距离，ds表示两个像素点之间空间距离，m和Nc表示颜色距离的标准化系数，Ns表示空间距离的标准化系数。2.1.2、超像素算法的超像素块数量参数：因为不同车型的车窗大小是不同的，而年检标的大小是固定的，所以不同车型的使用不同的超像素块数量参数可以得到更好的效果。使用车型分类算法得到车辆的车型，对单个车窗根据车型运行多次超像素算法，每次运行的超像素块数量参数是不同的，具体见下表。例如车型分类结果是轿车，运行超像素算法参数三次，三次的参数分别是178、250、350。面包车运行两次，参数分别是250、350。2.1.3、其他超像素算法参数：颜色空间CIELab，迭代次数2。因为对算法距离公式做了改进，可以使用更少的迭代次数，就可以得到足够好的结果。2.2、通过超像素块计算建议框2.2.1、计算超像素块的中心点(xc,yc)作为矩形框的中心点。矩形框的宽高根据公式计算，如下：w表示矩形框的宽，h表示矩形框的高，U表示超像素块内点的集合，xi、yi分别表示超像素块内点的水平方向和竖直方向坐标。即矩形框的宽等于超像素块的左边界和右边界与中心点水平方向距离最小值的两倍。2.2.2、将矩形框高宽比大于1.05的矩形框分裂成上下两个矩形框，避免部分因为年检标黏连超像素分割失败的情况。2.3、训练CNN1分类模型。使用建议框和年检标标注，生成CNN1分类的训练样本，正负样本比例1:3。CNN1分类模型是一个轻量级的网络，它的作用是快速剔除大量非年检标的建议框。CNN1分类的网络结构见图2。conv_blok包含了一个3x3的卷积，激活层ReLU，标准化层BN。conv_blok1输出维度为16x16x16，其他卷积块输出大小见网络结构图。fc1是一个全连接层。prob是softMax层。2.4、训练CNN1回归本文档来自技高网...

【技术保护点】
一种基于R‑CNN的车窗年检标检测方法，其特征在于该方法包括以下步骤：步骤1、输入图像、车窗位置、车的类型；步骤2、使用超像素算法做超像素分割，并调整超像素算法中的距离公式，具体为：步骤2.1、对超像素算法做GPU速度优化，将颜色距离标准化系数从一个固定的值改为根据当前像素点群变化的值；步骤2.2、针对不同的车型，使用不同的超像素块数量参数；根据标注数据，统计得到超像素块数量参数；步骤3、计算超像素块的中心点，并将该中心点作为框的建议框中心点，计算建议框的宽和高；步骤4、将建议框输入已经离线训练好的CNN1分类模型做分类，所述的CNN1用于快速去除非年检标的建议框；步骤5、将CNN1分类判定为正样本的矩形框输入CNN1回归模型，回归年检标的左上角坐标和右下角坐标；步骤6、将CNN1回归模型的结果输入CNN2模型，做分类和回归；步骤7、将CNN2模型得到的检测框合并；步骤8、根据统计年检标标注结果，得到年检标在车窗内相对位置的先验概率，结合年检标位置的先验概率和CNN2模型分类得到分数，计算检测框所在位置是否有年检标的后验概率；根据后验概率，得到最后检测结果。

【技术特征摘要】
1.一种基于R-CNN的车窗年检标检测方法，其特征在于该方法包括以下步骤：步骤1、输入图像、车窗位置、车的类型；步骤2、使用超像素算法做超像素分割，并调整超像素算法中的距离公式，具体为：步骤2.1、对超像素算法做GPU速度优化，将颜色距离标准化系数从一个固定的值改为根据当前像素点群变化的值；步骤2.2、针对不同的车型，使用不同的超像素块数量参数；根据标注数据，统计得到超像素块数量参数；步骤3、计算超像素块的中心点，并将该中心点作为框的建议框中心点，计算建议框的宽和高；步骤4、将建议框输入已经离线训练好的CNN1分类模型做分类，所述的CNN1用于快速去除非年检标的建议框；步骤5、将CNN1分类判定为正样本的矩形框输入CNN1回归模型，回归年检标的左上角坐标和右下角坐标；步骤6、将CNN1回归模型的结果输入CNN2模型，做分类和回归；步骤7、将CNN2模型得到的检测框合并；步骤8、根据统计年检标标注结果，得到年检标在车窗内相对位置的先验概率，结合年检标位置的先验概率和CNN2模型分类得到分数，计算检测框所在位置是否有年检标的后验概率；根据后验概率，得到最后检测结果。2.根据权利要求1所述的一种基于R-CNN的车窗年检标检测方法，其特征在于：离线训练前需要进行数据收集，其过程为：...

【专利技术属性】
技术研发人员：尚凌辉，王弘玥，张兆生，丁连涛，刘小扬，郑永宏，
申请(专利权)人：浙江捷尚视觉科技股份有限公司，
类型：发明
国别省市：浙江,33