一种基于深度学习的车窗精确定位方法技术

本发明专利技术公开了一种基于深度学习的车窗精确定位方法，步骤为：S1、在第一阶段中获取车辆车窗的大致定位框；S11、选取样本组，标定图片中车窗的角点坐标；S12、将图片和角点坐标保存为数据集；S13、将数据集输入第一阶段的深度卷积网络中提取特征图；S14、将特征图输入到BOX回归层得到车窗的大致定位框；S2、在第二阶段中获取车辆车窗的四个精确角点坐标；S21、将车窗大致定位框扩大；S22、截取扩大后候选框内的图片；S23、将角点坐标变换为相对于扩大后候选框的相对坐标；S24、将截取后的图片输入第二阶段的深度卷积网络中提取特征图，并转换为一个特征向量；S25、将特征向量输入到线性回归层得到车窗的精确角点坐标。

A precise positioning method of windows based on deep learning

【技术实现步骤摘要】
一种基于深度学习的车窗精确定位方法
本专利技术涉及图像处理领域，尤其涉及一种基于深度学习的车窗精确定位方法。
技术介绍
近年来，智能交通系统和智能监控飞速发展，而车窗识别在智能交通和智能监控领域有着举足轻重的地位。电子警察和车辆卡口可以实时获取大量的高清车辆图片，把这些图片有效的应用，尽可能的获取更多的信息来帮助缓解交通管理压力正是目前智能交通和智能监控领域所关注的重点。车窗识别为在智能交通和智能监控领域中进一步分析驾驶员信息，安全带定位，以及提高车辆车型识别的准确率提供了可能。此外如果能够对车窗进行精确定位，也有利于我们排除更多的干扰，进一步更精确的获取车辆内部信息。车窗定位的目标在于对给定的一系列来自不同摄像头拍摄的，具有不同的颜色、方向、类型和大小的车辆图片自动将车辆车窗识别出来。目前针对车窗定位的问题，一般情况下是利用车辆颜色、纹理、空间关系等特征的某一种有效信息对车窗进行检测，传统方法有以下几种方法：一种是针对不同光照条件下，具有复杂背景的深色车和浅色车分开处理，采用基于色度函数曲线构造的遗传算法来进行车窗的分割和定位，这种方法也存在着其定位时间长，过程繁琐，耗费资源大的缺点;另一种方法是利用图片中车辆的纹理信息，车辆进行颜色空间变换后，再通过纹理检测就可以将车窗进行大致定位，这么做的缺点就是过分依赖车辆的颜色纹理信息就会使算法的鲁棒性变差，以至于在不同的光照和车辆颜色信息下检测算法的性能大打折扣;还有一种方法是以定位好的车窗位置为参照，利用滑动窗口定位车窗，这种定位方法定位出车窗位置的准确率和精确性都很难满足人们的使用需求。
技术实现思路
本专利技术目的是针对上述问题，提供一种能够精确的定位出车辆车窗并输出车窗四个角点坐标的基于深度学习的车窗精确定位方法。为了实现上述目的，本专利技术的技术方案是：一种基于深度学习的车窗精确定位方法；包括以下步骤：S1、在第一阶段中获取车辆前车窗的大致定位框；S11、选取车辆图片作为样本组，人工标定车辆图片中前车窗的左上、右上、左下和右下四个角点坐标；S12、将各个车辆图片以及该车辆图片中的前车窗角点坐标图片相对应的保存形成数据集；S13、将数据集输入第一阶段的深度卷积网络中，所述第一阶段的深度卷积网络为23层的神经网络，其首先对数据集中的图片做五次卷积操作，每次卷积操作后对输出特征图分批次正则化，然后输入到激活函数中，在前四次卷积操作后进行最大值池化操作，在五次卷积操作后将深度卷积网络增加一个分支；在两个分支中，其中一个分支继续做五次卷积操作和一次全卷积操作，另一个分支则将增加分支前的特征图和前一分支做五次卷积操作后得到的特征图在通道方向上进行融合，最后两个分支再分别做一次卷积操作和一次全卷积操作，得到融合后的车辆图片特征图；S14、将车辆图片特征图和对应的前车窗角点坐标输入到BOX回归层，优化损失函数后回归出前车窗的大致定位框；S2、在第二阶段中获取车辆前车窗的四个精确角点坐标；S21、将第一阶段获得的前车窗大致定位框在宽和高方向上扩大1.3倍得到一个扩大候选框；S22、在车辆图片中截取扩大候选框内的图片形成新图片；S23、将人工标定的前车窗的四个角点坐标变换为相对于扩大候选框的相对坐标；S24、将截取后得到的新图片输入第二阶段的深度卷积网络中，通过第二阶段的深度卷积网络提取新图片的特征图，并通过第二阶段的深度卷积网络的全连接层将特征图转换为一个特征向量；S25、将特征向量和变换后的相对坐标输入到线性回归层，优化损失函数后回归得到前车窗的四个精确角点坐标。进一步的，所述步骤S14中BOX回归层的损失函数采用smoothL1losss；计算公式为：；；其中，为指示参数，当其值为1时代表第i个defaultbox和第j个groundtruthbox相匹配；N为候选框的数量；m为边界框的位置参数，cx代表边界框中心点的x坐标，cy代表边界框中心点的y坐标，w代表边界框的宽，h代表边界框的高；l为defaultbox对应边界框位置预测值，为对应的groundtruthbox位置参数值。进一步的，所述步骤S24中对截取后得到的新图片做五次卷积操作，卷积后的激活函数采用带参数的线性整流函数作为激活函数，在前四次的卷积操作后接一个池化层进行最大池化操作，在五次卷积操作后接入一个全连接层，将提取的特征图整合成一个特征向量。进一步的，所述步骤S25中线性回归层的损失函数采用L2范数损失函数，其计算公式为：；其中，θ为第二阶段的深度卷积网络的权重，i为每批次的样本，j为每张车辆图片中前车窗的4个角点标号，为待回归的前车窗角点x坐标，为groundtruth的前车窗角点x坐标，w为截取后得到的新图片的宽度，为待回归的前车窗角点y坐标，为groundtruth的前车窗角点y坐标，h为截取后得到的新图片的高度。与现有技术相比，本专利技术具有的优点和积极效果是：本专利技术提出了一种利用深度卷积网络对车辆车窗大致定位框回归和进一步进行车窗精确角点坐标回归的检测方法，该方法分两个阶段进行，在第一阶段首先使用一个23层的神经网络来提取车辆图片多层次多尺度的特征，并把提取的特征应用到BOX回归的算法中来获取车辆车窗的大致定位框，第二阶段在车窗的大致定位框中再次利用一个6层的卷积神经网络对车窗四个角点坐标进行线性回归，即可对车辆车窗进行精确定位。本专利技术利用两个神经网络分阶段获取车窗角点精确坐标，极大的提高了车窗定位精度和准确率；并且其利用改进的小型深度卷积网络和回归算法结合的设计，有效提高了神经网络的计算速度；另一方面，本专利技术通过求取车窗的四个角点坐标的方式对车窗进行定位，可以精确的得到梯形车窗的位置信息，排除了矩形定位框产生的大量边缘干扰，也有利于更加精确的获取车辆内部信息。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为第一阶段的训练模型框架图；图2为第一阶段的深度卷积网络结构图；图3为BOX回归层的特征图；图4为BOX回归层的模型框架图；图5为第二阶段的训练模型框架图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，所作的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。如图1至图5所示，本专利技术提出了一种利用深度卷积网络对车辆车窗大致定位框回归和进一步进行车窗精确角点坐标回归的检测方法，该方法分两个阶段进行，本文档来自技高网...

【技术保护点】
1.一种基于深度学习的车窗精确定位方法；其特征在于：包括以下步骤：/nS1、在第一阶段中获取车辆前车窗的大致定位框；/nS11、选取车辆图片作为样本组，人工标定车辆图片中前车窗的左上、右上、左下和右下四个角点坐标；/nS12、将各个车辆图片以及该车辆图片中的前车窗角点坐标图片相对应的保存形成数据集；/nS13、将数据集输入第一阶段的深度卷积网络（Deep Convolutional Network）中，所述第一阶段的深度卷积网络为23层的神经网络，其首先对图像数据集（Image set）中的图片做五次卷积（Convlution，本文简称conv）操作，每次卷积操作后对输出特征图分批次正则化（Batch norm），然后输入到激活函数Relu中，在前四次卷积Conv1操作后进行最大值池化（Maxpool）操作，在五次卷积Conv5操作后将深度卷积网络增加一个分支；在两个分支中，其中一个分支继续做五次卷积Conv6操作和一次全卷积Conv12操作，另一个分支则将增加分支前的特征图和前一分支做Conv12操作后进行上采样（upsample）得到的特征图在通道方向上进行融合并进行卷积Conv13操作，最后两个分支再分别做一次卷积操作Conv11和一次全卷积操作Conv15，得到融合后的车辆图片特征图；/nS14、将车辆图片特征图（feature map）和对应的前车窗角点坐标输入到边框回归层（本文简称BOX回归层），优化损失函数后回归出前车窗的大致定位框；/nS2、在第二阶段中获取车辆前车窗的四个精确角点坐标；/nS21、将第一阶段获得的前车窗大致定位框在宽和高方向上扩大1.3倍得到一个扩大候选框（default box）；/nS22、在车辆图片中截取扩大候选框内的图片形成新图片；/nS23、将人工标定数据集（Annotation set）的前车窗的四个角点坐标变换为相对于扩大候选框的相对坐标；/nS24、将截取后得到的新图片输入第二阶段的深度卷积网络中，通过第二阶段的深度卷积网络提取新图片的特征图，并通过第二阶段的深度卷积网络的全连接层（FullConnection，本文简称FC）将特征图转换为一个特征向量；/nS25、将特征向量和变换后的相对坐标输入到线性回归层，优化损失函数后回归得到前车窗的四个精确角点坐标。/n...

【技术特征摘要】
1.一种基于深度学习的车窗精确定位方法；其特征在于：包括以下步骤：
S1、在第一阶段中获取车辆前车窗的大致定位框；
S11、选取车辆图片作为样本组，人工标定车辆图片中前车窗的左上、右上、左下和右下四个角点坐标；
S12、将各个车辆图片以及该车辆图片中的前车窗角点坐标图片相对应的保存形成数据集；
S13、将数据集输入第一阶段的深度卷积网络（DeepConvolutionalNetwork）中，所述第一阶段的深度卷积网络为23层的神经网络，其首先对图像数据集（Imageset）中的图片做五次卷积（Convlution，本文简称conv）操作，每次卷积操作后对输出特征图分批次正则化（Batchnorm），然后输入到激活函数Relu中，在前四次卷积Conv1操作后进行最大值池化（Maxpool）操作，在五次卷积Conv5操作后将深度卷积网络增加一个分支；在两个分支中，其中一个分支继续做五次卷积Conv6操作和一次全卷积Conv12操作，另一个分支则将增加分支前的特征图和前一分支做Conv12操作后进行上采样（upsample）得到的特征图在通道方向上进行融合并进行卷积Conv13操作，最后两个分支再分别做一次卷积操作Conv11和一次全卷积操作Conv15，得到融合后的车辆图片特征图；
S14、将车辆图片特征图（featuremap）和对应的前车窗角点坐标输入到边框回归层（本文简称BOX回归层），优化损失函数后回归出前车窗的大致定位框；
S2、在第二阶段中获取车辆前车窗的四个精确角点坐标；
S21、将第一阶段获得的前车窗大致定位框在宽和高方向上扩大1.3倍得到一个扩大候选框（defaultbox）；
S22、在车辆图片中截取扩大候选框内的图片形成新图片；
S23、将人工标定数据集（Annotationset）的前车窗的四个角点坐标变换为相对于扩大候选框的相对坐标；
S24、将截取后得到的新图片...

【专利技术属性】
技术研发人员：韩梦江，楼燚航，白燕，张永祥，陈杰，
申请(专利权)人：博云视觉北京科技有限公司，
类型：发明
国别省市：北京;11