基于浅层卷积神经网络探测前车起步检测方法及控制方法技术

本发明专利技术涉及基于浅层卷积神经网络探测前车起步检测方法及控制方法。该检测方法，包括：⑴行车记录仪通过重力加速器判断自身处于停车状态后,把前方图像传到神经网络的算法器；⑵输入层的图片会被处理成(300,300,3)长,宽,通道数据格式并被均值常态话处理；⑶基于移动网络构建从0层至10层的网络架构：⑷为车牌检测构建11层至图像输出层的网络架构；头部网络从11层到15层,分别负责检测(19x19),(10x10),(5x5),(3x3)图像数据检测,精准定位车牌的12个地标点来确定车牌在图像中的位置；⑸获得最终输出物在图像中识别出的数据：包含挂锚盒子的坐标、相对变量、坐标点和车牌分类信心指数。

【技术实现步骤摘要】
基于浅层卷积神经网络探测前车起步检测方法及控制方法
本专利技术属于汽车辅助驾驶领域，特别涉及一种基于浅层卷积神经网络探测前车起步检测方法及控制方法。
技术介绍
随着科技的发展进步，智能化已经成为现今各个领域研究的热门课题，然而伴随着经济和科技的发展，城市道路上行驶的车辆也越来越多，城市的交通拥堵问题已经广泛困扰到人们的生活了，如何利用智能操控技术为道路的通畅运行也成为了交通领域广泛关注的课题。前车起步提醒方法属于汽车辅助驾驶领域，在拥堵路段或在路口等待交通信号灯时，司机需要随时注意前车的启停状态，以保证车流顺畅有序，但漫长枯燥的等待里，司机难免分神以至没能及时注意前方车流情况，进一步加剧道路拥堵，还有可能造成因没及时起步带来的后车追尾现象。因此，当前方有车时前车已经起动，或是前方无车时绿灯已经亮起，司机没有做出相应反应时，需要系统自动提醒司机启动车辆，避免后车催促，提高道路通行效率。现有技术中，中国专利申请号为：201510453118.4，名称：一种基于超声波雷达的前车起步提醒方法及系统，是一种基于前车测距的方法，通过超声波雷达传感器测量与前车的相对距离，再利用这个相对距离信息判定前车的启停动态，并根据判定结果提醒司机。但是，在该方案中，要想比较精确地获取与前车相对距离对传感器的精度有较高的要求，如果用在车载设备上，如记录仪上，无疑会及大地增加制作成本，实用性不强。中国专利申请号为：201510164515.X，名称：一种基于安卓的低成本停车等待驾驶提醒系统，是一种基于运动目标检测的方法，该方案利用摄像头采集车辆前方的视频图像，当判定本车处于停车等待状态时，通过判断视频图像中的目标是否运动来判定前车是否已经起步行驶。但是，该方案利用运动目标的检测方法，由于很难区分出运动的到底是前车还是其它目标，容易造成误判，精度不高；而要通过提高通过视频进行判断的准确性，在视频数据的处理上无疑要加大成本，并且对车辆前面视频数据进行处理也是需要一定时间的，这种检测方案还会延迟系统的提醒时间，不利于用户及时进行判断。另外市场上还有一种基于车牌识别的AI算法来判定前车起步的状态（http：//www.xjishu.com/zhuanli/57/201610819863.html），这种算法的弊端是本车在倒车的情况下，会误认为是前车起步的状态，会对驾驶员产生误报。中国专利申请号为：201510700316.6，名称为：前车起步的处理方法、装置和系统，是一种基于重力传感器和视频传感器的前车起步的系统。利用ColorCSK的图像算法来判定前方车辆的运动轨迹，再根据自身的重力传感器的阀值来判定是否开启前车起步提醒功能以及对车内司机进行提醒。ColorCSK是利用高斯核计算相邻两帧之间的相关性，取响应最大的点为预测的目标中。其弊端是针对固定目标大小的，对发生尺度变化的目标鲁棒性差。由于行车路上的车辆种类很多，摩托车，卡车，公交车，轿车，三轮车等的车辆，大小都不一样，这种方法来判断车辆运动轨迹很难保证准确性。因此，提供一种简捷、准确、低成本的前车起步提醒方法是本领域亟待解决的问题。另外，GravitySensor（GSensor)是一种加速度传感器，被广泛的应用的行车记录仪中，来实现车辆碰撞监控和停车监控的功能，但是没有被应用于高级辅助驾驶领域的AI算法。
技术实现思路
本专利技术的目的是针对现有技术中前车起步提醒方案准确度低、制作成本高及提醒延迟的问题，提供一种在市场上主流的行车记录仪里实现快捷的，精准的前车起步提醒功能，并且不需要为记录仪和汽车增加额外的硬件设备，当前车启动时能及时提醒驾驶者，基于浅层卷积神经网络探测前车起步检测方法。本专利技术的另一目的是提供一种基于Gsensor和视频影像的数据，运用深度学习和几何图形的算法，再通过阀值比较来判断车辆是否已经驶离，基于浅层卷积神经网络探测前车起步检测控制方法。本专利技术的再一目的是提供一种利用行车记录仪的重力加速器和浅层卷积网络的AI算法,快捷定位前车的车牌,通过光学焦距的原理结合三角函数公式,实现前车起步提醒，提醒的方法通过记录仪本身的喇叭，也可通过wifi连接车载中控发出警告信号的浅层卷积神经网络探测前车起步检测方法及控制方法。本专利技术的技术解决方案是所述基于浅层卷积神经网络探测车牌的检测方法，其特殊之处在于，包括以下步骤：车牌检测通过网络头部架构搭建的多盒式单发探测器实现；包括以下步骤：⑴行车记录仪通过重力加速器判断自身处于停车状态以后,把前方路面的图像传到神经网络的算法器；所述算法器，满足条件：图像的像素需要大于等于300x300后，进一步包括：(1.1)若图像长宽w,h等于300,300,那么算法器直接把图片数据放入输入层进行计算；(1.2)若图像长宽w,h大于300,300,算法器截取图像中央的300x300的区域作为新的图像放入输入层进行计算；因为车辆起步的情况只需要考虑跟自己处于同一车道上的正前方的车辆,所以只需要检测中央图像的物体；新的图像的左下角的坐标x=(w-300)/2,y=(h-300)/2,已知新图像的长宽(300x300)和坐下角坐标,确定新的图像；⑵输入层的图片会被处理成(300,300,3)的数据格式,分别为长,宽,通道,彩色RGB图片默认是三个通道；数据会被均值常态话处理；⑶基于移动网络构建从0层至10层的网络架构：⑷为车牌检测构建11层至图像输出层的网络架构；头部网络从11层到15层,分别负责检测(19x19),(10x10),(5x5),(3x3)的图像数据检测,精准定位车牌的12个地标点来确定车牌在图像中的位置；⑸获得最终输出物在图像中识别出的数据：把所有检测的数据结果合并,包含每个挂锚盒子的坐标、相对变量、物体在盒子内的坐标点和车牌分类的信心指数；其中：信心指数用来判定车牌的种类,货车或者小客车；坐标点用来计算车牌在图像中的长度。作为优选：步骤⑶所述网络结构的算法分类如下：a)二维零填充层高：为图片的上、下、左、右四圈的边上都加上零的数据,方便后边的卷积核的运算；数据结构有改变,长宽各增加1；b)批量常态化层：公式(a)：xi'=(xi-(∑k∈m(xi))/n))/，式中：xi是每一个点的值,n是数据总数,m∈{1,2,3...n},β是固定变量0.001防止分母为0,其中原始图的n等于300x300x3；所述公式(a)批量的处理每个数据点,不更改数据的结构；c)激活函数层：用f(x)=最大值(0,x)公式来处理每个数据点,使其最小数值为零；d)深度二维卷积层：用(3x3)的卷积核来挖掘图像中的特征,不改变数据的结构；e)二维卷积层：用(1x1)的卷积核来挖掘图像中的特征,改变数据的结构；f)卷积组：用来简化网络结构,利用(w,h,d,m)的变量和每一层的参数提高代码利用率；其中w等于数据的长,h等于数据宽,d等于通道数,m等于需要检测的多盒数量；其中卷积组D的3的本文档来自技高网...

【技术保护点】
1.一种基于浅层卷积神经网络探测车牌的检测方法，其特征在于，车牌检测通过网络头部架构搭建的多盒式单发探测器实现；包括以下步骤：/n⑴行车记录仪通过重力加速器判断自身处于停车状态以后,把前方路面的图像传到神经网络的算法器；所述算法器，满足条件：图像的像素需要大于等于300x300后，进一步包括：/n(1.1)若图像长宽(w,h)等于(300,300),那么算法器直接把图片数据放入输入层进行计算；/n(1.2)若图像长宽(w,h)大于(300,300),算法器截取图像中央的300x300的区域作为新的图像放入输入层进行计算；因为车辆起步的情况只需要考虑跟自己处于同一车道上的正前方的车辆,所以只需要检测中央图像的物体；新的图像的左下角的坐标x＝(w-300)/2,y＝(h-300)/2,已知新图像的长宽(300x300)和坐下角坐标,确定新的图像；/n⑵输入层的图片会被处理成(300,300,3)的数据格式,分别为长,宽,通道,彩色RGB图片默认是三个通道；数据会被均值常态话处理；/n⑶基于移动网络构建从0层至10层的网络架构：/n⑷为车牌检测构建11层至图像输出层的网络架构；头部网络从11层到15层,分别负责检测(19x19),(10x10),(5x5),(3x3)的图像数据检测,精准定位车牌的12个地标点来确定车牌在图像中的位置；/n⑸获得最终输出物在图像中识别出的数据：把所有检测的数据结果合并,包含每个挂锚盒子的坐标、相对变量、物体在盒子内的坐标点和车牌分类的信心指数；其中：信心指数用来判定车牌的种类,货车或者小客车；坐标点用来计算车牌在图像中的长度。/n...

【技术特征摘要】
1.一种基于浅层卷积神经网络探测车牌的检测方法，其特征在于，车牌检测通过网络头部架构搭建的多盒式单发探测器实现；包括以下步骤：
⑴行车记录仪通过重力加速器判断自身处于停车状态以后,把前方路面的图像传到神经网络的算法器；所述算法器，满足条件：图像的像素需要大于等于300x300后，进一步包括：
(1.1)若图像长宽(w,h)等于(300,300),那么算法器直接把图片数据放入输入层进行计算；
(1.2)若图像长宽(w,h)大于(300,300),算法器截取图像中央的300x300的区域作为新的图像放入输入层进行计算；因为车辆起步的情况只需要考虑跟自己处于同一车道上的正前方的车辆,所以只需要检测中央图像的物体；新的图像的左下角的坐标x＝(w-300)/2,y＝(h-300)/2,已知新图像的长宽(300x300)和坐下角坐标,确定新的图像；
⑵输入层的图片会被处理成(300,300,3)的数据格式,分别为长,宽,通道,彩色RGB图片默认是三个通道；数据会被均值常态话处理；
⑶基于移动网络构建从0层至10层的网络架构：
⑷为车牌检测构建11层至图像输出层的网络架构；头部网络从11层到15层,分别负责检测(19x19),(10x10),(5x5),(3x3)的图像数据检测,精准定位车牌的12个地标点来确定车牌在图像中的位置；
⑸获得最终输出物在图像中识别出的数据：把所有检测的数据结果合并,包含每个挂锚盒子的坐标、相对变量、物体在盒子内的坐标点和车牌分类的信心指数；其中：信心指数用来判定车牌的种类,货车或者小客车；坐标点用来计算车牌在图像中的长度。


2.根据权利要求1所述基于浅层卷积神经网络探测车牌的检测方法，其特征在于，步骤⑶所述网络结构的算法分类如下：
a)二维零填充层高：为图片的上、下、左、右四圈的边上都加上零的数据,方便后边的卷积核的运算；数据结构有改变,长宽各增加1；
b)批量常态化层：
公式(a)：



式中：xi是每一个点的值,n是数据总数,m∈{1,2,3...n},β是固定变量0.001防止分母为0,其中原始图的n等于300x300x3；
所述公式(a)批量的处理每个数据点,不更改数据的结构；
c)激活函数层：用f(x)＝最大值(0,x)公式来处理每个数据点,使其最小数值为零；
d)深度二维卷积层：用(3x3)的卷积核来挖掘图像中的特征,不改变数据的结构；
e)二维卷积层：用(1x1)的卷积核来挖掘图像中的特征,改变数据的结构；
f)卷积组：用来简化网络结构,利用(w,h,d,m)的变量和每一层的参数提高代码利用率；其中w等于数据的长,h等于数据宽,d等于通道数,m等于需要检测的多盒数量；其中卷积组D的3的设定是仅需检测货车和小客车车牌这两个类型；再加的1归为其他类。


3.根据权利要求1所述基于浅层卷积神经网络探测车牌的检测方法，其特征在于，步骤⑷所述图像数据的检测进一步包括：
a)挂锚盒子层：以方框的形式定位车牌的位置；
所述挂锚盒：是指把图片中相邻的点(0.5:1,1:1:2:1)这三种长和宽比例，组合起来圈定物体在图中的位置，每一个组合起来的方框；
b)盒子重朔：把图像转化输出为(w·h·d,8)的数据结构,其中的8包含4个挂锚盒子的坐标和4个相对的变量；
c)多盒位置卷积重朔：把图像转化输出为(w·h·d/4,4)的数据结构,其中的4是每个盒子的4个坐标点；
d)挂锚盒子卷积合并：把头部网络每一层的特征合并,输出(2248,8)的数据格式,其中的8是每个数据的4个挂锚盒子的坐标和4个相对的变量，2248是挂锚盒子卷积合并生成的盒子数量，用公式(b)计算；
公式(b)：挂锚盒子卷积合并生成的盒子数量：
Lboxes＝Σi∈L(wi·hi·mi)+Σi∈O(wi/2·hi/2·mi)，
式中：w是输入特征的宽，h是输入特征的高，m是每层卷积的盒子数，L∈{11，13}，O∈{14，15}；
e)多盒位置卷积合并：把头部网络每一层的特征合并,输出(2248,4)的数据结构,其中4是每个盒子内物体的4个坐标点，2248是挂锚盒子卷积合并生成的盒子数量，用公式(b)计算；
f)多盒信心卷积合并：把头部网络的每一层的特征合并,输出(2248,3)的数据结构,其中3的设定是仅需检测货车和小客车的车牌这2个类型,再加1个其他类是检测不到的情况；2248是挂锚盒子卷积合并生成的盒子数量，用公式(c)计算...

【专利技术属性】
技术研发人员：王淼，郑长征，
申请(专利权)人：深圳市海圳汽车技术有限公司，深圳市深瞳科技有限公司，
类型：发明
国别省市：广东;44