一种基于深度神经网络的细粒度车辆检测方法技术

技术编号:22167985 阅读:55 留言:0更新日期:2019-09-21 11:02
本发明专利技术公开了一种基于深度神经网络的细粒度车辆检测方法,通过定义输出、检测和训练网络,可以准确检测出车辆的具体姿态类别和轮廓。当给定地平面和摄像机校准信息等先验知识时,检测结果可用于估计可行驶区域,碰撞时间等,进一步辅助和保障驾驶员安全驾驶。相较于一般的目标检测网络,本发明专利技术能输出更多的信息,可满足不同的应用需求。本发明专利技术输出了车辆的姿态类别和轮廓位置信息,这些信息有利于更准确地判断车辆在道路中的位置和行驶方向。本发明专利技术对采集数据的传感器要求低,有利于生产使用。本发明专利技术的计算全部是在普通的RGB图像中完成的,不需要深度传感器或者雷达等设备,只需要一个普通的摄像头即可达到要求,成本低廉。

A Fine-grained Vehicle Detection Method Based on Depth Neural Network

【技术实现步骤摘要】
一种基于深度神经网络的细粒度车辆检测方法
本专利技术涉及一种基于深度神经网络的细粒度车辆检测方法。
技术介绍
车辆检测是自动驾驶或辅助驾驶系统中的重要任务,可用于计算碰撞距离和碰撞时间,保障行车安全。一般的目标检测任务只能得到粗糙的矩形框检测结果,矩形框分不出车辆每一个面的位置,也就无法准确分析车辆旁边的可通行区域,对车辆的姿态变化也不敏感。这就要求能检测出车辆准确的轮廓并区分车辆的侧面和头尾部,实现细粒度车辆检测。实现轮廓检测的方法主要有两种,一种是在普通的RGB图像中基于分割候选或者像素分类实现实例分割;另一种是拍摄带有深度信息的图片,在RGB-D图像中进行目标检测。实例分割的方法虽然能检测出车辆的轮廓,但是无法区分出车辆的不同面,且计算缓慢。3D检测的方法能准确得到车辆的位置,但是需要3D传感器采集深度信息,采集代价高。随着算法的不断改进,一步完成目标检测的神经网络已接近或达到实时检测的要求。在此框架下直接完成车辆轮廓的检测可以避免额外的计算或采集代价,适用于自动驾驶或辅助驾驶系统。
技术实现思路
本专利技术的目的在于克服上述现有技术的缺点,提供一种基于深度神经网络的细粒度车辆检测方法。为达到上述目的,本专利技术采用以下技术方案予以实现:一种基于深度神经网络的细粒度车辆检测方法,包括以下步骤:步骤1:定义输出给定一个矩形(v,x,y,w,h),其中v指示的是正负样本,v∈{0,1},0表示背景,1表示是车辆;x,y,w,h则表示矩形框的位置和宽高,在此基础上,从姿态子类编码和控制点两部分扩展输出;步骤2:检测网络令(wf,hf,cf)为尺度为f的特征层的宽、高和通道数;如果V,A,P分别为类别v,a,p的个数,则尺度为f的特征层经过卷积,会产生(wf,hf,Bf×(V+A+P+4+3))维的检测结果矩阵,检测结果包括了(v,a,p,x,y,w,h,α,β,γ)信息,其中,Bf为每个位置产生的defaultbox的个数;在检测过程中,检测器在层次结构的每一个节点处预测的是条件概率,将根节点到该节点的条件概率相乘得到联合概率;如果在某一个节点联合概率低于选定的阈值则停止继续往下判断,然后预测车辆最终的类别和几何形状;步骤3:训练网络令为第i个defaultbox是否与类别为d的第j个真值框匹配的指示函数;与标注的真实值匹配后得到N个匹配的defaultbox;总的损失函数是分类和定位损失之和:本专利技术进一步的改进在于:步骤1的具体方法如下:1-1)姿态编码采用两个子类来编码成像后的9种2D车辆姿态p∈{p1,...,p9},9种姿态分别是9个叶子节点;第一种子类a∈{R,F,N}表示的是车辆的哪些面是可见的,其中R表示后面可见,F表示前面可见,N则表示前面和后面均不可见,只能看到侧面;另一个子类是表示空间配置的s,它决定了侧面在前面或后面的左侧还是右侧;对于a=N,s则表示侧面的方向;s∈{l,r,n},其中l表示左侧,r表示右侧,n则表示目标车辆在正前方,只能看见一个矩形面;根据a和s的取值即能够编码出9种不同姿态;1-2)控制点在矩形框(x,y,w,h)的基础上定义3个虚拟控制点,形成车辆的每个可见面的轮廓边界;α表示的是两个面之间分界线的位置,β,γ则定义了梯形的上底边的位置;如果s=l,那么β,γ则定义在最左侧的边界上;对于9种2D姿态,每一种姿态上都用黑点示意了需要的控制点,s=n时不需要控制点,a=N,s=l或s=r时只需要β,γ两个控制点;输出被定义为(v,a,s,x,y,w,h,α,β,γ),第三层的输出结果即叶子节点的结果,能够直接用p表示,因此,输出也能够定义为(v,a,p,x,y,w,h,α,β,γ);1-3)层次结构采用层次输出结构,分3层输出检测结果;第一层输出是否为车辆,即类别v,第二层输出车辆的可见面信息,即类别a,第三层输出准确的姿态类别p。步骤3的具体方法如下:3-1)网络分类分类任务的损失函数如下式;式中:表示经过softmax后的类别置信度,计算公式如下:3-2)控制点回归令(αx,αy)表示控制点α的坐标,类似的定义也适用于控制点β和γ;α,β,γ三个点均在矩形框的边界上这一几何约束,需要回归的值只有矩形框的位置和αx,βy,γy;定义预测值与defaultbox的偏差为:式中:cx,cy表示defaultbox的中心点的坐标;w,h表示defaultbox的宽和高;表示α控制点的x坐标的真实值;αx表示α控制点的x坐标的预测值;βy,γy的定义类似;定位任务的损失如下:式中:Lbox表示目标检测中矩形框回归的损失函数;L表示鲁棒的损失函数smoothL1;表示指示函数,指示第i个defaultbox是否对坐标t做贡献,当defaultbox匹配到的真值的姿态不包含控制点α时,将不对αx的回归做贡献,βy,γy也类似。与现有技术相比,本专利技术具有以下有益效果:本专利技术提出了一种细粒度车辆检测的深度神经网络方法,可以准确检测出车辆的具体姿态类别和轮廓。当给定地平面和摄像机校准信息等先验知识时,检测结果可用于估计可行驶区域,碰撞时间等,进一步辅助和保障驾驶员安全驾驶。本专利技术有三大优点:一是相较于一般的目标检测网络,本专利技术能输出更多的信息,可满足不同的应用需求。本专利技术输出了车辆的姿态类别和轮廓位置信息,这些信息有利于更准确地判断车辆在道路中的位置和行驶方向。二是计算量小,时间效率高。由于本专利技术提出的方法是从已接近或达到实时检测要求的一步完成目标检测的框架中拓展而来,与目标检测方法相比,本专利技术没有生成额外的特征,也没有增加候选窗口的数量,只扩展了检测器的输出通道,几乎没有增加计算量,与原有的目标检测算法具有一样的检测效率。三是对采集数据的传感器要求低,有利于生产使用。本专利技术的计算全部是在普通的RGB图像中完成的,不需要深度传感器或者雷达等设备,只需要一个普通的摄像头即可达到要求,成本低廉。【附图说明】图1为整体网络框架;图2为车辆轮廓检测效果示例;图3为姿态编码和控制点定义;图4为检测网络结构;图5为控制点回归的演示;图6为部分实际检测结果。【具体实施方式】为了使本
的人员更好地理解本专利技术方案,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分的实施例,不是全部的实施例,而并非要限制本专利技术公开的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要的混淆本专利技术公开的概念。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本专利技术保护的范围。在附图中示出了根据本专利技术公开实施例的各种结构示意图。这些图并非是按比例绘制的,其中为了清楚表达的目的,放大了某些细节,并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的,实际中可能由于制造公差或技术限制而有所偏差,并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。本专利技术公开的上下文中,当将一层/元件称作位于另一层/元件“上”时,该层/元件可以直接位于该另一层/元件上,或者它们之间可以存在居中层/元件。另外,如果在一种朝本文档来自技高网
...

【技术保护点】
1.一种基于深度神经网络的细粒度车辆检测方法,其特征在于,包括以下步骤:步骤1:定义输出给定一个矩形(v,x,y,w,h),其中v指示的是正负样本,v∈{0,1},0表示背景,1表示是车辆;x,y,w,h则表示矩形框的位置和宽高,在此基础上,从姿态子类编码和控制点两部分扩展输出;步骤2:检测网络令(wf,hf,cf)为尺度为f的特征层的宽、高和通道数;如果V,A,P分别为类别v,a,p的个数,则尺度为f的特征层经过卷积,会产生(wf,hf,Bf×(V+A+P+4+3))维的检测结果矩阵,检测结果包括了(v,a,p,x,y,w,h,α,β,γ)信息,其中,Bf为每个位置产生的default box的个数;在检测过程中,检测器在层次结构的每一个节点处预测的是条件概率,将根节点到该节点的条件概率相乘得到联合概率;如果在某一个节点联合概率低于选定的阈值则停止继续往下判断,然后预测车辆最终的类别和几何形状;步骤3:训练网络令

【技术特征摘要】
1.一种基于深度神经网络的细粒度车辆检测方法,其特征在于,包括以下步骤:步骤1:定义输出给定一个矩形(v,x,y,w,h),其中v指示的是正负样本,v∈{0,1},0表示背景,1表示是车辆;x,y,w,h则表示矩形框的位置和宽高,在此基础上,从姿态子类编码和控制点两部分扩展输出;步骤2:检测网络令(wf,hf,cf)为尺度为f的特征层的宽、高和通道数;如果V,A,P分别为类别v,a,p的个数,则尺度为f的特征层经过卷积,会产生(wf,hf,Bf×(V+A+P+4+3))维的检测结果矩阵,检测结果包括了(v,a,p,x,y,w,h,α,β,γ)信息,其中,Bf为每个位置产生的defaultbox的个数;在检测过程中,检测器在层次结构的每一个节点处预测的是条件概率,将根节点到该节点的条件概率相乘得到联合概率;如果在某一个节点联合概率低于选定的阈值则停止继续往下判断,然后预测车辆最终的类别和几何形状;步骤3:训练网络令为第i个defaultbox是否与类别为d的第j个真值框匹配的指示函数;与标注的真实值匹配后得到N个匹配的defaultbox;总的损失函数是分类和定位损失之和:2.根据权利要求1所述的基于深度神经网络的细粒度车辆检测方法,其特征在于,步骤1的具体方法如下:1-1)姿态编码采用两个子类来编码成像后的9种2D车辆姿态p∈{p1,...,p9},9种姿态分别是9个叶子节点;第一种子类a∈{R,F,N}表示的是车辆的哪些面是可见的,其中R表示后面可见,F表示前面可见,N则表示前面和后面均不可见,只能看到侧面;另一个子类是表示空间配置的s,它决定了侧面在前面或后面的左侧还是右侧;对于a=N,s则表示侧面的方向;s∈{l,r,n},其中l表示左侧,r表示右侧,n则表示目标车辆在正前方,只能看见一个矩形面;根据a和s的取值即能够编码出...

【专利技术属性】
技术研发人员:袁泽剑罗芳颖刘芮金
申请(专利权)人:西安交通大学
类型:发明
国别省市:陕西,61

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1