【技术实现步骤摘要】
基于Faster-RCNN的目标及其距离检测方法
本专利技术涉及辅助驾驶技术，尤其涉及人工智能、深度学习和基于计算机视觉技术的目标及其距离检测方法。
技术介绍
汽车非常便捷，但带来严重的交通安全问题。随着汽车使用量的增加，安全问题也随之增加。根据2015年全球道路安全报告，每年有120多万人死于交通事故，还有数百万人受重伤。为改善交通安全，安全预警系统、正向碰撞警告系统、自适应巡航控制系统、车道偏离预警系统等辅助驾驶系统应运而生，逐渐应用于汽车安全驾驶中。道路目标及其距离的实时检测是这些辅助驾驶系统最核心部分。目标及其距离检测是图像处理和计算机视觉的一个重要分支，它融合了图像处理、模式识别、人工智能等许多领域的前沿技术。目前，针对辅助驾驶系统，已经有一些车辆测距方法运用目标检测与测距等相关前沿技术。CN201810314076.X公开了基于深度学习的交通目标检测与测距方法，包括：算法模型训练步骤，选择车辆附近的图像区域样本，对图像增加样本，对增加的样本改变像素使其成为具有相等强度的图像，最后进行深度学习训练得到模型；...
【技术保护点】
1.基于Faster-RCNN的目标及其距离检测方法，其特征在于，包括以下步骤：/n(1)数据准备：数据包括训练和评估数据以及预测数据；一个摄像头和一个激光雷达上、下安装在车顶，用摄像头获取道路场景中包含待检测目标的图像(Img)，用激光雷达获取Img中待检测目标离相机的标记距离d
【技术特征摘要】
1.基于Faster-RCNN的目标及其距离检测方法，其特征在于，包括以下步骤：
(1)数据准备：数据包括训练和评估数据以及预测数据；一个摄像头和一个激光雷达上、下安装在车顶，用摄像头获取道路场景中包含待检测目标的图像(Img)，用激光雷达获取Img中待检测目标离相机的标记距离d*，作为原始训练和评估数据；只用一个型号和参数与上述相同的摄像头获取道路场景中包含待检测目标的Img作为预测数据；
(2)训练数据和评估数据制作：对Img中K类需检测的前景目标用边界框BB进行标记，每个目标的标记用GT表示；每个GT包括以下信息：Img的路径，Img上BB的中心点水平坐标和垂直坐标以及BB的宽和高(x*,y*,w*,h*)，目标离相机的标记距离d*和目标的标记类别k*；通过程序随机挑选出约三分之一的Img及其GT作为评估数据，其余作为训练数据；
(3)网络训练：基于Faster-RCNN算法，用步骤(2)制作的训练数据，训练多任务卷积神经网络，使得网络具有对整幅Img中目标及其距离同时进行检测的能力；
(4)目标预测：用基于Faster-RCNN算法指导训练好的多任务卷积神经网络检测预测数据Img中的目标及其距离，同时完成对整幅Img中的目标进行定位、分类和测距的多重任务；
(5)网络评估：与步骤(4)目标预测过程一样，先用基于Faster-RCNN算法指导多任务卷积神经网络检测上述步骤(2)制作的评估数据中所有Img；再将检测结果与评估数据中的GT对比，用检测率Accuracy和距离绝对误差率均值AAER来评估多任务卷积神经网络的性能。
2.根据权利要求1所述的目标及其距离检测方法，其特征是，所述的多任务卷积神经网络由基础网络、感兴趣区域(RoI)提案网络(RPN)和检测网络三部分组成；
其中基础网络由若干个卷积池化块串接而成，每个卷积池化块由若干个改变通道数的卷积层和一个缩小分辨率的池化层组成；Img通过整个基础网络后输出一张分辨率成倍缩小而通道数增加的特征图MAPF；
RPN由至少一个RPN卷积层，再加上并行的分类输出层和回归输出层组成；分类输出层输出对锚框分类为前、背景的概率的预测值PA＝(pfg,pbg)；回归输出层输出对前景锚框的BB回归偏移的预测值TA＝(tx,ty,tw,th)，为后续的检测网络提供RoI的边界框BB1F做准备；
检测网络先后由RoI池化层、中间网络，再加上并行的目标细分类输出层和回归输出层组成；RoI池化层利用尺度各异的BB1F从MAPF中截取出RoI，并将其转换成固定尺度的RoI；中间网络由若干个卷积层加上一个池化层组成；目标细分类输出层对每个RoI输出K+1类目标细分类概率的预测值PB＝(p1,…,pK,pbg)；回归输出层对每个RoI输出K类前景目标的BB回归偏移以及距离回归参数的预测值TB＝(t1x,t1y,t1w,t1h,t1d,…,tKx,tKy,tKw,tKh,tKd)。
3.根据权利要求1和2所述的目标及其距离检测方法，其特征是，所述的基于Faster-RCNN算法将所述多任务卷积神经网络前、后分成RoI提案和目标及其距离检测两个实施阶段；
RoI提案阶段包括基础网络和RPN，由RPN负责在MAPF上初步提案权利要求2所述的BB1F；目标及其距离检测阶段对应检测网络，负责预测每个提案的BB1F对K+1类目标的细分类概率PB，和对K类前景目标的BB回归偏移和距离回归参数TB。
4.根据权利要求3所述的目标及其距离检测方法，其特征是，(1)网络训练时，RoI提案阶段的具体步骤为：
对每次输入的训练数据中的一张Img及Img中每个GT的BB位置尺度信息(x*,y*,w*,h*)进行缩放处理，忽略GT中的标记距离d*等其他信息，得到缩放的图像ImgR和ImgR上每个前景目标的缩放的GT，用表示；
ImgR通过基础网络和RPN后，在MAPF上每个像素点预测M个锚框的前、背景分类和前景锚框的BB回归偏移，每个锚框的前、背景分类概率预测值为PA，每个分类为前景锚框的BB回归偏移预测值为TA；
通过AGT生成器，对上述锚框进行前、背景锚框标记，并产生Nrpn个用于训练基础网络和RPN的标记锚框AGT，其标记为
用上述Nrpn个AGT的预测结果{PA,TA}和标记对比计算RoI提案阶段的损失Lrpn；
再通过反向传播来更新基础网络和RPN的权重；
ImgR再次通过权重刚更新的基础网络和RPN后，在MAPF上每个像素点预测M个锚框，每个锚框的前、背景分类概率预测值为PA，每个分类为前景锚框的BB回归偏移预测值为TA；将预测的前景概率pfg≥0.9的每个锚框的BB回归偏移TA反算成ImgR上的预测边界框
通过非极大抑制算法NMS(IoU≥0.7)处理，优选出前NB个预测为前景类的BB1R；
将所述的NB个BB1R映射到MAPF上，并圆整为MAPF上的边界框同时将每个GT中的BB也映射到MAPF上，并进行圆整，加上标记距离d*和标记类别k*信息后，得到MAPF上的训练检测网络用的标记通过BBGT及其标记生成器，根据GTF从上述NB个BB1F中挑出Ndet个作为训练检测网络的标记边界框BBGT，其标记为
(2)网络训练时，目标及其距离检测阶段的具体步骤为：
通过检测网络的RoI池化层，用每个BBGT在MAPF上截取一个RoI，并将其池化成固定尺度的RoI；
上述固定尺度的RoI再通过检测网络的中间网络和两个输出层，输出对上述BBGT的K+1类目标的细分类预测结果PB，同时输出每个预测为前景BBGT的K类前景目标的BB回归偏移以及距离回归参数预测值TB；
将上述Ndet个的BBGT的预测结果{PB,TB}和其标记对比计算目标及其距离检测阶段的损失Ldet，通过反向传播算法更新一次检测网络权重；
最后计算当前Img训练网络的总损失Ltotal＝Lrpn+Ldet，如此循环计算N张Img的总损失后，取其平均值，判断此平均值是否小于目标损失，小于将停止训练，输出最优网络权重，否则继续用下一组N张Img训练多任务卷积神经网络。
5.根据权利要求3所述的目标及其距离检测方法，其特征是，(1)在目标预测和网络评估时，RoI提案阶段的具体步骤为：
将每次输入的一张Img缩放成ImgR；ImgR通过基础网络和RPN后，在MAPF上每个像素点预测M个锚框，每个锚框的前、背景分类概率预测值为PA，每个预测为前景锚框的BB回归偏移预测值为TA；
将预测为前景概率pfg≥0.9的每个锚框的BB回归偏移TA反算成ImgR上的预测边界框BB1R；通过非极大抑制算法NMS(IoU≥0.7)处理，优选出前NB个预测为前景类的BB1R；
将上述NB个BB1R映射到MAPF上，并圆整为MAPF上的边界框BB1F；
对上述NB个BB1F进行分组，每组Ndet个，最后一组不足Ndet个用pfg值最大的BB1F补齐；(2)在目标预测和网络评估时，目标及其距离检测阶段的具体步骤为：
分组将BB1F送入检测网络，对每个BB1F在MAPF上包围的RoI进行K+1类目标的细分类预测，预测概率为PB，同时预测K类前景目标的BB回归偏移和距离回归参数TB；
根据对BB1F的预测细分类概率PB中分量最大值确定该BB1F的预测分类，假定pk取值最大，则将当前BB1F的预测为第k类前景目标，从TB中取出第k类前景目标对应的BB回归偏移以及距离回归参数(tkx,tky,tkw,tkh,tkd)；
接着将BB回归偏移(tkx,tky,tkw,tkh)反算成MAPF上目标...
【专利技术属性】
技术研发人员：戴小标，张红梅，段玉霞，
申请(专利权)人：邵阳学院，
类型：发明
国别省市：湖南;43
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。