一种车辆盲区预警的方法及装置制造方法及图纸

技术编号:24246980 阅读:10 留言:0更新日期:2020-05-22 21:21
本申请提供一种车辆盲区预警的方法及装置,其中所述方法包括:获取车辆设有的摄像装置采集的当前帧图像,所述当前帧图像为所述车辆的盲区的图像;将所述当前帧图像输入已训练的神经网络模型,由所述神经网络模型输出所述当前帧图像中存在的目标障碍物的类别和位置;基于所述目标障碍物的类别和位置,对所述目标障碍物进行目标跟踪,以确定所述目标障碍物的运动趋势以及最终位置;根据所述目标障碍物的类别、最终位置以及运动趋势进行车辆盲区预警处理。本申请实施例可以获取目标障碍物的准确位置,有助于提高盲区预警的准确性,提升预警效果。

A method and device of vehicle blind area early warning

【技术实现步骤摘要】
一种车辆盲区预警的方法及装置
本申请涉及智能交通
,尤其涉及一种车辆盲区预警的方法以及一种车辆盲区预警的装置。
技术介绍
随着汽车电子产品的快速发展,越来越多的车辆开始借助盲区检测技术来实时获知路况信息,以保障车辆的安全驾驶。其中,车辆盲区是指驾驶员位于正常驾驶座位置,其视线被车体遮挡而不能直接观察到的那部分区域。在现有技术中,一般采用毫米波雷达、超声波传感器、红外传感器等传感器,向待检测的车辆盲区发射检测信号,通过接收到的反射信号来判断车辆盲区内的路况信息。但这种方式只能通过传感器来探测盲区内的路况信息,预警效果较差。
技术实现思路
有鉴于此,本申请提供一种车辆盲区预警的方法以及一种车辆盲区预警的装置。具体地,本申请是通过如下技术方案实现的:根据本申请实施例的第一方面,提供了一种车辆盲区预警的方法,所述方法包括:获取车辆设有的摄像装置采集的当前帧图像,所述当前帧图像为所述车辆的盲区的图像;将所述当前帧图像输入已训练的神经网络模型,由所述神经网络模型输出所述当前帧图像中存在的目标障碍物的类别和位置;基于所述目标障碍物的类别和位置,对所述目标障碍物进行目标跟踪,以确定所述目标障碍物的运动趋势以及最终位置;根据所述目标障碍物的类别、最终位置以及运动趋势进行车辆盲区预警处理。优选地,所述将所述当前帧图像输入已训练的神经网络模型,由所述神经网络模型输出所述当前帧图像中存在的目标障碍物的类别和位置包括:将所述当前帧图像输入至所述神经网络模型,所述神经网络模型中的卷积层对所述当前帧图像进行处理并输出图像特征信息给全连接层;所述全连接层对所述卷积层输入的图像特征信息进行处理并输出所述当前帧图像存在的一个或多个目标障碍物的类别和位置,其中,所述目标障碍物的位置是指目标障碍物的外接矩形框所处的位置。优选地,所述基于所述目标障碍物的类别和位置,对所述目标障碍物进行目标跟踪,以确定所述目标障碍物的运动趋势以及最终位置包括:获取所述摄像装置采集的上一帧图像;分别确定所述上一帧图像以及所述当前帧图像的灰度图,并基于所述灰度图确定所述一个或多个目标障碍物的光流矢量;基于所述一个或多个目标障碍物的光流矢量,确定所述一个或多个目标障碍物的运动趋势;根据所述一个或多个目标障碍物的运动趋势,对所述一个或多个目标障碍物在当前帧图像的位置进行预测,得到所述一个或多个目标障碍物在当前帧图像的预测位置;基于所述目标障碍物的类别,融合所述一个或多个目标障碍物在当前帧图像的预测位置以及所述神经网络模型输出的位置,确定所述一个或多个目标障碍物在当前帧图像的最终位置。优选地,所述根据所述一个或多个目标障碍物的运动趋势,对所述一个或多个目标障碍物在当前帧图像的位置进行预测,得到所述一个或多个目标障碍物在当前帧图像的预测位置,包括:获取所述一个或多个目标障碍物在上一帧图像中的最终位置;基于所述一个或多个目标障碍物的运动趋势以及所述一个或多个目标障碍物在上一帧图像中的最终位置,确定所述一个或多个目标障碍物在当前帧图像的预测位置。优选地,所述基于所述目标障碍物的类别,融合所述一个或多个目标障碍物在当前帧图像的预测位置以及所述神经网络模型输出的位置,确定所述一个或多个目标障碍物在当前帧图像的最终位置,包括:根据所述一个或多个目标障碍物的类别以及预测位置,生成所述一个或多个目标障碍物在当前帧图像的预测外接矩形框;获取所述神经网络模型输出的当前帧图像存在的一个或多个目标障碍物的检测外接矩形框;对所述检测外接矩形框以及所述预测外接矩形框进行目标障碍物关联;根据关联为同一目标障碍物的检测外接矩形框以及预测外接矩形框所处的位置,确定所述目标障碍物的最终位置。优选地,所述对所述检测外接矩形框以及所述预测外接矩形框进行目标障碍物关联包括:分别计算所述预测外接矩形框以及所述检测外接矩形框的颜色直方图;计算当前帧图像的预测外接矩形框的颜色直方图与检测外接矩形框的颜色直方图两两之间的余弦距离,生成余弦距离矩阵;采用匈牙利算法,从所述余弦距离矩阵中,确定与每个预测外接矩形框的余弦距离最短的检测外接矩形框,作为与所述预测外接矩形框关联为同一目标障碍物的检测外接矩形框。优选地,所述当前帧图像中的盲区包括第一盲区以及第二盲区,其中,第二盲区为由所述第一盲区外扩预设像素后得到的范围;所述根据所述目标障碍物的类别、最终位置以及运动趋势进行车辆盲区预警处理包括:获取所述车辆的实时姿态信息;确定与所述实时姿态信息对应的报警策略;根据所述目标障碍物在当前帧图像中的最终位置,确定所述目标障碍物所处的区域为当前帧图像中的第一盲区或者第二盲区;当所述目标障碍物的类别、所处的区域以及运动趋势与所述报警策略匹配时,则进行报警处理。优选地,所述进行报警处理,包括:在车辆内的显示设备中显示对应的报警图像,其中,所述报警图像中标注有所述目标障碍物的类别、最终位置和/或运动趋势。根据本申请实施例的第二方面,提供了一种车辆盲区预警的装置,所述装置包括:图像获取模块,用于获取车辆设有的摄像装置采集的当前帧图像,所述当前帧图像为所述车辆的盲区的图像;目标障碍物识别模块,用于将所述当前帧图像输入已训练的神经网络模型,由所述神经网络模型输出所述当前帧图像中存在的目标障碍物的类别和位置;目标障碍物跟踪模块,用于基于所述目标障碍物的类别和位置,对所述目标障碍物进行目标跟踪,以确定所述目标障碍物的运动趋势以及最终位置;报警模块,用于根据所述目标障碍物的类别、最终位置以及运动趋势进行车辆盲区预警处理。优选地,所述目标障碍物识别模块包括:图像输入子模块,用于将所述当前帧图像输入至所述神经网络模型,所述神经网络模型中的卷积层对所述当前帧图像进行处理并输出图像特征信息给全连接层;所述全连接层对所述卷积层输入的图像特征信息进行处理并输出所述当前帧图像存在的一个或多个目标障碍物的类别和位置,其中,所述目标障碍物的位置是指目标障碍物的外接矩形框所处的位置。优选地,所述目标障碍物跟踪模块包括:图像获取子模块,用于获取所述摄像装置采集的上一帧图像;光流矢量确定子模块,用于分别确定所述上一帧图像以及所述当前帧图像的灰度图,并基于所述灰度图确定所述一个或多个目标障碍物的光流矢量;运动趋势确定子模块,用于基于所述一个或多个目标障碍物的光流矢量,确定所述一个或多个目标障碍物的运动趋势;位置预测子模块,用于根据所述一个或多个目标障碍物的运动趋势,对所述一个或多个目标障碍物在当前帧图像的位置进行预测,得到所述一个或多个目标障碍物在当前帧图像的预测位置;最终位置确定子模块,用于基于所述目标障碍物的类别,融合所述一个或多个目标障碍物在当前帧图像的预测位置以及所述神经网络模型输出的位置,确定所述一个或多个本文档来自技高网...

【技术保护点】
1.一种车辆盲区预警的方法,其特征在于,所述方法包括:/n获取车辆设有的摄像装置采集的当前帧图像,所述当前帧图像为所述车辆的盲区的图像;/n将所述当前帧图像输入已训练的神经网络模型,由所述神经网络模型输出所述当前帧图像中存在的目标障碍物的类别和位置;/n基于所述目标障碍物的类别和位置,对所述目标障碍物进行目标跟踪,以确定所述目标障碍物的运动趋势以及最终位置;/n根据所述目标障碍物的类别、最终位置以及运动趋势进行车辆盲区预警处理。/n

【技术特征摘要】
1.一种车辆盲区预警的方法,其特征在于,所述方法包括:
获取车辆设有的摄像装置采集的当前帧图像,所述当前帧图像为所述车辆的盲区的图像;
将所述当前帧图像输入已训练的神经网络模型,由所述神经网络模型输出所述当前帧图像中存在的目标障碍物的类别和位置;
基于所述目标障碍物的类别和位置,对所述目标障碍物进行目标跟踪,以确定所述目标障碍物的运动趋势以及最终位置;
根据所述目标障碍物的类别、最终位置以及运动趋势进行车辆盲区预警处理。


2.根据权利要求1所述的方法,其特征在于,所述将所述当前帧图像输入已训练的神经网络模型,由所述神经网络模型输出所述当前帧图像中存在的目标障碍物的类别和位置包括:
将所述当前帧图像输入至所述神经网络模型,所述神经网络模型中的卷积层对所述当前帧图像进行处理并输出图像特征信息给全连接层;
所述全连接层对所述卷积层输入的图像特征信息进行处理并输出所述当前帧图像存在的一个或多个目标障碍物的类别和位置,其中,所述目标障碍物的位置是指目标障碍物的外接矩形框所处的位置。


3.根据权利要求2所述的方法,其特征在于,所述基于所述目标障碍物的类别和位置,对所述目标障碍物进行目标跟踪,以确定所述目标障碍物的运动趋势以及最终位置包括:
获取所述摄像装置采集的上一帧图像;
分别确定所述上一帧图像以及所述当前帧图像的灰度图,并基于所述灰度图确定所述一个或多个目标障碍物的光流矢量;
基于所述一个或多个目标障碍物的光流矢量,确定所述一个或多个目标障碍物的运动趋势;
根据所述一个或多个目标障碍物的运动趋势,对所述一个或多个目标障碍物在当前帧图像的位置进行预测,得到所述一个或多个目标障碍物在当前帧图像的预测位置;
基于所述目标障碍物的类别,融合所述一个或多个目标障碍物在当前帧图像的预测位置以及所述神经网络模型输出的位置,确定所述一个或多个目标障碍物在当前帧图像的最终位置。


4.根据权利要求3所述的方法,其特征在于,所述根据所述一个或多个目标障碍物的运动趋势,对所述一个或多个目标障碍物在当前帧图像的位置进行预测,得到所述一个或多个目标障碍物在当前帧图像的预测位置,包括:
获取所述一个或多个目标障碍物在上一帧图像中的最终位置;
基于所述一个或多个目标障碍物的运动趋势以及所述一个或多个目标障碍物在上一帧图像中的最终位置,确定所述一个或多个目标障碍物在当前帧图像的预测位置。


5.根据权利要求3或4所述的方法,其特征在于,所述基于所述目标障碍物的类别,融合所述一个或多个目标障碍物在当前帧图像的预测位置以及所述神经网络模型输出的位置,确定所述一个或多个目标障碍物在当前帧图像的最终位置,包括:
根据所述一个或多个目标障碍物的类别以及预测位置,生成所述一个或多个目标障碍物在当前帧图像的预测外接矩形框;
获取所述神经网络模型输出的当前帧图像存在的一个或多个目标障碍物的检测外接矩形框;
对所述检测外接矩形框以及所述预测外接矩形框进行目标障碍物关联;
根据关联为同一目标障碍物的检测外接矩形框以及预测外接矩形框所处的位置,确定所述目标障碍物的最终位置。


6.根据权利要求5所述的方法,其特征在于,所述对所述检测外接矩形框以及所述预测外接矩形框进行目标障碍物关联包括:
分别计算所述预测外接矩形框以及所述检测外接矩形框的颜色直方图;
计算当前帧图像的预测外接矩形框的颜色直方图与检测外接矩形框的颜色直方图两两之间的余弦距离,生成余弦距离矩阵;
采用匈牙利算法,从所述余弦距离矩阵中,确定与每个预测外接矩形框的余弦距离最短的检测外接矩形框,作为与所述预测外接矩形框关联为同一目标障碍物的检测外接矩形框。


7.根据权利要求1所述的方法,其特征在于,所述当前帧图像中的盲区包括第一盲区以及第二盲区,其中,第二盲区为由所述第一盲区外扩预设像素后得到的范围;
所述根据所述目标障碍物的类别、最终位置以及运动趋势进行车辆盲区预警处理包括:
获取所述车辆的实时姿态信息;
确定与所述实时姿态信息对应的报警策略;
根据所述目标障碍物在当前帧图像中的最终位置,确定所述目标障碍物所处的区域为当前帧图像中的第一盲区或者第二盲区;
当所述目标障碍物的类别、所处的区域以及运动趋势与所述报警策略匹配时,则进行报警处理。


8.根据权利要求7所述的方法,其特征在于,所述进行报警处理,包括:
在车辆内的显示设备中显示对应的报警图像,其中,所述报警图像中标注有所述目标障碍物的类别、最终位置和/或运动趋势。


9.一种车辆盲区预警的装置,其特征在于,所述装置包括:
图像获取模块,用于获取车辆设有的摄像装置采集的当前帧图像,所述当前帧图像为所述车辆的...

【专利技术属性】
技术研发人员:甘万霖方先成
申请(专利权)人:杭州海康威视数字技术股份有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1