一种自动驾驶视觉感知方法、装置及存储介质制造方法及图纸

技术编号:31225907 阅读:26 留言:0更新日期:2021-12-08 09:30
本发明专利技术公开了一种自动驾驶视觉感知方法、装置及存储介质,属于自动驾驶技术领域。该方法主要包括前处理步骤,包括将摄像头采集到的图像队列中图像的大小处理成模型输入的大小;模型推理步骤,将经过前处理步骤的每一帧图像输入模型,将每一帧图像中目标的评分分别与第一检测阈值比较,将每一帧图像中评分不低于第一检测阈值的目标确定为每一帧图像各自的中间目标;以及后处理步骤,将前后两帧图像进行比较,最终合并连续N帧输出目标。本发明专利技术实时进行目标检测和识别输出,确保了目标检测结果的高召回和高精度,同时对目标进行保持和跟踪,方便了自动驾驶车辆的决策判断。方便了自动驾驶车辆的决策判断。方便了自动驾驶车辆的决策判断。

【技术实现步骤摘要】
一种自动驾驶视觉感知方法、装置及存储介质


[0001]本专利技术涉及自动驾驶
,特别是一种自动驾驶视觉感知方法、装置及存储介质。

技术介绍

[0002]环境感知是自动驾驶核心技术之一,目前对于环境中物体目标的感应主要是通过使用多个不同长短焦摄像头组成图像采集设备,将采集的图像数据输入目标检测网络进行目标检测和识别。其中,需要使用传统或者深度的跟踪算法来对目标进行身份识别号(ID,Identity Document)保持。
[0003]然而,在现有技术条件下,由多个摄像头组成的采集设备成本高;对于目标检测过程中误检和漏检情况时有发生;在使用跟踪算法进行ID保持阶段,跟踪过程中前期需要一个目标框来初始化跟踪器,由于窗口宽度大小保持不变,当目标尺度有所变化时,跟踪就会失败,并且跟踪过程中还会出现跟踪框突然变的很大和跟踪漂移的情况,导致跟踪效果不太好。

技术实现思路

[0004]本专利技术主要是提供一种自动驾驶视觉感知方法、装置及存储介质,在确保自动驾驶车辆视觉模块的需求时,减少摄像头的使用量,降低硬件成本,减少目标误检和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动驾驶视觉感知方法,其特征在于,包括:前处理步骤,包括将摄像头采集到的图像队列中图像的大小处理成模型输入的大小;模型推理步骤,将经过所述前处理步骤的每一帧图像输入模型,将所述每一帧图像中目标的评分分别与第一检测阈值比较,将所述每一帧图像中评分不低于所述第一检测阈值的目标确定为所述每一帧图像各自的中间目标;以及后处理步骤,其包括,对每连续N帧图像进行输出目标处理:当第一帧图像输入时,将所述第一帧图像的中间目标当中评分大于第二检测阈值的确定为第一帧输出目标,其中所述第二检测阈值大于所述第一检测阈值,当第i帧图像输入时,判断所述第i帧图像中的所述中间目标是共同存在于所述第i-1帧输出目标中的已有目标,还是所述第i-1帧输出目标中没有的第i帧新目标,如果是所述第i帧新目标,将所述第i帧新目标当中评分大于所述第二检测阈值的,与所述共同存在于所述第i-1帧输出目标中的已有目标,一同确定为第i帧输出目标,当第N帧图像输入时,判断所述第N帧图像中的所述中间目标是共同存在于所述第N-1帧输出目标中的已有目标,还是所述第N-1帧输出目标中没有的第N帧新目标,如果为第N帧新目标,将所述第N帧新目标当中评分大于所述第二检测阈值的,与所述共同存在于所述第N-1帧输出目标中的已有目标,一同确定为第N帧输出目标,以及将所述第一帧输出目标、第i帧输出目标、第N帧输出目标当中不同的目标合并,作为一组输出目标,其中i为大于1小于N的整数。2.如权利要求1所述的自动驾驶视觉感知方法,其特征在于,所述对每连续N帧图像进行输出目标处理,还包括:当所述第i帧图像中的中间目标框与所述第i-1帧的输出目标框的交并比大于预定的交并比阈值,并且两个相应目标各自中心点之间的距离小于预定的中心点距离阈值时,则认为所述第i帧图像中的所述中间目标为共同存在于所述第i-1帧输出目标中的已有目标,否则为所述第i-1帧输出目标中没有的第i帧新目标;以及当所述第N帧图像中的中间目标框与所述第N-1帧的输出目标框的交并比大于所述交并比阈值,并且两个相应目标各自中心点之间的距离小于所述中心点距离阈值时,则认为所述第N帧图像中的所述中间目标为共同存在于所述第N-1帧输出目标中的已有目标,否则为所述第N-1帧输出目标中没有的第N帧新目标。3.如权利要求1所述的自动驾驶视觉感知方法,其特征在于,所述对每连续N帧图像进行输出目标处理,还包括:对于连续N帧中所述每一帧图像对应的中间目标进行处理,判断是否为同一中间目标,如是同一中间目标,则当该中间目标在N帧图像中出现的次数大于K并且评分大于所述第二检测阈值的次数大于K,但该中间目标未在第N帧图像中出现,或者在第N帧中出现不大于所述第一检测阈值或不大于所述第二检测阈值,亦确定为第N帧图像的输出目标,所述K的取值范围为0.5N-0.9N。4.如权利要求1所述的自动驾驶视觉感知方法,其特征在于,所述后处理步骤还包括:当所述摄像头采集到的所述图像中的目标为交通信号灯目标时,当图像中涉及多个路口交通信号灯时,仅保留当前路口的信号灯目标,舍弃其它路口交通信号灯目标。5.如权利要求1所述的自动驾驶视觉感知方法,其特征在于,所述后处理步骤还包括:
若所述交通信号灯目标的面积大于预定的面积阈值,和/或交通信号灯距所述摄像头的距离小于预定的交通信号灯距离阈值时,则认为是所述当前路口交通信号灯目标;反之,若所述交通信号灯目标的面积小于预定的面积阈值,和/或交通信号灯距所述摄像头的距离大于预定的交通信号...

【专利技术属性】
技术研发人员:贾贝贝王海罗
申请(专利权)人:北京四维图新科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1