一种用于鱼眼相机的视频流目标检测方法、装置及计算机系统制造方法及图纸

技术编号:40011907 阅读:31 留言:0更新日期:2024-01-16 15:24
本发明专利技术公开了一种用于鱼眼相机的视频流目标检测方法,步骤如下:当前时刻多维特征矩阵运算和历史时刻多维特征矩阵运算:分别对当前时刻和历史时刻的输入图像帧进行图像操作,输出当前时刻和历史时刻骨干网络特征金字塔的多维特征矩阵;双流感知模型运算:分别对当前时刻和历史时刻骨干网络特征金字塔的多维特征矩阵进行双流感知模型运算,输出双流感知模型运算结果;增强检测头运算:通过检测头对双流感知模型运算结果进行运算,最终得出预测信息。本发明专利技术还公开了一种用于鱼眼相机的视频流目标检测装置和计算机系统。本发明专利技术在配备了双流感知模块的基础上,可以预测未来并缓解时滞问题,可以广泛应用于自动泊车领域。

【技术实现步骤摘要】

本专利技术涉及自动泊车,特别是涉及一种用于鱼眼相机的视频流目标检测方法、装置及计算机系统


技术介绍

1、对于自动停车,鱼眼摄像头是必不可少的传感器,鱼眼摄像机的视频流对象检测(vsod)已成为基本的感知功能,为避障和路径规划提供重要信息。

2、在过去的研究工作中,许多优秀的物体检测头可以实现良好的性能(ssd、yolo、centernet),并且检测头推断图像帧总是需要一定的时间,大约几毫秒到几十毫秒。然而,由于感知系统的延迟,深度学习模型的输出与当前实际情况之间的差异通常被忽略。但环境在延迟时间内不可避免地会发生变化,这可能会造成潜在的安全隐患。为了缓解自动停车的时滞问题,视频流对象检测应该具有未来预测能力。

3、基于实际在车辆自动驾驶的应用的情况,许多优秀的物体检测头(ssd、yolo、centernet)的性能显著下降,因为感知系统的延迟导致检测头的当前帧结果始终与下一帧匹配。这些检测头,通过使用后处理算法,例如启发式方法(如卡尔曼滤波器)可以恢复某些性能,这可以实现了解历史状态以预测下一时刻的结果。p>

本文档来自技高网...

【技术保护点】

1.一种用于鱼眼相机的视频流目标检测方法,其特征在于:包括如下步骤:

2.根据权利要求1所述的用于鱼眼相机的视频流目标检测方法,其特征在于:所述当前时刻多维特征矩阵运算步骤和历史时刻多维特征矩阵运算步骤中,所述主干网络和特征金字塔网络采用YOLO-s物体检测头,所述当前时刻主干网络和特征金字塔网络的输入图像帧的周期T为50ms,停车摄像头的帧速率为20Hz,图像输入大小为640×640,YOLO-s物体检测头的CSPDarknet主干输出三个有效的特征图,具体来说:[80,80,128]for dark3,[40,40,256]for dark4,and[20,20,512]...

【技术特征摘要】

1.一种用于鱼眼相机的视频流目标检测方法,其特征在于:包括如下步骤:

2.根据权利要求1所述的用于鱼眼相机的视频流目标检测方法,其特征在于:所述当前时刻多维特征矩阵运算步骤和历史时刻多维特征矩阵运算步骤中,所述主干网络和特征金字塔网络采用yolo-s物体检测头,所述当前时刻主干网络和特征金字塔网络的输入图像帧的周期t为50ms,停车摄像头的帧速率为20hz,图像输入大小为640×640,yolo-s物体检测头的cspdarknet主干输出三个有效的特征图,具体来说:[80,80,128]for dark3,[40,40,256]for dark4,and[20,20,512]for dark5。

3.根据权利要求2所述的用于鱼眼相机的视频流目标检测方法,其特征在于:所述双流感知模型运算步骤的具体过程如下:

4.根据权利要求3所述的用于鱼眼相机的视频流目标检测方法,其特征在于:所述学习运动信息的动态流融合步骤表达的计算公式如下:

【专利技术属性】
技术研发人员:严义雄刘义军熊盼盼李咏旭王方泉
申请(专利权)人:东风汽车集团股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1