基于深度学习与稀疏场景流结合的运动目标检测方法技术

本发明专利技术公开了一种基于深度学习与稀疏场景流结合的运动目标检测方法，包括：步骤一，基于深度学习网络对双目相机采集的道路环境数据图像进行分割，以提取道路环境数据图像中的静止区域和潜在运动区域，并基于提取的静止区域的特征点确定相机自运动参数；步骤二，通过相机自运动参数将相机前后两帧的特征点坐标系进行统一，以计算潜在运动区域稀疏场景流；步骤三，基于每个场景流估计的不确定性，设置动态阈值以判断目标的运动状态。本发明专利技术提供一种基于深度学习与稀疏场景流结合的运动目标检测方法，能够有效的提升运动目标检测精度。能够有效的提升运动目标检测精度。能够有效的提升运动目标检测精度。

【技术实现步骤摘要】
基于深度学习与稀疏场景流结合的运动目标检测方法


[0001]本专利技术涉及图像处理
更具体地说，本专利技术涉及一种用在智能车行驶道路上的潜在运动目标进行检测情况下使用的基于传统和深度学习结合的运动目标检测方法。

技术介绍

[0002]智能车是当今汽车领域中研究的热点问题也是汽车工业增长的新动力。智能车的模块主要为环境感知、决策规划、控制执行这四部分。由于智能车行驶环境复杂多变，不仅有静止的物体，如：房屋建筑，路障以及交通标识等，还包含一些具有运动属性的交通参与者，例如：汽车、行人和骑单车的人。作为智能车环境感知的重要部分，运动目标感知是智能车对空间感知的一部分，是获取其他交通参与者运动状况的基础技术，是实现智能车避障和目标追踪与预测功能的重要组成，因此对运动目标感知技术研究具有重要意义。相较于激光雷达来说，相机具有成本低廉、体积小、信息量大的优势，因此研究基于视觉的运动目标感知技术是智能车技术中不可忽视的环节。
[0003]目前，基于静止相机的运动目标检测主要采用背景相减、帧差法、光流法等方法实现运动目标检测，也得到了广泛的应用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习与稀疏场景流结合的运动目标检测方法，其特征在于，包括：步骤一，基于深度学习网络对双目相机采集的道路环境数据图像进行分割，以提取道路环境数据图像中的静止区域和潜在运动区域，并基于提取的静止区域的特征点确定相机自运动参数；步骤二，通过相机自运动参数将相机前后两帧的特征点坐标系进行统一，以计算潜在运动区域稀疏场景流；步骤三，基于每个场景流估计的不确定性，设置动态阈值以判断目标的运动状态。2.如权利要求1所述的基于深度学习与稀疏场景流结合的运动目标检测方法，其特征在于，在步骤一中，所述静止区域的获取是采用实例分割算法SOLOv2对双目相机采集的图像进行分割，其分割方式包括：将道路环境数据图像中的背景像素值标记为0，其余每个潜在运动目标的像素值从1，2开始按顺序标记，以将双目相机获取的每幅图像中对应不同潜在运动目标设置为带有不同标签信息的mask图像，将道路环境数据图像划分为潜在运动目标区域和静止区域。3.如权利要求2所述的基于深度学习与稀疏场景流结合的运动目标检测方法，其特征在于，在步骤一中，所述静止区域和潜在运动区域的提取方式为采用blob和corner特征点提取方法以得到，并使用特征点均匀化提取策略对特征提取进行优化、匹配。4.如权利要求1所述的基于深度学习与稀疏场景流结合的运动目标检测方法，其特征在于，在步骤一中，所述相机自运动参数的确定基于静止区域提取和匹配的特征点，在前后帧图像中使用公式一中的代价函数以计算每两帧间的相机自运动参数：其中，p
i
是特征点在图像坐标系下的坐标[u,v,1]
T
，m
i
是特征点在相机坐标系下的三维坐标[x,y,z]
T
；π
(l)
是将三维空间的点投影到左相机上，π
(r)
是将三维空间点投影到右相机上；和分别为当前帧和前一帧在左图上的第i个匹配点，其对应关系为在各自的相机坐标系下的三维坐标对应关系为上标t、下标t表示当前时刻，上标t
‑
1、下标t
‑
1表示上一帧的时刻，R为相机旋转矩阵，t是相机的平移向量；公式一中的是左侧相机采集图像的代价函数...

【专利技术属性】
技术研发人员：蒋涛，刘明文，袁建英，李晨，宁梓豪，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：