System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种目标跟踪方法及相关装置制造方法及图纸_技高网

一种目标跟踪方法及相关装置制造方法及图纸

技术编号:40939205 阅读:2 留言:0更新日期:2024-04-18 14:57
本发明专利技术公开了一种目标跟踪方法及相关装置,包括:分别将激光雷达和相机进行时间同步和空间同步,基于激光雷达采集当前帧的点云信息,对点云信息进行目标检测,得到至少一个三维检测框;对相机采集当前帧的二维图像进行目标检测,得到至少一个二维检测框;将三维检测框投影到二维检测框所属相机坐标系,判断三维检测框与对应二维检测框的重合度,将重合度大于预设重合度阈值的三维检测框作为第一跟踪目标,对第一跟踪目标进行跟踪。上述过程,分别基于点云和图像对目标进行跟踪,并且对两者的跟踪结果通过投影的方式进行融合,基于融合结果进行目标跟踪,相较于单独基于点云识别,增加了二维图像的判断依据,提高了置信度和跟踪的准确度。

【技术实现步骤摘要】

本专利技术涉及自动驾驶,尤其涉及一种目标跟踪方法及相关装置


技术介绍

1、在自动驾驶领域,目标的检测尤为重要,而对于动态物体的,如车和人,单一的没目标检测难以判断障碍物对车辆的干扰及影响,因此需要对于障碍物的方向及速度要有准确的判断,定位障碍物的id,因此需要对目标进行跟踪,传统的目标跟踪需要用激光雷达对障碍物进行定位,通过不同帧直接障碍物的相对位姿来判断障碍物的速度与方向。

2、然而目标跟踪的效果确会因为环境的变化产生较大的干扰,比如;前一帧点云图中,人是站立的,下一帧点云图中,人是蹲下的,有可能蹲下时目标无法检测出,或者三维框的体积差别较大,无法匹配上;又比如一辆车在运行中,下一帧开在了另一辆车边上,激光点云易将两辆车识别为一辆车,因此目标跟踪易产生跟踪错误,无法精确跟踪。


技术实现思路

1、有鉴于此,本专利技术提供了一种目标跟踪方法及相关装置,用以解决现有技术中目标跟踪的效果确会因为环境的变化产生较大的干扰,比如;前一帧点云图中,人是站立的,下一帧点云图中,人是蹲下的,有可能蹲下时目标无法检测出,或者三维框的体积差别较大,无法匹配上;又比如一辆车在运行中,下一帧开在了另一辆车边上,激光点云易将两辆车识别为一辆车,因此目标跟踪易产生跟踪错误,无法精确跟踪的问题。具体方案如下:

2、一种目标跟踪方法,包括:

3、分别将激光雷达和相机进行时间同步和空间同步;

4、同步完成后,基于所述激光雷达采集当前帧的点云信息,对所述点云信息进行目标检测,得到至少一个三维检测框;

5、基于所述相机采集当前帧的二维图像,对所述二维图像进行目标检测,得到至少一个二维检测框;

6、将所述三维检测框投影到所述二维检测框所属相机坐标系,判断投影后的三维检测框与对应二维检测框的重合度,将重合度大于预设重合度阈值的三维检测框作为第一跟踪目标,对所述第一跟踪目标进行跟踪。

7、上述的目标跟踪方法,可选的,对所述点云信息进行目标检测,得到至少一个三维检测框,包括:

8、在所述点云信息中选取一个点云作为中心点;

9、遍历所述中心点周围的点云,计算每个点云到所述中心点的距离,将距离大于预设距离阈值的点云加入到包含所述中心点的集合中;

10、当所述集合中点云的数量达到预设数量阈值的情况下,将所述集合作为三维检测框,选取所述集合外的其它点云作为新的中心点,继续遍历计算,直至所述点云信息中的全部点云都在对应三维检测框中或者不符合聚类要求。

11、上述的目标跟踪方法,可选的,对所述二维图像进行目标检测,得到至少一个二维检测框,包括:

12、将所述二维图像传递给预设识别模型,得到检测对象的位置和检测对象的分类,其中,所述预设识别模型为yolov3模型;

13、基于所述位置对所述二维图像进行框选,得到二维检测框。

14、上述的目标跟踪方法,可选的,将所述三维检测框投影到所述二维检测框所属相机坐标系,包括:

15、获取所述三维检测框中的每个点云的三维坐标、所述相机坐标系的原点坐标和所述相机的焦距;

16、基于所述原点坐标、所述焦距将每个三维坐标转换到所述三维坐标系。

17、上述的目标跟踪方法,可选的,对所述第一跟踪目标进行跟踪,包括:

18、获取所述当前帧相邻帧的第二跟踪目标,获取所述第一跟踪目标和所述第二跟踪目标的三维坐标、反射率和距离;

19、对所述第一跟踪目标和所述第二跟踪目标基于所述三维坐标、所述反射率和所述距离进行匹配,

20、若两者匹配,将所述第一跟踪目标作为所述目标跟踪目标。

21、上述的目标跟踪方法,可选的,还包括:

22、若所述重合度小于所述预设重合度阈值,获取所述二维检测框的边界;

23、基于所述边界对所述三维检测框进行分割,将分割后的三维检测框作为第三跟踪目标,或;

24、若所述重合度为0,将所述二维检测框作为第四跟踪目标。

25、一种目标跟踪装置,包括:

26、同步模块,用于分别将激光雷达和相机进行时间同步和空间同步;

27、第一检测模块,用于同步完成后,基于所述激光雷达采集当前帧的点云信息,对所述点云信息进行目标检测,得到至少一个三维检测框;

28、第二检测模块,基于所述相机采集当前帧的二维图像,对所述二维图像进行目标检测,得到至少一个二维检测框;

29、跟踪模块,用于将所述三维检测框投影到所述二维检测框所属相机坐标系,判断投影后的三维检测框与对应二维检测框的重合度,将重合度大于预设重合度阈值的三维检测框作为第一跟踪目标,对所述第一跟踪目标进行跟踪。

30、上述的目标跟踪装置,可选的,所述第一检测模块包括:

31、选取单元,用于在所述点云信息中选取一个点云作为中心点;

32、计算单元,用于遍历所述中心点周围的点云,计算每个点云到所述中心点的距离,将距离大于预设距离阈值的点云加入到包含所述中心点的集合中;

33、选取和计算单元,用于当所述集合中点云的数量达到预设数量阈值的情况下,将所述集合作为三维检测框,选取所述集合外的其它点云作为新的中心点,继续遍历计算,直至所述点云信息中的全部点云都在对应三维检测框中或者不符合聚类要求。

34、上述的目标跟踪装置,可选的,所述跟踪模块包括:

35、获取单元,用于获取所述当前帧相邻帧的第二跟踪目标,获取所述第一跟踪目标和所述第二跟踪目标的三维坐标、反射率和距离;

36、匹配单元,用于对所述第一跟踪目标和所述第二跟踪目标基于所述三维坐标、所述反射率和所述距离进行匹配;

37、跟踪单元,用于若两者匹配,将所述第一跟踪目标作为所述目标跟踪目标。

38、上述的目标跟踪装置,可选的,还包括:

39、获取模块,用于若所述重合度小于所述预设重合度阈值,获取所述二维检测框的边界;

40、分割模块,用于基于所述边界对所述三维检测框进行分割,将分割后的三维检测框作为第三跟踪目标,或;

41、确定模块,用于若所述重合度为0,将所述二维检测框作为第四跟踪目标。

42、一种存储介质,所述存储介质包括存储的程序,其中,所述程序执行上述的目标跟踪方法。

43、一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述的目标跟踪方法。

44、与现有技术相比,本专利技术包括以下优点:

45、本专利技术公开了一种目标跟踪方法及相关装置,包括:分别将激光雷达和相机进行时间同步和空间同步;同步完成后,基于所述激光雷达采集当前帧的点云信息,对所述点云信息进行目标检测,得到至少一个三维检测框;基于所述相机采集当前帧的二维图像,对所述二维图像进行目标检测,得到至少一个二维检测框;将所述三维检测框投影到所述二维检测框所属相机坐本文档来自技高网...

【技术保护点】

1.一种目标跟踪方法,其特征在于,包括:

2.根据权利要求1所述的目标跟踪方法,其特征在于,对所述点云信息进行目标检测,得到至少一个三维检测框,包括:

3.根据权利要求1所述的目标跟踪方法,其特征在于,对所述二维图像进行目标检测,得到至少一个二维检测框,包括:

4.根据权利要求1所述的目标跟踪方法,其特征在于,将所述三维检测框投影到所述二维检测框所属相机坐标系,包括:

5.根据权利要求1所述的目标跟踪方法,其特征在于,对所述第一跟踪目标进行跟踪,包括:

6.根据权利要求1所述的目标跟踪方法,其特征在于,还包括:

7.一种目标跟踪装置,其特征在于,包括:

8.根据权利要求1所述的目标跟踪装置,其特征在于,所述第一检测模块包括:

9.根据权利要求1所述的目标跟踪装置,其特征在于,所述跟踪模块包括:

10.根据权利要求1所述的目标跟踪装置,其特征在于,还包括:

11.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求1-6所述的目标跟踪方法。

12.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1-6所述的目标跟踪方法。

...

【技术特征摘要】

1.一种目标跟踪方法,其特征在于,包括:

2.根据权利要求1所述的目标跟踪方法,其特征在于,对所述点云信息进行目标检测,得到至少一个三维检测框,包括:

3.根据权利要求1所述的目标跟踪方法,其特征在于,对所述二维图像进行目标检测,得到至少一个二维检测框,包括:

4.根据权利要求1所述的目标跟踪方法,其特征在于,将所述三维检测框投影到所述二维检测框所属相机坐标系,包括:

5.根据权利要求1所述的目标跟踪方法,其特征在于,对所述第一跟踪目标进行跟踪,包括:

6.根据权利要求1所述的目标跟踪方法,其特征...

【专利技术属性】
技术研发人员:杨起鸣钟声峙黄好王春龙王永圣刘磊杨喆
申请(专利权)人:柳州五菱新能源汽车有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1