System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 无人车追踪目标的方法、装置、可读存储介质和无人车制造方法及图纸_技高网

无人车追踪目标的方法、装置、可读存储介质和无人车制造方法及图纸

技术编号:40556373 阅读:10 留言:0更新日期:2024-03-05 19:17
本发明专利技术提供了一种无人车追踪目标的方法、装置、可读存储介质和无人车,属于无人车技术领域。无人车包括多个摄像头,方法包括:确定多个摄像头图像中的第一跟随目标,并确定出第一跟随目标的ID;确定第一跟随目标的第一特征;获取第一跟随目标的图像帧;根据图像帧对在预设帧数内消失又出现的第二跟随目标进行重识别,得到第二特征;将第二特征与第一特征进行对比;根据对比结果确定是否需要对第二跟随目标进行重识别,以确保第一跟随目标和第二跟随目标的ID相同;在第一跟随目标和第二跟随目标的ID相同的情况下,确定第二跟随目标的像素坐标所对应的目标摄像头;基于目标摄像头将像素坐标转换为物理坐标;基于物理坐标对第二跟随目标进行追踪。

【技术实现步骤摘要】

本专利技术涉及无人车,具体而言,涉及一种无人车追踪目标的方法、装置、可读存储介质和无人车


技术介绍

1、目前,在无人车周边进行目标检测以及对目标进行跟踪的问题上,通常使用基于深度学习的目标检测网络(如yolo、ssd、faster rcnn等)来确定目标的位置、类别等信息。跟踪在目标检测的输出上增加路径跟踪算法(如bytetrack、deepsort等)完成对多个目标的跟踪。但是上述跟踪方法在面对目标突然消失然后出现的情况、以及多摄像头情况下的多目标追踪,会给新出现的目标以及不同摄像头下的同一个目标赋予新的追踪id。

2、因此,如何提出一种能够在面对目标突然消失然后出现的情况、以及多摄像头情况下的多目标追踪的情况下,保证追踪id不变的无人车追踪目标的方法成为亟待解决的技术问题。


技术实现思路

1、本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一。

2、因此,本专利技术的一个目的在于提供一种无人车追踪目标的方法。

3、本专利技术的第二个目的在于提供一种无人车追踪目标的装置。

4、本专利技术的第三个目的在于提供一种无人车追踪目标的装置。

5、本专利技术的第四个目的在于提供一种可读存储介质。

6、本专利技术的第五个目的在于提供一种无人车。

7、为实现上述目的,本专利技术第一方面的技术方案提供了一种无人车追踪目标的方法,无人车包括多个摄像头,无人车追踪目标的方法包括:确定多个摄像头图像中的第一跟随目标,并确定出第一跟随目标的id;确定第一跟随目标的第一特征;获取第一跟随目标的图像帧;根据图像帧对在预设帧数内消失又出现的第二跟随目标进行重识别,得到第二特征;将第二特征与第一特征进行对比;根据对比结果确定是否需要对第二跟随目标进行重识别,以确保第一跟随目标和第二跟随目标的id相同;在第一跟随目标和第二跟随目标的id相同的情况下,确定第二跟随目标的像素坐标所对应的目标摄像头;基于目标摄像头将像素坐标转换为物理坐标;基于物理坐标对第二跟随目标进行追踪。

8、根据本专利技术提供的无人车追踪目标的方法,在面对突然消失然后又出现的目标,以及多摄像头情况下的多目标追踪,能够以相同的id进行追踪,保证在追踪的过程中id不发生变化。可以理解的是,相关技术中,无人车在追踪目标时,目标有可能被遮挡或消失,然后又出现,此时目标会发生一定的变化,这样当摄像头再次检测目标时,就会默认形成新的目标,然后赋予新的id对其进行跟踪。同理,多摄像头的情况下也是如此,当目标第一次出现时,由第一个摄像头进行检测,然后当目标第二次出现时,目标可能会发生一定的变化,并由其他的摄像头来进行检测,这样也会默认形成新的目标,然后赋予新的id对其进行检测。而本申请通过将目标第一次出现时的第一特征存储下来,然后跟目标第二次出现时的第二特征进行对比,从而保证前后两次出现的目标为同一id,在此基础上确定第二次出现的目标是由哪个摄像头检测到的,进而确定出第二次出现的目标的物理坐标,实现对目标的追踪,确保了在面对突然消失然后又出现的目标,以及多摄像头情况下对目标以相同的id进行追踪。

9、本领域是技术人员可知的是,无人车跟踪目标前进,相当于先锁定目标的id,然后进行跟踪。如果该目标的id发现了改变,无人车会认为跟踪目标已丢失,导致无人车无法前进。如果锁定的目标id赋给了其它目标,则会导致无人车跟踪前进的目标会改变,两种情况都不利于无人车跟踪目标前进,因此,本申请保证在追踪的过程中id不发生变化,使得无人车能够对目标实现良好的追踪。

10、另外,本申请提供的无人车追踪目标的方法还可以具有如下附加技术特征:

11、在一些技术方案中,可选地,根据对比结果确定是否需要对第二跟随目标进行重识别,以确保第一跟随目标和第二跟随目标的id相同的步骤,具体包括:确定对比结果是否满足预设条件;在对比结果不满足预设条件的情况下,对第二跟随目标进行重识别,以确保第一跟随目标和第二跟随目标的id相同。

12、在该技术方案中,为了确保第一跟随目标和第二跟随目标的id相同,可以在第一特征和第二特征的对比结果不同时,对第二跟随目标进行重识别,以确保第一跟随目标和第二跟随目标的id相同。可以理解的是,在多个摄像头同时检测同一目标时,会出现同一目标的多个特征,此时就需要确定出在与第一特征对比后满足预设条件的特征,从而保证第一跟随目标和第二跟随目标的id不变。相反地,在对比结果满足预设条件的情况下,可以直接执行后续步骤。

13、在一些技术方案中,可选地,确定多个摄像头图像中的第一跟随目标,并确定出第一跟随目标的id的步骤,具体包括:确定多个摄像头所拍摄的图像中的第一跟随目标;将多个摄像头所拍摄的图像的像素坐标输入进bytetrack追踪网络中,以确定出所有目标的id;基于所有目标的id确定出第一跟随目标的id。

14、在该技术方案中,可以通过将多个摄像头所拍摄的图像的像素坐标输入进bytetrack追踪网络中,bytetrack跟踪器根据输入坐标联合前后几帧图像对图像中每个追踪分配一个固定id,进而可以确定出第一跟随目标的id。

15、在一些技术方案中,可选地,确定多个摄像头图像中的第一跟随目标的步骤,具体包括:将多个摄像头的图像输入进目标检测网络;基于目标检测网络确定出输出目标坐标e、目标像素宽w、像素高h、类别c以及置信度p;根据输出目标坐标e、目标像素宽w、像素高h确定出目标矩形框;根据目标矩形框、类别c和置信度p确定出第一跟随目标。

16、在该技术方案中,可以将车上摄像头的图像分别输入进目标检测网络得到输出目标坐标e、目标像素宽w、像素高h、类别c以及置信度p,并根据e、w、h得到目标的矩形框,然后根据目标矩形框、类别c和置信度p确定出第一跟随目标。其中,类别c主要是识别目标是车还是人。置信度p主要是用于bytetrack算法,bytetrack最大好处就是可以利用低置信度的目标进行进一步处理,不会像其它追踪算法直接丢弃低置信度的目标信息。

17、在一些技术方案中,可选地,基于目标摄像头将像素坐标转换为物理坐标的步骤,具体包括:获取摄像头的内参和外参;基于内参和外参将像素坐标转换为物理坐标。

18、在该技术方案中,可以通过摄像头的内参和外参将像素坐标转换为物理坐标。

19、在一些技术方案中,可选地,在确定多个摄像头图像中的第一跟随目标,并确定出第一跟随目标的id的步骤之前包括:获取多个摄像头拍摄的图像;基于图像将多个摄像头进行标定;获取多个摄像头的标定结果;基于标定结果将多个摄像头的像素坐标转换为物理坐标;将多个摄像头的物理坐标转换到同一摄像头的坐标系下,以实现对多个摄像头的联合标定。

20、在该技术方案中,在确定多个摄像头图像中的第一跟随目标,并确定出第一跟随目标的id之前可以先对多个摄像头进行联合标定,将多个摄像头的坐标系统一到一个摄像头下,直接将其它摄像头输出的像素坐标转换到一个摄像头的物本文档来自技高网...

【技术保护点】

1.一种无人车追踪目标的方法,其特征在于,所述无人车包括多个摄像头,所述无人车追踪目标的方法包括:

2.根据权利要求1所述的无人车追踪目标的方法,其特征在于,所述根据对比结果确定是否需要对所述第二跟随目标进行重识别,以确保所述第一跟随目标和所述第二跟随目标的ID相同的步骤,具体包括:

3.根据权利要求1所述的无人车追踪目标的方法,其特征在于,所述确定多个所述摄像头图像中的第一跟随目标,并确定出所述第一跟随目标的ID的步骤,具体包括:

4.根据权利要求3所述的无人车追踪目标的方法,其特征在于,所述确定多个所述摄像头图像中的第一跟随目标的步骤,具体包括:

5.根据权利要求1所述的无人车追踪目标的方法,其特征在于,所述基于所述目标摄像头将所述像素坐标转换为物理坐标的步骤,具体包括:

6.根据权利要求1至5中任一项所述的无人车追踪目标的方法,其特征在于,在所述确定多个所述摄像头图像中的第一跟随目标,并确定出所述第一跟随目标的ID的步骤之前包括:

7.根据权利要求1至5中任一项所述的无人车追踪目标的方法,其特征在于,所述预设帧数小于等于30帧。

8.一种无人车追踪目标的装置,其特征在于,所述无人车包括多个摄像头,所述无人车追踪目标的装置包括:

9.一种无人车追踪目标的装置,其特征在于,包括:

10.一种可读存储介质,其特征在于,其上存储有程序或指令,所述程序或所述指令被执行时,实现如权利要求1至7中任一项所述的无人车追踪目标的方法的步骤。

11.一种无人车,其特征在于,包括:

...

【技术特征摘要】

1.一种无人车追踪目标的方法,其特征在于,所述无人车包括多个摄像头,所述无人车追踪目标的方法包括:

2.根据权利要求1所述的无人车追踪目标的方法,其特征在于,所述根据对比结果确定是否需要对所述第二跟随目标进行重识别,以确保所述第一跟随目标和所述第二跟随目标的id相同的步骤,具体包括:

3.根据权利要求1所述的无人车追踪目标的方法,其特征在于,所述确定多个所述摄像头图像中的第一跟随目标,并确定出所述第一跟随目标的id的步骤,具体包括:

4.根据权利要求3所述的无人车追踪目标的方法,其特征在于,所述确定多个所述摄像头图像中的第一跟随目标的步骤,具体包括:

5.根据权利要求1所述的无人车追踪目标的方法,其特征在于,所述基于所述目标摄像头将所述像素坐标转换...

【专利技术属性】
技术研发人员:童光红胡文彪彭清祥
申请(专利权)人:湖南省地面无人装备工程研究中心有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1