System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种行人目标的匹配跟踪方法技术_技高网

一种行人目标的匹配跟踪方法技术

技术编号:40954076 阅读:2 留言:0更新日期:2024-04-18 20:30
本发明专利技术实施例涉及一种行人目标的匹配跟踪方法,所述方法包括:在初始时刻获取第一图像;对第一图像进行行人目标检测处理得到多个第一行人检测框;并对各个第一行人检测框进行行人目标特征集合提取处理生成第一特征集合;并由所有第一特征集合组成第一特征总集;在下一时刻获取第二图像;对第二图像进行行人目标检测处理得到多个第二行人检测框;并对各个第二行人检测框进行行人目标特征集合提取处理生成第二特征集合;对各个第二特征集合在第一特征总集中是否有匹配的第一特征集合进行确认;若确认有,则在匹配的第一、第二特征集合对应的第二、第一行人检测框之间建立目标关联关系。通过本发明专利技术能增大行人目标特征差异、提高行人目标匹配准确度。

【技术实现步骤摘要】

本专利技术涉及数据处理,特别涉及一种行人目标的匹配跟踪方法


技术介绍

1、自动驾驶系统中感知模块可根据视觉传感器即摄像机持续输出的感知数据即摄像机拍摄的视觉图像进行前后时刻的行人目标匹配跟踪处理从而得到各个行人目标的跟踪轨迹。常规情况下,感知模块处理行人目标匹配跟踪的典型处理步骤为:先对前后时刻t1、t2的视觉图像分别进行行人目标检测处理得到时刻t1下的m个行人目标检测框bbox1(bound i ng box,bbox)和时刻t2下的n个行人目标检测框bbox2;再基于卡尔曼滤波器对时刻t1下m个bbox1进行一步预测得到m个预测目标检测框bbox2*;再对m个bbox2*和n个bbox2进行两两交并比(i ntersect i on over un ion,iou)计算得到一个形状为m×n或n×m的交并比矩阵;再基于匈牙利算法对该交并比矩阵进行匹配度矩阵转换得到对应的形状为m×n或n×m的匹配度矩阵,该匹配度矩阵上每个bbox2对应m个匹配度、每个匹配度对应一个bbox2*;再对每个bbox2的m个匹配度中的最大匹配度进行识别,若该最大匹配度超出设定阈值就在该最大匹配度对应的bbox1与当前bbox2之间建立起相同行人目标的前后时刻关联关系从而达到对同一行人目标进行持续跟踪的处理目的。通过上述步骤说明不难看出,常规情况下感知模块是以前后时刻的bbox交并比作为匹配条件进行目标匹配处理的。

2、然而通过实践我们发现这种常规处理方式在行人数量较多时往往会发生目标匹配错误的问题,究其原因主要是因为对于距离较近的行人目标而言其各自对应的目标检测框的形状、大小都类似,如果按照传统方案以前后时刻的bbox交并比作为匹配条件就容易发生错配。例如,在时刻t1检测到路人甲的bbox1,甲;在时刻t2从路人甲身后走出了路人乙且路人乙与路人甲的身高体型近似,此时就会检测到两个目标检测框:bbox2,甲和bbox2,乙;我们在实践中发现感知模型基于常规方案可能会出现以下两种目标匹配错误的情况:1)认为bbox2,甲、bbox2,乙都和bbox1,甲匹配,并为bbox2,甲-bbox1,甲和bbox2,乙-bbox1,甲之间都建立起目标关联关系;2)认为bbox2,乙和bbox1,甲匹配,在bbox2,乙-bbox1,甲之间建立起目标关联关系。

3、若要降低感知模块发生类似上述目标匹配错误的几率,就需要在目标匹配处理时另外选取其他更能体现行人目标差异的特征作为匹配条件来替换常规方案中以bbox交并比作为匹配条件的处理方式。


技术实现思路

1、本专利技术的目的,就是针对现有技术的缺陷,提供一种行人目标的匹配跟踪方法、电子设备及计算机可读存储介质;本专利技术在每个时刻对视觉图像进行目标检测时首先获得各个行人目标对应的行人bbox,再对各个行人bbox的检测框图像进行图像语义分割得到带有多个人体区域特征(头发区域特征、脸部区域特征、上肢区域特征、下肢区域特征等)的行人掩膜图,再对各个行人掩膜图进行行人色彩分布特征(头发区域色彩分布特征、脸部区域色彩分布特征、上肢区域色彩分布特征、下肢区域色彩分布特征)提取、行人服饰种类特征(上肢区域服饰类型、下肢区域服饰类型)识别和行人肢体比例特征(头发区域体积比例、脸部区域体积比例、上肢区域体积比例和下肢区域体积比例)识别并由得到的行人色彩分布特征、行人服饰种类特征和行人肢体比例特征组成对应的行人目标特征集合;再以前后时刻各个行人目标的行人目标特征集合为匹配条件进行目标匹配处理并基于目标匹配处理结果为前后时刻的行人bbox建立目标关联关系。通过本专利技术可以增大行人目标间的特征差异、提高行人目标匹配的准确度,从而达到降低感知模块发生目标匹配错误几率的目的。

2、为实现上述目的,本专利技术实施例第一方面提供了一种行人目标的匹配跟踪方法,所述方法包括:

3、在初始时刻获取第一图像;

4、对所述第一图像进行行人目标检测处理得到对应的多个第一行人检测框;并对各个所述第一行人检测框进行行人目标特征集合提取处理生成对应的第一特征集合;并由得到的所有所述第一特征集合组成对应的第一特征总集;

5、在下一时刻获取第二图像;

6、对所述第二图像进行行人目标检测处理得到对应的多个第二行人检测框;并对各个所述第二行人检测框进行行人目标特征集合提取处理生成对应的第二特征集合;

7、对各个所述第二特征集合在所述第一特征总集中是否有匹配的所述第一特征集合进行确认;若确认有,则在匹配的所述第一特征集合和所述第二特征集合对应的所述第一行人检测框和所述第二行人检测框之间建立目标关联关系。

8、优选的,所述行人目标检测处理,具体包括:

9、将当次处理的所述第一图像或所述第二图像作为对应的当前图像;

10、基于预设的目标检测模型对所述当前图像进行目标检测处理得到对应的多个第一目标检测框;各个所述第一目标检测框对应一个目标类型;所述目标类型包括行人目标类型和其他目标类型;

11、若所述当前图像为所述第一图像,则将所述目标类型为行人目标类型的各个所述第一目标检测框作为对应的所述第一行人检测框输出;若所述当前图像为所述第二图像,则将所述目标类型为行人目标类型的各个所述第一目标检测框作为对应的所述第二行人检测框输出。

12、优选的,所述第一特征集合和所述第二特征集合都由行人色彩分布特征向量、行人服饰种类特征向量和行人肢体比例特征向量组成;所述行人色彩分布特征向量包括头发区域色彩分布特征向量、脸部区域色彩分布特征向量、上肢区域色彩分布特征向量和下肢区域色彩分布特征向量;所述行人服饰种类特征向量包括上肢区域服饰类型和下肢区域服饰类型;所述行人肢体比例特征向量包括头发区域体积比例、脸部区域体积比例、上肢区域体积比例和下肢区域体积比例。

13、优选的,所述行人目标特征集合提取处理,具体包括:

14、将当次处理的所述第一行人检测框或所述第二行人检测框作为对应的当前行人检测框;并将所述当前行人检测框对应的所述第一图像或所述第二图像作为对应的当前图像;并将所述当前图像中由所述当前行人检测框覆盖的图像区域提取出来作为对应的当前检测框图像;

15、基于预设的图像语义分割模型对所述当前检测框图像进行人体区域特征语义分割处理得到对应的行人掩膜图;所述行人掩膜图与所述当前检测框图像的图形尺寸保持一致;所述行人掩膜图包括多个掩膜图像素点;各个所述掩膜图像素点对应一个像素语义类型;所述像素语义类型包括头发语义类型、脸部语义类型、上肢语义类型、下肢语义类型和背景语义类型;

16、根据所述行人掩膜图和所述当前检测框图像进行行人色彩分布特征提取处理得到对应的所述行人色彩分布特征向量;

17、根据所述行人掩膜图和所述当前检测框图像进行行人服饰种类特征识别处理得到对应的所述行人服饰种类特征向量;

18、根据所述行人掩膜图进行行人肢体比例特征识别处理得到对应的所述行人肢体比例特征向本文档来自技高网...

【技术保护点】

1.一种行人目标的匹配跟踪方法,其特征在于,所述方法包括:

2.根据权利要求1所述的行人目标的匹配跟踪方法,其特征在于,所述行人目标检测处理,具体包括:

3.根据权利要求1所述的行人目标的匹配跟踪方法,其特征在于,

4.根据权利要求3所述的行人目标的匹配跟踪方法,其特征在于,所述行人目标特征集合提取处理,具体包括:

5.根据权利要求4所述的行人目标的匹配跟踪方法,其特征在于,所述根据所述行人掩膜图和所述当前检测框图像进行行人色彩分布特征提取处理得到对应的所述行人色彩分布特征向量,具体包括:

6.根据权利要求4所述的行人目标的匹配跟踪方法,其特征在于,所述根据所述行人掩膜图和所述当前检测框图像进行行人服饰种类特征识别处理得到对应的所述行人服饰种类特征向量,具体包括:

7.根据权利要求4所述的行人目标的匹配跟踪方法,其特征在于,所述根据所述行人掩膜图进行行人肢体比例特征识别处理得到对应的所述行人肢体比例特征向量,具体包括:

8.根据权利要求3所述的行人目标的匹配跟踪方法,其特征在于,所述对各个所述第二特征集合在所述第一特征总集中是否有匹配的所述第一特征集合进行确认,具体包括:

9.一种电子设备,其特征在于,包括:存储器、处理器和收发器;

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,当所述计算机指令被计算机执行时,使得所述计算机执行权利要求1-8任一项所述的方法的指令。

...

【技术特征摘要】

1.一种行人目标的匹配跟踪方法,其特征在于,所述方法包括:

2.根据权利要求1所述的行人目标的匹配跟踪方法,其特征在于,所述行人目标检测处理,具体包括:

3.根据权利要求1所述的行人目标的匹配跟踪方法,其特征在于,

4.根据权利要求3所述的行人目标的匹配跟踪方法,其特征在于,所述行人目标特征集合提取处理,具体包括:

5.根据权利要求4所述的行人目标的匹配跟踪方法,其特征在于,所述根据所述行人掩膜图和所述当前检测框图像进行行人色彩分布特征提取处理得到对应的所述行人色彩分布特征向量,具体包括:

6.根据权利要求4所述的行人目标的匹配跟踪方法,其特征在于,所述根据所述行人掩膜图和所述当前检测框图像进行行...

【专利技术属性】
技术研发人员:大方
申请(专利权)人:北京轻舟智航科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1