【技术实现步骤摘要】
一种结合已消失目标对新检测目标进行匹配的处理方法
[0001]本专利技术涉及数据处理
，特别涉及一种结合已消失目标对新检测目标进行匹配的处理方法。
技术介绍
[0002]自动驾驶系统中感知模块可对视觉传感器即摄像机持续输出的感知数据即摄像机拍摄的视觉图像进行行人目标检测与匹配处理从得到车辆周围各个行人目标的目标跟踪轨迹，进而再使用常规的状态分析工具(诸如卡尔曼滤波器等)以各个目标跟踪轨迹为输入观测量进行目标运动状态分析就能得到各个行人目标在各个时间点上的运动状态。
[0003]常规情况下，感知模块基于视觉图像进行行人目标检测与匹配处理的典型处理步骤如下所示：
[0004]第一步、对t1时刻的第1帧图像进行目标物检测得到多个行人目标的目标检测框bbox1(Bounding Box，bbox)；并为每个行人目标初始化一个对应的追踪目标对象，该追踪目标对象至少具有两个对象属性：目标标识和目标检测框；并基于各个行人目标的目标检测框bbox1对对应的追踪目标对象的目标检测框进行设置；
[0005]第二步、对t
i
时刻(i>1)的第i帧图像进行目标物检测得到多个行人目标的新目标检测框bbox
i
；并对本次获得的每个新目标检测框bbox
i
与已有的每个追踪目标对象的目标检测框进行两两匹配从而得到多个新目标
‑
目标对象匹配对，并基于每组新目标
‑
目标对象匹配对的新目标检测框bbox
i>对匹配的追踪目标对象的目标检测框进行更新设置；
[0006]第三步、将第二步中未能列入各组新目标
‑
目标对象匹配对的已有追踪目标对象对应的行人目标视为已消失目标，并将各个已消失目标对应的追踪目标对象从已有的追踪目标对象集合中删除；
[0007]第四步、将第二步中未能列入各组新目标
‑
目标对象匹配对的新目标检测框bbox
i
对应的行人目标视为新行人目标，并基于与第一步类似的处理方式为各个新行人目标初始化一个对应的追踪目标对象，并基于该新行人目标的新目标检测框bbox
i
对新建的追踪目标对象的目标检测框进行设置。
[0008]这里，通过上述四个步骤我们可以看到若在上述第二步中某个已有的追踪目标对象在当前第i帧图像中找不到任何匹配的新目标检测框bbox
i
，该追踪目标对象对应的行人目标就会被作为已消失目标删除。然而，我们在实际应用中发现有两种原因可能造成对仍处于车辆周围的行人目标发生过早删除的情况：1)因为摄像机在当前时刻的角度原因可能会导致摄像机未能将仍处于车辆周围的行人目标拍摄到当前第i帧图像中，此时基于上述第二步的两两匹配方式就无法为该行人目标对应的追踪目标对象找到匹配的新目标检测框bbox
i
，继而基于上述第三步就会将该行人目标视为已消失目标并对其进行过早删除；2)因为障碍物遮挡原因可能导致摄像机未能将在当前时刻仍处于车辆周围但被障碍物临时遮挡的行人目标拍摄到当前帧图像中，此时基于上述第二步的两两匹配方式也无法为该行人目标对应的追踪目标对象找到匹配的新目标检测框bbox
i
，继而基于上述第三步也会将
该行人目标视为已消失目标并对其进行过早删除。
[0009]进一步的，由上述四个步骤说明我们可知一旦在某个时刻出现由上述两个原因造成的对某个行人目标的删除，那么感知模块即使在后续时刻再次检测到该行人目标也会将其作为新行人目标、并为其创建对应的新追踪目标对象、并基于该新追踪目标对象进行新一轮的目标跟踪处理从而得到新的目标跟踪轨迹。而这个新的目标跟踪轨迹因为丢失了之前的历史跟踪轨迹，将其用于当前时刻的目标运动状态分析自然就会降低当前时刻的状态分析准确度。因此，若想尽可能避免因行人目标过早删除对状态分析准确度造成的影响就需要对感知模块的上述处理步骤进行改进，而这也是本专利技术需要解决的问题。
技术实现思路
[0010]本专利技术的目的，就是针对现有技术的缺陷，提供一种结合已消失目标对新检测目标进行匹配的处理方法、电子设备及计算机可读存储介质；首先，在使用一个常规的追踪目标集合对所有已知行人目标进行目标跟踪之外还新增一个已消失目标集合对所有暂时消失的行人目标进行历史目标信息缓存；其次在每个时刻下除了常规的对每个新检测到的目标检测框(下称新检测目标)与每个追踪目标对象(下称追踪目标)的目标检测框进行两两匹配得到对应的新检测目标
‑
追踪目标匹配对之外，还在常规匹配的基础上新增了对剩余未匹配的每个新检测目标与每个已消失目标的目标检测框进行两两匹配得到对应的新检测目标
‑
已消失目标匹配对的处理机制，并且在得到新检测目标
‑
已消失目标匹配对之后会基于二者之间的出现/消失类型匹配关系对其进行合理性评估、并可基于评估结果对追踪目标集合进行更新，继而由所有新检测目标
‑
追踪目标匹配对+所有合理的新检测目标
‑
已消失目标匹配对构成当前时刻的新目标
‑
目标对象匹配对集合；然后，将当前追踪目标集合中所有未能列入该新目标
‑
目标对象匹配对集合的追踪目标对象移除，并将各个移除的追踪目标对象作为暂时消失的目标对象添加到已消失目标集合；最后，与常规处理方式类似为所有未能列入该新目标
‑
目标对象匹配对集合的新检测目标创建对应的追踪目标添加到追踪目标集合。本专利技术方法，先基于常规处理方式来对当前时刻得到的新检测目标与追踪目标进行关联，再基于补充机制来对未形成关联的新检测目标与暂时消失目标进行关联，这样就能在每个时刻下尽可能少地增加新行人目标、尽可能多地跟踪已知行人目标，从而达到尽可能避免已知行人目标被过早删除的目的。
[0011]为实现上述目的，本专利技术实施例第一方面提供了一种结合已消失目标对新检测目标进行匹配的处理方法，所述方法包括：
[0012]步骤1，将起始时刻获得的一帧图像作为对应的起始帧图像；并对所述起始帧图像进行行人目标检测处理得到多个第一新增目标检测框；并根据各个所述第一新增目标检测框进行追踪目标对象初始化处理得到一个对应的第一追踪目标对象；并由得到的所有所述第一追踪目标对象组成对应的第一追踪目标集合；并初始化第一已消失目标集合为空；
[0013]步骤2，将下一时刻获得的一帧图像作为对应的新一帧图像；并对所述新一帧图像进行行人目标检测处理得到多个第一新目标检测框；并基于预设的绝对时间差阈值对所述第一已消失目标集合进行超时目标对象过滤处理；并根据所述第一追踪目标集合和所述第一已消失目标集合对各个所述第一新目标检测框进行目标对象匹配处理得到多组第一新目标
‑
目标对象匹配对；
[0014]步骤3，将所述第一追踪目标集合中各个未能列入任一组所述第一新目标
‑
目标对象匹配对的所述第一追踪目标对象记为对应的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种结合已消失目标对新检测目标进行匹配的处理方法，其特征在于，所述方法包括：步骤1，将起始时刻获得的一帧图像作为对应的起始帧图像；并对所述起始帧图像进行行人目标检测处理得到多个第一新增目标检测框；并根据各个所述第一新增目标检测框进行追踪目标对象初始化处理得到一个对应的第一追踪目标对象；并由得到的所有所述第一追踪目标对象组成对应的第一追踪目标集合；并初始化第一已消失目标集合为空；步骤2，将下一时刻获得的一帧图像作为对应的新一帧图像；并对所述新一帧图像进行行人目标检测处理得到多个第一新目标检测框；并基于预设的绝对时间差阈值对所述第一已消失目标集合进行超时目标对象过滤处理；并根据所述第一追踪目标集合和所述第一已消失目标集合对各个所述第一新目标检测框进行目标对象匹配处理得到多组第一新目标
‑
目标对象匹配对；步骤3，将所述第一追踪目标集合中各个未能列入任一组所述第一新目标
‑
目标对象匹配对的所述第一追踪目标对象记为对应的第二追踪目标对象；并对各个所述第二追踪目标对象进行已消失目标对象转换处理得到对应的第一已消失目标对象向所述第一已消失目标集合中添加；并将各个所述第二追踪目标对象从所述第一追踪目标集合中删除；步骤4，将各个未能列入任一组所述第一新目标
‑
目标对象匹配对的所述第一新目标检测框作为一个新的所述第一新增目标检测框；并根据各个新的所述第一新增目标检测框进行追踪目标对象初始化处理得到一个对应的所述第一追踪目标对象向所述第一追踪目标集合中添加；并在追踪目标集合添加完成时返回步骤2继续对下一时刻获得的下一帧图像进行处理。2.根据权利要求1所述的结合已消失目标对新检测目标进行匹配的处理方法，其特征在于，所述第一新增目标检测框和所述第一新目标检测框都对应一组目标检测框参数，所述目标检测框参数包括检测框中心位置坐标、检测框尺寸和检测框朝向角，所述检测框中心位置坐标为像素坐标，所述检测框尺寸包括高度和宽度；所述第一追踪目标对象包括第一目标标识和第一对象检测框；所述第一已消失目标集合包括多个所述第一已消失目标对象；所述第一已消失目标对象包括第一消失方式、第一消失时间、第二目标标识和第二对象检测框；所述第一消失方式包括从视野左侧消失、从视野右侧消失、从视野远处消失和被遮挡消失。3.根据权利要求2所述的结合已消失目标对新检测目标进行匹配的处理方法，其特征在于，所述追踪目标对象初始化处理，具体包括：为当前所述第一新增目标检测框分配一个对应的所述第一追踪目标对象；并为当前所述第一追踪目标对象分配一个唯一标识作为对应的所述第一目标标识，并将当前所述第一追踪目标对象的所述第一对象检测框设为当前所述第一新增目标检测框。4.根据权利要求2所述的结合已消失目标对新检测目标进行匹配的处理方法，其特征在于，所述基于预设的绝对时间差阈值对所述第一已消失目标集合进行超时目标对象过滤处理，具体包括：当所述第一已消失目标集合不为空时，将当前时刻的对应时间提取出来作为对应的第一时间；并对所述第一已消失目标集合中各个所述第一已消失目标对象的所述第一消失时
间与所述第一时间的绝对时间差进行计算得到对应的第一绝对时间差；并将所述第一已消失目标集合中所述第一绝对时间差超过所述绝对时间差阈值的所述第一已消失目标对象删除。5.根据权利要求2所述的结合已消失目标对新检测目标进行匹配的处理方法，其特征在于，所述根据所述第一追踪目标集合和所述第一已消失目标集合对各个所述第一新目标检测框进行目标对象匹配处理得到多组第一新目标
‑
目标对象匹配对，具体包括：对每个所述第一新目标检测框和所述第一追踪目标集合的每个所述第一追踪目标对象的所述第一对象检测框进行两两匹配处理得到对应的多组第一检测框匹配对；并由各组所述第一检测框匹配对内的所述第一新目标检测框和本匹配对内所述第一对象检测框对应的所述第一追踪目标对象组成一组对应的所述第一新目标
‑
目标对象匹配对；并以各个所述第一新目标
‑
目标对象匹配对的所述第一追踪目标对象的所述第一对象检测框为前一时刻目标检测框状态量、所述第一新目标检测框为当前目标检测框观测量，基于预设的卡尔曼滤波器根据所述前一时刻目标检测框状态量和所述当前目标检测框观测量对当前时刻的目标检测框状态量进行预测并将预测结果作为对应的当前预测目标检测框，并将当前匹配对内所述第一追踪目标对象的所述第一对象检测框更新为所述当前预测目标检测框；所述第一检测框匹配对包括一个所述第一新目标检测框和一个匹配的所述第一对象检测框；当所述第一已消失目标集合不为空时，将未能列入任一组所述第一检测框匹配对的所述第一新目标检测框记为对应的第二新目标检测框；并对每个所述第二新目标检测框和所述第一已消失目标集合的每个所述第一已消失目标对象的所述第二对象检测框进行两两匹配处理得到对应的多组第二检测框匹配对；并由各组所述第二检测框匹配对内的所述第二新目标检测框和本匹配对内所述第二对象检测框对应的所述第一已消失目标对象组成一组对应的第一匹配对；并对得到的各个所述第一匹配对进行合理性评估得到对应的第一评估结果；并将所述第一评估结果为不合理的所述第一匹配对删除；并根据剩余的各个所述第一匹配对进行追踪目标对象转换处理得到对应的所述第一追踪目标对象向所述第一追踪目标集合中添加；并根据剩余的各个所述第一匹配对对所述第一已消失目标集合中对应的所述第一已消失目标对象进行删除；并由剩余的各个所述第一匹配对对应的所述第一新目标检测框和所述第一追踪目标对象组成一组对应的所述第一新目标
‑
目标对象匹配对；所述第二检测框匹配对包括一个所述第二新目标检测框和一个匹配的所述第二对象检测框；所述第一评估结果包括合理和不合理；将得到的所有所述第一新目标
‑
目标对象匹配对输出。6.根据权利要求5所述的结合已消失目标对新检测目标进行匹配的处理方法，其特征在于，所述对得到的各个所述第一匹配对进行合理性评估得到对应的第一评估结果，具体包括：将所述第一匹配对的所述第二新目标检测框和所述第一已消失目标对象记为对应的第一检测框和第一对象；并将所述第一检测框的所述检测框中心位置坐标提取出来作为对应的第一中心坐标；并对所述第一中心坐标进行从像素坐标系到世界坐标系的坐标转换处理得到对应的第二中心坐标；将当前时刻对应的所述新一帧图像作为对应的第一图像；并根据预设的图像...
【专利技术属性】
技术研发人员：大方，
申请(专利权)人：苏州轻棹科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。