一种基于实例分割的目标匹配方法组成比例

本发明专利技术实施例涉及一种基于实例分割的目标匹配方法，所述方法包括：1，获取第一图像；2，对第一图像进行行人目标色彩分布特征提取处理；3，获取第二图像；4，对第二图像进行行人目标色彩分布特征提取处理；5，根据当前时刻、前一时刻特征张量进行行人目标匹配处理；并为各个第一匹配目标组对应的两个前后时刻的行人目标建立目标关联关系；6，对前一时刻特征张量进行未消失目标特征向量更新和已消失目标特征向量删除得到一次更新特征张量，对一次更新特征张量进行新增目标特征向量添加得到二次更新特征张量；7，将二次更新特征张量作为新的前一时刻特征张量并转至3。通过本发明专利技术可以增大行人目标的特征差异、提高行人目标匹配的准确度。确度。确度。

【技术实现步骤摘要】
一种基于实例分割的目标匹配方法


[0001]本专利技术涉及数据处理
，特别涉及一种基于实例分割的目标匹配方法。

技术介绍

[0002]自动驾驶系统中感知模块可对视觉传感器即摄像机持续输出的感知数据即摄像机拍摄的视觉图像进行行人目标匹配处理从而得到各个行人目标的跟踪轨迹。常规情况下，感知模块处理行人目标匹配的典型处理步骤为：先对当前时刻的视觉图像进行行人目标检测处理得到多个当前时刻的行人目标检测框bbox
now
(Bounding Box，bbox)；再基于卡尔曼滤波器对前一时刻的各个行人目标检测框bbox
pre
进行一步预测得到对应的预测行人目标检测框bbox
*now
；再对每个行人目标检测框bbox
now
与每个预测行人目标检测框bbox
*now
的目标检测框交并比进行计算得到对应的交并比矩阵；再基于匈牙利算法根据交并比矩阵进行匹配度计算得到对应的匹配度矩阵；再基于匹配度矩阵为各个行人目标检测框bbox
now
找到最大匹配度的预测行人目标检测框bbox
*now
，从而为各个行人目标检测框bbox
now
找到最大匹配度的行人目标检测框bbox
pre
；再将最大匹配度大于预设的匹配度阈值的行人目标检测框bbox
pre
和行人目标检测框bbox
now
视为一对相互匹配的检测框匹配对；再将每个检测框匹配对的一对行人目标检测框bbox
pre
、bbox
now
视为同一行人目标在前后时刻的两个目标检测结果，并为这两个bbox
pre
、bbox
now
创建对应的目标关联关系。由此不难看出，常规情况下感知模块是以前后时刻的行人目标检测框交并比作为匹配条件进行目标匹配处理的。
[0003]然而通过实践我们发现这种常规处理方式在行人数量较多时往往会发生目标匹配错误的问题，究其原因主要是因为对于距离较近的行人目标而言其各自对应的目标检测框的形状大小都类似，如果按照传统方案以前后时刻的行人目标检测框交并比作为匹配条件就容易发生错配。例如，在前一时刻检测到路人甲对应的目标检测框bbox
pre,1
；在当前时刻从路人甲身后走出了路人乙且路人乙与路人甲的身高体型近似，此时就会检测与路人甲、乙对应的两个目标检测框bbox
now,1
和bbox
now,2
；我们在实践中发现感知模型基于常规方案可能会出现以下两种目标匹配错误的情况：1)认为bbox
now,1
、bbox
now,2
和bbox
pre,1
都是匹配目标，并为bbox
now,1
‑
bbox
pre,1
和bbox
now,2
‑
bbox
pre,1
都形成目标关联；2)认为bbox
now,2
和bbox
pre,1
是匹配目标，并为bbox
now,2
‑
bbox
pre,1
形成目标关联。
[0004]若要降低感知模块发生类似上述目标匹配错误的几率，就需要在目标匹配处理时另外选取其他更能体现行人目标差异的特征作为匹配条件来替换常规方案中以行人目标检测框交并比作为匹配条件的处理方式。

技术实现思路

[0005]本专利技术的目的，就是针对现有技术的缺陷，提供一种基于实例分割的目标匹配方法、电子设备及计算机可读存储介质；本专利技术在对视觉图像进行目标检测时还对各个行人目标进行实例分割，并对各个行人目标实例进行色彩分布特征向量提取，并以前后时刻各个行人目标实例的色彩分布特征向量为匹配条件进行目标匹配处理，并基于目标匹配结果
为前后时刻的行人目标框建立目标关联关系。本专利技术另外选取了一种更能体现行人目标差异的色彩分布特征向量作为匹配条件来进行目标匹配处理，通过本专利技术的处理方式可以增大行人目标的特征差异、提高行人目标匹配的准确度，从而达到降低感知模块发生目标匹配错误几率的目的。
[0006]为实现上述目的，本专利技术实施例第一方面提供了一种基于实例分割的目标匹配方法，所述方法包括：
[0007]步骤1，在起始时刻获取第一图像；
[0008]步骤2，对所述第一图像进行行人目标色彩分布特征提取处理得到最早的前一时刻特征张量；
[0009]步骤3，在下一时刻获取第二图像；
[0010]步骤4，对所述第二图像进行行人目标色彩分布特征提取处理得到对应的当前时刻行人特征张量；
[0011]步骤5，根据所述当前时刻行人特征张量和所述前一时刻特征张量进行行人目标匹配处理得到多个第一匹配目标组；并为各个所述第一匹配目标组对应的两个前后时刻的行人目标建立目标关联关系；
[0012]步骤6，根据所有所述第一匹配目标组对所述前一时刻特征张量进行未消失目标特征向量更新和已消失目标特征向量删除处理得到对应的一次更新特征张量；并根据所有所述第一匹配目标组和所述当前时刻行人特征张量对所述一次更新特征张量进行新增目标特征向量添加处理得到对应的二次更新特征张量；
[0013]步骤7，将所述二次更新特征张量作为新的所述前一时刻特征张量；并转至步骤3继续下一时刻的循环处理。
[0014]优选的，所述前一时刻特征张量的形状为A
×
N3，A为前一时刻行人目标数量，N为预设的特征区间数量，1≤A，1≤N；所述前一时刻特征张量包括A个向量长度为N3的前一时刻行人特征向量F
i
，i为前一时刻行人目标索引，1≤i≤A；
[0015]所述当前时刻行人特征张量的形状为B
×
N3，B为当前时刻行人目标数量，1≤B；所述当前时刻行人特征张量包括B个向量长度为N3的当前时刻行人特征向量F
j
，j为当前时刻行人目标索引，1≤j≤B；
[0016]所述第一匹配目标组包括一个所述当前时刻行人特征向量F
j
和一个所述前一时刻行人特征向量F
i
。
[0017]优选的，所述行人目标色彩分布特征提取处理，具体包括：
[0018]将本次输入的所述第一图像或所述第二图像作为对应的当前图像；
[0019]对所述当前图像进行行人目标检测和行人实例分割处理得到带有多个行人目标检测框的语义分割图；各个所述行人目标检测框对应的检测目标类型为行人目标类型；所述语义分割图包括多个第一像素点；各个所述第一像素点包括一组三通道RGB像素值和一个像素语义类型；所述三通道RGB像素值包括R通道像素值、G通道像素值和B通道像素值；所述像素语义类型包括行人语义类型和其他多个非行人语义类型；
[0020]将所述语义分割图上各个所述行人目标检测框覆盖的图像区本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于实例分割的目标匹配方法，其特征在于，所述方法包括：步骤1，在起始时刻获取第一图像；步骤2，对所述第一图像进行行人目标色彩分布特征提取处理得到最早的前一时刻特征张量；步骤3，在下一时刻获取第二图像；步骤4，对所述第二图像进行行人目标色彩分布特征提取处理得到对应的当前时刻行人特征张量；步骤5，根据所述当前时刻行人特征张量和所述前一时刻特征张量进行行人目标匹配处理得到多个第一匹配目标组；并为各个所述第一匹配目标组对应的两个前后时刻的行人目标建立目标关联关系；步骤6，根据所有所述第一匹配目标组对所述前一时刻特征张量进行未消失目标特征向量更新和已消失目标特征向量删除处理得到对应的一次更新特征张量；并根据所有所述第一匹配目标组和所述当前时刻行人特征张量对所述一次更新特征张量进行新增目标特征向量添加处理得到对应的二次更新特征张量；步骤7，将所述二次更新特征张量作为新的所述前一时刻特征张量；并转至步骤3继续下一时刻的循环处理。2.根据权利要求1所述的基于实例分割的目标匹配方法，其特征在于，所述前一时刻特征张量的形状为A
×
N3，A为前一时刻行人目标数量，N为预设的特征区间数量，1≤A，1≤N；所述前一时刻特征张量包括A个向量长度为N3的前一时刻行人特征向量F
i
，i为前一时刻行人目标索引，1≤i≤A；所述当前时刻行人特征张量的形状为B
×
N3，B为当前时刻行人目标数量，1≤B；所述当前时刻行人特征张量包括B个向量长度为N3的当前时刻行人特征向量F
j
，j为当前时刻行人目标索引，1≤j≤B；所述第一匹配目标组包括一个所述当前时刻行人特征向量F
j
和一个所述前一时刻行人特征向量F
i
。3.根据权利要求2所述的基于实例分割的目标匹配方法，其特征在于，所述行人目标色彩分布特征提取处理，具体包括：将本次输入的所述第一图像或所述第二图像作为对应的当前图像；对所述当前图像进行行人目标检测和行人实例分割处理得到带有多个行人目标检测框的语义分割图；各个所述行人目标检测框对应的检测目标类型为行人目标类型；所述语义分割图包括多个第一像素点；各个所述第一像素点包括一组三通道RGB像素值和一个像素语义类型；所述三通道RGB像素值包括R通道像素值、G通道像素值和B通道像素值；所述像素语义类型包括行人语义类型和其他多个非行人语义类型；将所述语义分割图上各个所述行人目标检测框覆盖的图像区域提取出来作为对应的行人语义分割图；对各个所述行人语义分割图进行色彩分布特征向量提取处理得到对应的第一特征向量；所述第一特征向量的向量长度为N3；对所述语义分割图的所述行人目标检测框的数量进行统计得到对应的第一数量；若所述当前图像为所述第一图像，则设置对应的所述前一时刻行人目标数量A为所述
第一数量，并将各个所述第一特征向量作为对应的所述前一时刻行人特征向量F
i
，并由得到的所述前一时刻行人目标数量A的向量长度为N3的所述前一时刻行人特征向量F
i
组成最早的所述前一时刻特征张量输出；若所述当前图像为所述第二图像，则设置对应的所述当前时刻行人目标数量B为所述第一数量，并将各个所述第一特征向量作为对应的所述当前时刻行人特征向量F
j
，并由得到的所述当前时刻行人目标数量B的向量长度为N3的所述当前时刻行人特征向量F
j
组成对应的所述当前时刻行人特征张量输出。4.根据权利要求3所述的基于实例分割的目标匹配方法，其特征在于，所述对各个所述行人语义分割图进行色彩分布特征向量提取处理得到对应的第一特征向量，具体包括：基于预设的R、G、B通道取值范围和所述特征区间数量N构建一个三维RGB网格空间记为对应的第一网格空间；所述第一网格空间的X、Y、Z轴的取值范围分别与所述R、G、B通道取值范围对应；所述第一网格空间的X轴被均分成N个X轴特征区间,每个所述X轴特征区间对应一个特征区间索引x_id,1≤x_id≤N；所述第一网格空间的Y轴被均分成N个Y轴特征区间,每个所述Y轴特征区间对应一个特征区间索引y_id,1≤y_id≤N；所述第一网格空间的Z轴被均分成N个Z轴特征区间,每个所述Z轴特征区间对应一个特征区间索引z_id,1≤z_id≤N；所述第一网格空间由N3个第一网格g
x_id,y_id,z_id
构成；为所述第一网格空间的各个所述第一网格g
x_id,y_id,z_id
分配一个对应的第一网格计数器；并将各个所述第一网格计数器的计数值初始化为预设的计数器初始值；将所述行人语义分割图上所述像素语义类型为行人语义类型的所述第一像素点记为对应的第一行人像素点；对各个所述第一行人像素点进行遍历；遍历时，将当前遍历的所述第一行人像素点记为对应的当前像素点；并将所述当前像素点的所述R通道像素值、所述G通道像素值和所述B通道像素值提取出来作为对应的X、Y、Z轴坐标值x1、y1和z1组成对应的第一点坐标(x1,y1,z1)；并将所述第一网格空间中所述第一点坐标(x1,y1,z1)所在的所述第一网格g
x_id,y_id,z_id
作为对应的当前网格；并对所述当前网格对应的所述第一网格计数器的计数值加1；遍历结束时，由所述第一网格空间对应的N3个所述第一网格计数器的计数值组成一个长度为N3的计数值向量记为对应的第一计数值向量；并对所述第一计数值向量进归一化处理得到对应的长度为N3的归一化计数值向量；并将所述归一化计数值向量作为对应的所述第一特征向量输出。5.根据...

【专利技术属性】
技术研发人员：大方，
申请(专利权)人：苏州轻棹科技有限公司，
类型：发明
国别省市：