一种多目标跟踪识别方法、装置、电子设备及介质制造方法及图纸

本发明专利技术涉及一种多目标跟踪识别方法、装置、电子设备及介质，涉及识别算法领域，包括从待处理视频对象中连续截取相邻的第一目标图像以及第二目标图像，获取第一目标图像的第一检测框以及第二目标图像的第二检测框，针对第一目标图像中的每一个第一检测框，均从第二目标图像中选取一个相匹配的第二检测框，并利用第一检测框与相匹配的第二检测框的物理位置匹配分值、特征度匹配分值来精准衡量二者框出的目标是否相同，从而实现对第一检测框框出的目标在第二目标图像中的追踪；以第二目标图像作为新的第一目标图像，以第二目标图像的后一帧图像作为新的第二目标图像，并循环进行上述处理过程，从而能够实现同时对多个目标在视频对象中的精准追踪。对象中的精准追踪。对象中的精准追踪。

【技术实现步骤摘要】
一种多目标跟踪识别方法、装置、电子设备及介质


[0001]本专利技术涉及识别算法领域，尤其涉及一种多目标跟踪识别方法、装置、电子设备及介质。

技术介绍

[0002]在监控平台中，经常需要对一些目标进行分析，例如在一些场景中需要对人的行为进行监控，包括后厨中人是否戴帽子，防疫中是否戴口罩，公共场所中是否抽烟等。如果人工对视频中目标的违规行为进行实时观察，将会花大量的时间和精力，为此就诞生了智能监控，引入机器分析来减少人力耗损，人工只需要检查经过机器分析后判定为违规的图片。
[0003]但是，上述智能监控的方法通常是对单帧图像中的单目标进行静态分析，无法追踪目标的动态过程。因此，如何实现同时对视频中的多目标进行精准动态追踪，就成为了行业内需要解决的技术问题。

技术实现思路

[0004]本专利技术所要解决的技术问题是：如何设计出一种多目标跟踪识别方法，能够实现同时对视频中的多目标进行精准动态追踪。
[0005]为解决上述问题，第一方面，本专利技术提出一种多目标跟踪识别方法，所述方法包括：从待处理视频对象中截取视频帧图像，作为第一目标图像；从所述待处理视频对象中截取所述第一目标图像的下一帧图像，作为第二目标图像；分别将所述第一目标图像以及所述第二目标图像输入至预设的目标检测模型中，获得所述第一目标图像的第一检测框组以及所述第二目标图像的第二检测框组，所述第一检测框组包括至少一个第一检测框，所述第二检测框组包括至少一个第二检测框；从所述第一检测框组中选取第一检测框作为第一目标检测框；从所述第二检测框组中选取与所述第一目标检测框匹配的第二检测框作为第二目标检测框；获取所述第一目标检测框与所述第二目标检测框之间的几何信息，根据所述几何信息获取所述第一检测框与所述第二检测框之间的物理位置匹配分值。
[0006]依据预设的特征提取算法，分别获取所述第一目标检测框限定的图像的第一图像特征向量以及所述第二目标检测框限定的图像的第二图像特征向量；根据所述第一图像特征向量以及所述第二图像特征向量，获取所述第一目标检测框限定的图像与所述第二目标检测框限定的图像之间的特征度匹配分值；根据所述物理位置匹配分值与所述特征度匹配分值，获取所述第一目标检测框限定的图像与所述第二目标检测框限定的图像之间的相似度分值。
[0007]判断所述相似度分值是否大于预设的分数阈值；若所述相似度分值大于所述分数阈值，判定所述第一目标检测框框出的目标与所述第二目标检测框框出的目标相同；判断所述第一检测框组中是否存在未被选取的第一检测框；若所述第一检测框组中存在未被选取的第一检测框，转到所述从所述第一检测框组中选取第一检测框作为第一目标检测框的
步骤；若所述第一检测框组不存在未被选取的第一检测框，将所述第二目标图像作为新的第一目标图像，转到所述从所述待处理视频对象中截取所述第一目标图像的下一帧图像作为第二目标图像的步骤。
[0008]其进一步的技术方案为，所述获取所述第一目标检测框与所述第二目标检测框之间的几何信息，包括：获取所述第一目标检测框与所述第二目标检测框之间的交并比、中心点距离比、宽度比以及高度比。
[0009]其进一步的技术方案为，所述根据所述几何信息获取所述第一检测框与所述第二检测框之间的物理位置匹配分值，包括：
[0010]根据公式P
score
＝IOU
‑
((C
dis
/C)+(w
dis
/W)+(h
dis
/H))计算所述第一检测框与所述第二检测框之间的物理位置匹配分值。
[0011]其中，IOU为交并比，C
dis
/C为中心点距离比，w
dis
/W为宽度比，h
dis
/H为高度比，P
score
为物理位置匹配分值。
[0012]其进一步的技术方案为，所述根据所述第一图像特征向量以及所述第二图像特征向量，获取所述第一目标检测框限定的图像与所述第二目标检测框限定的图像之间的特征度匹配分值，包括：
[0013]根据公式计算所述第一目标检测框限定的图像与所述第二目标检测框限定的图像之间的特征度匹配分值。
[0014]其中，(x1,x2,...,x
n
)为第一特征向量，(y1,y2,...,y
n
)为第二特征向量。
[0015]其进一步的技术方案为，所述根据所述物理位置匹配分值与所述特征度匹配分值，获取所述第一目标检测框限定的图像与所述第二目标检测框限定的图像之间的相似度分值，包括：将所述物理位置匹配分值与预设的第一加权系数相乘，得到物理位置加权分值；将所述特征度匹配分值与预设的第二加权系数相乘，得到特征度加权分值；将所述物理位置加权分值与所述特征度加权分值相加，得到所述相似度分值。
[0016]其进一步的技术方案为，所述从所述第二检测框组中选取与所述第一目标检测框匹配的第二检测框作为第二目标检测框，包括：从所述第二检测框组中选取至少一个子检测框，其中，所述子检测框的面积与所述第一目标检测框的面积之比大于预设的面积比阈值；将所述子检测框设定为第二目标检测框。
[0017]其进一步的技术方案为，判断所述第一目标检测框框出的目标是否为预设的违规目标；若所述第一目标检测框框出的目标为预设的违规目标，从所述待处理视频对象中获取所有包含所述目标的视频帧图像，得到违规图像集合；分别获取所述违规图像集合中的视频帧图像的违规特征相似度，所述违规特征相似度为所述违规图像集合中的视频帧图像的特征与预设的违规标准图像的特征之间的相似程度的数值；从所述违规图像集合中选取违规特征相似度最大的视频帧图像作为违规图像，并将所述违规图像上传到预设的监控终端。
[0018]第二方面，本专利技术提出一种多目标跟踪识别装置，所述多目标跟踪识别装置包括用于执行如第一方面所述方法的单元。
[0019]第三方面，本专利技术提出一种电子设备，包括：存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现如第一方面所述方法的步骤。
[0020]第四方面，本专利技术提出计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现如第一方面所述的方法。
[0021]本专利技术的有益效果为：
[0022]本专利技术中，从待处理视频对象中连续截取相邻的第一目标图像以及第二目标图像，获取第一目标图像的第一检测框以及第二目标图像的第二检测框，针对第一目标图像中的每一个第一检测框，均从第二目标图像中选取一个相匹配的第二检测框，并利用第一检测框与相匹配的第二检测框的物理位置匹配分值、特征度匹配分值来精准衡量二者框出的目标是否相同，从而实现对第一检测框框出的目标在第二目标图像中的追踪；之后，以第二目标图像作为新的第一目标图像，以第二目标图像的后一帧图像作为新的第二目标图像，并循环进行上述处理过程，从而能够实现同时对多个目标在视频对象中的精准追踪。
附图说明
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多目标跟踪识别方法，其特征在于，所述方法包括：从待处理视频对象中截取视频帧图像，作为第一目标图像；从所述待处理视频对象中截取所述第一目标图像的下一帧图像，作为第二目标图像；分别将所述第一目标图像以及所述第二目标图像输入至预设的目标检测模型中，获得所述第一目标图像的第一检测框组以及所述第二目标图像的第二检测框组，所述第一检测框组包括至少一个第一检测框，所述第二检测框组包括至少一个第二检测框；从所述第一检测框组中选取第一检测框作为第一目标检测框；从所述第二检测框组中选取与所述第一目标检测框匹配的第二检测框作为第二目标检测框；获取所述第一目标检测框与所述第二目标检测框之间的几何信息，根据所述几何信息获取所述第一检测框与所述第二检测框之间的物理位置匹配分值；依据预设的特征提取算法，分别获取所述第一目标检测框限定的图像的第一图像特征向量以及所述第二目标检测框限定的图像的第二图像特征向量；根据所述第一图像特征向量以及所述第二图像特征向量，获取所述第一目标检测框限定的图像与所述第二目标检测框限定的图像之间的特征度匹配分值；根据所述物理位置匹配分值与所述特征度匹配分值，获取所述第一目标检测框限定的图像与所述第二目标检测框限定的图像之间的相似度分值；判断所述相似度分值是否大于预设的分数阈值；若所述相似度分值大于所述分数阈值，判定所述第一目标检测框框出的目标与所述第二目标检测框框出的目标相同；判断所述第一检测框组中是否存在未被选取的第一检测框；若所述第一检测框组中存在未被选取的第一检测框，转到所述从所述第一检测框组中选取第一检测框作为第一目标检测框的步骤；若所述第一检测框组不存在未被选取的第一检测框，将所述第二目标图像作为新的第一目标图像，转到所述从所述待处理视频对象中截取所述第一目标图像的下一帧图像作为第二目标图像的步骤。2.根据权利要求1所述的多目标跟踪识别方法，其特征在于，所述获取所述第一目标检测框与所述第二目标检测框之间的几何信息，包括：获取所述第一目标检测框与所述第二目标检测框之间的交并比、中心点距离比、宽度比以及高度比。3.根据权利要求1所述的多目标跟踪识别方法，其特征在于，所述根据所述几何信息获取所述第一检测框与所述第二检测框之间的物理位置匹配分值，包括：根据公式P
score
＝IOU
‑
((C
dis
/C)+(w
dis
/W)+(h
dis
/H))计算所述第一检测框与所述第二检测框之间的物理位置匹配分值；其中，IOU为交并比，C
dis
/C为中心点距离比，w
dis
...

【专利技术属性】
技术研发人员：温职先，
申请(专利权)人：深圳市亚略特科技股份有限公司，
类型：发明
国别省市：