基于行人重识别的行人跟踪方法、装置、存储介质及设备制造方法及图纸

本申请公开了一种基于行人重识别的行人跟踪方法、装置、存储介质及设备，属于图像处理技术领域。所述方法包括：从视频流的当前视频帧中提取n个行人的检测框和第一特征向量；获取已分配的m个行人跟踪器，行人跟踪器中包含已识别出的一个行人的跟踪框、第二特征向量和行人标签；根据n个检测框和m个跟踪框计算交并比矩阵；根据n个第一特征向量和m个第二特征向量计算余弦相似度矩阵；对所述交并比矩阵和所述余弦相似度矩阵进行加权运算，得到代价矩阵；根据所述代价矩阵对所述n个行人和所述m个跟踪器进行匹配。本申请为同一个视频流中不同时刻出现的行人分配同一行人标签，避免冗余的行人标签，还可以避免交换跟踪器，可区分重叠的行人。的行人。的行人。

【技术实现步骤摘要】
基于行人重识别的行人跟踪方法、装置、存储介质及设备


[0001]本申请涉及图像处理
，特别涉及一种基于行人重识别的行人跟踪方法、装置、存储介质及设备。

技术介绍

[0002]行人重识别是利用计算机视觉技术检索图像或者视频序列中是否存在特定行人的技术。当给定一张行人图像时，利用行人重识别技术可以确定行人在其它监控视频中是否出现过。行人重识别可与行人检测、行人跟踪等技术相结合，广泛应用于智能视频监控、智能安保等领域。
[0003]相关技术中，可以从监控摄像机获取监控视频流，从监控视频流中提取视频帧，通过人工方式、行人检测或者行人跟踪方式从视频帧中裁切出行人图像，再通过人工方式标注行人图像的行人标签等信息。
[0004]通过人工方式标注行人标签时，不仅耗时耗人工，而且易出现不同行人标签标注给相同行人的标注结果，从而产生错误的跟踪结果。

技术实现思路

[0005]本申请提供了一种基于行人重识别的行人跟踪方法、装置、存储介质及设备，用于解决通过人工方式标注行人标签时，不仅耗时耗人工，而且易出现不同行人标签标注给相同行人的标注结果，从而产生错误的跟踪结果的问题。所述技术方案如下：一方面，提供了一种基于行人重识别的行人跟踪方法，所述方法包括：从视频流的当前视频帧中提取n张行人图像，根据所述n张行人图像生成n个行人的检测框和第一特征向量，n为正整数；获取已分配的m个行人跟踪器，每个行人跟踪器中包含已识别出的一个行人的跟踪框、第二特征向量和行人标签，m为正整数；根据n个检测框和m个跟踪框计算交并比矩阵；根据n个第一特征向量和m个第二特征向量计算余弦相似度矩阵；对所述交并比矩阵和所述余弦相似度矩阵进行加权运算，得到代价矩阵；根据所述代价矩阵将所述m个行人跟踪器中的部分或全部分配给所述n个行人；若一个行人跟踪器被分配给p张行人图像中的行人，则确定所述p张行人图像对应于所述行人跟踪器中的同一行人标签，提取具有相同行人标签的所述p张行人图像的特征向量，将所述特征向量组成第一特征向量矩阵，p为正整数；计算所述第一特征向量矩阵的第一转置矩阵；将所述第一特征向量矩阵和所述第一转置矩阵相乘，得到第一特征相似度矩阵，所述第一特征相似度矩阵中的每个元素表示两张行人图像之间的特征相似度；根据所述第一特征相似度矩阵将所述p张行人图像划分为至少一个图像集，并为每个图像集分配一个行人标签。
[0006]在一种可能的实现方式中，所述根据所述代价矩阵将所述m个行人跟踪器中的部分或全部分配给所述n个行人，包括：基于所述代价矩阵，利用匈牙利算法对所述n个检测框和所述m个跟踪框进行匹配；当存在与一个跟踪框相匹配的检测框时，将所述跟踪框对应的行人跟踪器分配给所述检测框对应的行人。
[0007]在一种可能的实现方式中，所述根据所述代价矩阵将所述m个行人跟踪器中的部分或全部分配给所述n个行人，包括：当存在与所有跟踪框都不匹配的检测框时，获取所述检测框对应的第一特征向量，以及，剩余未匹配的跟踪框对应的第二特征向量；分别计算所述第一特征向量与每个第二特征向量的余弦相似度；从所有余弦相似度中筛选最大余弦相似度；若所述最大余弦相似度超过第一阈值，则将所述最大余弦相似度对应的行人跟踪器分配给所述检测框对应的行人；若所述最大余弦相似度未超过第一阈值，则为所述检测框对应的行人分配新建的行人跟踪器。
[0008]在一种可能的实现方式中，所述根据所述第一特征相似度矩阵将所述p张行人图像划分为至少一个图像集，包括：从剩余的行人图像中随机选择一张行人图像；从所述第一特征相似度矩阵中，筛选与所述行人图像之间的特征相似度超过第二阈值的行人图像；将随机选择的所述行人图像和筛选的所述行人图像划分为一个图像集；继续执行所述从剩余的行人图像中随机选择一张行人图像的步骤，直至完成所述p张行人图像的划分后停止。
[0009]在一种可能的实现方式中，在所述根据所述第一特征相似度矩阵将所述p张行人图像划分为至少一个图像集之后，所述方法还包括：当一个图像集中行人图像的数量满足冗余条件时，按照预定比例随机删除所述图像集中的部分行人图像。
[0010]在一种可能的实现方式中，在所述根据所述第一特征相似度矩阵将所述p张行人图像划分为至少一个图像集之后，所述方法还包括：从每个图像集中随机选择q张行人图像，q为正整数；提取随机选择的所有行人图像的特征向量，将所述特征向量组成第二特征向量矩阵；计算所述第二特征向量矩阵的第二转置矩阵；将所述第二特征向量矩阵和所述第二转置矩阵相乘，得到第二特征相似度矩阵，所述第二特征相似度矩阵中的每个行向量表示一张行人图像与所有行人图像之间的特征相似度；根据所述第二特征相似度矩阵对至少两个图像集的行人标签进行合并。
[0011]在一种可能的实现方式中，所述根据所述第二特征相似度矩阵对至少两个图像集
的行人标签进行合并，包括：根据所述第二特征相似度矩阵，计算每个图像集中的q张行人图像与其他图像集中的q张行人图像的特征相似度的平均相似度向量；根据所述平均相似度向量，查找与一个图像集的平均相似度超过第三阈值的其他图像集，将所述图像集和所述其他图像集的行人标签合并为一个标签集。
[0012]一方面，提供了一种基于行人重识别的行人跟踪装置，所述装置包括：提取模块，用于从视频流的当前视频帧中提取n张行人图像，根据所述n张行人图像生成n个行人的检测框和第一特征向量，n为正整数；获取模块，用于获取已分配的m个行人跟踪器，每个行人跟踪器中包含已识别出的一个行人的跟踪框、第二特征向量和行人标签，m为正整数；计算模块，用于根据n个检测框和m个跟踪框计算交并比矩阵；根据n个第一特征向量和m个第二特征向量计算余弦相似度矩阵；对所述交并比矩阵和所述余弦相似度矩阵进行加权运算，得到代价矩阵；匹配模块，用于根据所述代价矩阵将所述m个行人跟踪器中的部分或全部分配给所述n个行人；所述提取模块，还用于若一个行人跟踪器被分配给p张行人图像中的行人，则确定所述p张行人图像对应于所述行人跟踪器中的同一行人标签，提取具有相同行人标签的所述p张行人图像的特征向量，将所述特征向量组成第一特征向量矩阵，p为正整数；所述计算模块，还用于计算所述第一特征向量矩阵的第一转置矩阵；将所述第一特征向量矩阵和所述第一转置矩阵相乘，得到第一特征相似度矩阵，所述第一特征相似度矩阵中的每个元素表示两张行人图像之间的特征相似度；所述装置还包括分组模块，用于根据所述第一特征相似度矩阵将所述p张行人图像划分为至少一个图像集，并为每个图像集分配一个行人标签。
[0013]一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的基于行人重识别的行人跟踪方法。
[0014]一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的基于行人重识别的行人跟踪方法。
[0015]本申请提供的技术方案的有益效果至少包括：通过根据n个检测框和m个跟踪框计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于行人重识别的行人跟踪方法，其特征在于，所述方法包括：从视频流的当前视频帧中提取n张行人图像，根据所述n张行人图像生成n个行人的检测框和第一特征向量，n为正整数；获取已分配的m个行人跟踪器，每个行人跟踪器中包含已识别出的一个行人的跟踪框、第二特征向量和行人标签，m为正整数；根据n个检测框和m个跟踪框计算交并比矩阵；根据n个第一特征向量和m个第二特征向量计算余弦相似度矩阵；对所述交并比矩阵和所述余弦相似度矩阵进行加权运算，得到代价矩阵；根据所述代价矩阵将所述m个行人跟踪器中的部分或全部分配给所述n个行人；若一个行人跟踪器被分配给p张行人图像中的行人，则确定所述p张行人图像对应于所述行人跟踪器中的同一行人标签，提取具有相同行人标签的所述p张行人图像的特征向量，将所述特征向量组成第一特征向量矩阵，p为正整数；计算所述第一特征向量矩阵的第一转置矩阵；将所述第一特征向量矩阵和所述第一转置矩阵相乘，得到第一特征相似度矩阵，所述第一特征相似度矩阵中的每个元素表示两张行人图像之间的特征相似度；根据所述第一特征相似度矩阵将所述p张行人图像划分为至少一个图像集，并为每个图像集分配一个行人标签。2.根据权利要求1所述的方法，其特征在于，所述根据所述代价矩阵将所述m个行人跟踪器中的部分或全部分配给所述n个行人，包括：基于所述代价矩阵，利用匈牙利算法对所述n个检测框和所述m个跟踪框进行匹配；当存在与一个跟踪框相匹配的检测框时，将所述跟踪框对应的行人跟踪器分配给所述检测框对应的行人。3.根据权利要求2所述的方法，其特征在于，所述根据所述代价矩阵将所述m个行人跟踪器中的部分或全部分配给所述n个行人，包括：当存在与所有跟踪框都不匹配的检测框时，获取所述检测框对应的第一特征向量，以及，剩余未匹配的跟踪框对应的第二特征向量；分别计算所述第一特征向量与每个第二特征向量的余弦相似度；从所有余弦相似度中筛选最大余弦相似度；若所述最大余弦相似度超过第一阈值，则将所述最大余弦相似度对应的行人跟踪器分配给所述检测框对应的行人；若所述最大余弦相似度未超过第一阈值，则为所述检测框对应的行人分配新建的行人跟踪器。4.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征相似度矩阵将所述p张行人图像划分为至少一个图像集，包括：从剩余的行人图像中随机选择一张行人图像；从所述第一特征相似度矩阵中，筛选与所述行人图像之间的特征相似度超过第二阈值的行人图像；将随机选择的所述行人图像和筛选的所述行人图像划分为一个图像集；继续执行所述从剩余的行人图像中随机选择一张行人图像的步骤，直至完成所述p张
行人图像的划分后停止。5.根据权利要求1所述的方法，其特征在于，在所述根据所述第一特征相似度矩阵将所述p张行人图像划分为至少一个图像集之后，所述方法还包括：当一个图像集中行人图像的数量满足冗余条件时，按照预定比例随机删除所...

【专利技术属性】
技术研发人员：杨帆，朱莹，陈凯琪，张凯翔，胡建国，
申请(专利权)人：南京甄视智能科技有限公司，
类型：发明
国别省市：