基于多摄像头视频图像的行人再识别路径生成方法技术

本发明专利技术公开了一种基于多摄像头视频图像的行人再识别路径生成方法，该方法使用多目标跟踪算法作为单摄像头关联方法，实现单摄像头条件下的同一个人的路径生成，再将多摄像头下的单个人的路径集合通过他们出现的时间和预先设置好的路径时间参数进行比较，得到有向图，再利用深度优先搜索算法得到目标最有可能的跨摄像头路径。本发明专利技术方法拓展性强，人机交互更加自然，且实用性更高。

Path generation method of pedestrian recognition based on multi camera video image

【技术实现步骤摘要】
基于多摄像头视频图像的行人再识别路径生成方法
本专利技术涉及视频监控研究领域，特别涉及一种基于多摄像头视频图像的行人再识别路径生成方法。
技术介绍
近年来，行人跨域追踪一直是学界研究的热点方向，虽然当前单图像的成对摄像头之间的行人跨域追踪得到了极大的发展，但是离实际应用还有一些未解决的问题，主要体现在：当前行人关联跟踪系统主要基于单张图片，由成对摄像头实现，这些系统往往通过采样的方法从视频帧中提取行人范围框，再提取该行人的特征，再通过求取距离排序的方式，然后得到候选目标的方式，这种方式对于人的使用而言非常不友好，存在着大量的同一人的重复图片。之所以出现这一问题，是由于行人框采样后仅仅作为单一图片存在数据库中，没有进行前后帧的关联，导致前后帧的同一人的相似图片作为结果同时作为输出返回给了用户。现有方法无法在没有实际标注数据条件下做到时间关联，也无法针对得到的结果用时空关联得到可行的路径。另外，当前大部分系统使用的摄像头数量过少，或者在大社区范围下无法将得到的结果快速应用到实际事务中，实用性较低。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供一种基于多摄像头视频图像的行人再识别路径生成方法，该方法拓展性强，人机交互更加自然，且实用性更高。本专利技术的目的通过以下的技术方案实现：基于多摄像头视频图像的行人再识别路径生成方法，包括步骤：S1、对输入的多个摄像头的视频图像进行行人检测；S2、对单个摄像头检测到的行人图像进行前后帧的关联，将每一个行人表示为一段路径，同时提取检测到的行人图像的特征；S3、提取待检索图像的特征，将其与每个摄像头关联得到的路径中的行人特征进行比较，筛选出和待检索图像特征距离小于预设阈值的路径，以及与待检索图像特征距离最近的N个路径，上述所有路径作为该摄像头下的候选路径；S4、对全部摄像头下的候选路径进行关联，首先将全部摄像头下的候选路径组成一个节点集合，也作为有向图G的节点，有向图G的边的权重的计算方法是：计算两个节点最后更新的时间的差值，取其绝对值；预设两个节点之间的时间差值；所述时间差值可根据两个节点之间可能相差的步行时间差来确定；若所述绝对值与所述时间差值之差的绝对值小于预设阈值，则保留这两个节点之间的边，同时将绝对值与时间差值之差的绝对值作为该边的权重，边的方向由先出现的节点指向后出现的节点；S5、针对建立的有向图搜索所有可能的路径，计算每条路径的优先级，优先级计算方法是取路径中所有边的权重之和除以边的总数；S6、按照路径的优先级从大到小排序，输出结果路径。优选的，所述步骤S1中，使用RFBNet深度网络目标检测器对输入的视频图像进行行人检测，目标检测器的输入为输入的图像，输出为该图像中行人的边界框。优选的，所述步骤S2中，对单个摄像头检测到的行人图像进行前后帧的关联，方法是：初始化一个路径集合Bi，对于新来的行人a及其特征，如果Bi为空，则初始化一个新的路径，把a加入其中，放入有向图的边集合S中，否则a的特征应与Bi中的所有的路径中的特征进行级联比较，比较方法如下：Bi中更新时间最近的比较优先级最高，比较时，a的特征要与待比较的路径中所有的特征求差值，如果存在一个差值小于预先设定的阈值，则把这条路径放入该优先级的候选路径中，相同优先级中的候选路径中差值最小的路径作为关联路径，把a放入该路径中，如果S中所有路径都不满足小于预先设定的阈值条件，则初始化一个新的路径，把a加入其中，放入Bi中；Bi中含有该摄像头下走过的所有行人路径。优选的，所述步骤S3中，筛选路径的方法是：对待检索图像求取其特征向量，将该特征向量与B集合中任意的路径的任意一个结点的特征向量求一个距离，如果该距离小于一个阈值，那么保留该路径，否则删除，保留下的路径集合为B*。优选的，对于全部摄像头下得到的候选路径，初始化一个有向图G，G的结点由多个摄像头的路径集合B*组成，每一条路径都是一个0节点；针对生成的有向图G，遍历其中的没有入边的节点，组成集合S，作为路径的起点，遍历G中没有出边的节点，组成集合E；从集合S中的元素出发，利用图搜索算法，得到一条从集合S的任何一个节点到集合E中的一个节点的路径，计算每条路径的优先级。优选的，步骤S6中，在输出结果路径前，对路径进行去重处理，方法是：B是A的重复路径的定义如下：对于路径A和路径B，A的长度大于B的长度，当且仅当B路径是A路径的子序列时，B是A的重复路径。优选的，步骤S6中，在输出结果路径前，对路径进行去相似处理，方法是：对于路径A和路径B，如果A的长度不等于B的长度，或者A和B的路径长度相同，但是A和B只要有一个相对应的节点出现的摄像头位置不同，那么A和B为不相似路径，不相似度定义为无穷；两条相似路径(A的长度等于B的长度)的不相似度计算方法是：其中，TAi、TBi表示路径A和B中第i个节点的出现时间戳，n表示路径A和B中节点的个数，也即长度；如果不相似度小于预设的阈值，则合并两个路径，直到不能合并为止。更进一步的，如果不相似度小于预设的阈值，则合并两个路径，合并方法是：设A1是路径A里面的第一个节点，包含经过单个摄像头目标跟踪的多个图像，B1同理，如果路径A和路径B是相似路径，A1和B1应当是同一个摄像头下，那么把A1和B1里面单个摄像头目标跟踪的结果放到一起组成新路径节点C1，依次类推到Cn，新路径C1，C2，……，Cn即为合并结果。本专利技术与现有技术相比，具有如下优点和有益效果：1、本专利技术使用多目标跟踪算法作为单摄像头关联方法，实现单摄像头条件下的同一个人的路径标注，再将多摄像头下的单个人的标注通过他们出现的时间和预先设置好的路径时间参数进行比较，得到路径结点邻接矩阵，再利用深度优先搜索算法得到目标最有可能的路径，与传统的单图片关联行人再识别系统相比，应用领域更加广泛，实用性更高。2、本专利技术提出了一种行人路径生成方法，通过预先设置不同摄像头之间的可能相差的步行时间差，关联不同摄像头之间出现的个体，再把这些路径连接起来，得到总的路径，这种得到路径的方法相比于只得到单一图片的方法，路径更加具有实际意义。附图说明图1为本专利技术方法的操作流程图。图2为本专利技术单一摄像头视频内的级联匹配算法流程图。图3为待检测的行人示例图。图4为本专利技术方法检索得到的检索结果示例图。图5为本专利技术方法生成的部分路径示例图。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。实施例如图1所示，本专利技术基于多摄像头视频图像的行人再识别路径生成方法，包括步骤：S1、对输入的多个摄像头的视频图像进行行人检测；S2、对单个摄像头检测到的行人图像进行前后帧的关联，将每一个视频中的行人出现的图像按照时间顺序表示为一段路径，同时提取检本文档来自技高网...

【技术保护点】
1.基于多摄像头视频图像的行人再识别路径生成方法，其特征在于，包括步骤：/nS1、对输入的多个摄像头的视频图像进行行人检测；/nS2、对单个摄像头检测到的行人图像进行前后帧的关联，将每一个行人表示为一段路径，同时提取检测到的行人图像的特征；/nS3、提取待检索图像的特征，将其与每个摄像头关联得到的路径中的行人特征进行比较，筛选出和待检索图像特征距离小于预设阈值的路径，以及与待检索图像特征距离最近的N个路径，上述所有路径作为该摄像头下的候选路径；/nS4、对全部摄像头下的候选路径进行关联，首先将全部摄像头下的候选路径组成一个节点集合，也作为有向图G的节点，有向图G的边的权重的计算方法是：/n计算两个节点最后更新的时间的差值，取其绝对值；/n预设两个节点之间的时间差值；所述时间差值可根据两个节点之间可能相差的步行时间差来确定；/n若所述绝对值与所述时间差值之差的绝对值小于预设阈值，则保留这两个节点之间的边，同时将绝对值与时间差值之差的绝对值作为该边的权重，边的方向由先出现的节点指向后出现的节点；/nS5、针对建立的有向图搜索所有可能的路径，计算每条路径的优先级，优先级计算方法是取路径中所有边的权重之和除以边的总数；/nS6、按照路径的优先级从大到小排序，输出结果路径。/n...

【技术特征摘要】
1.基于多摄像头视频图像的行人再识别路径生成方法，其特征在于，包括步骤：
S1、对输入的多个摄像头的视频图像进行行人检测；
S2、对单个摄像头检测到的行人图像进行前后帧的关联，将每一个行人表示为一段路径，同时提取检测到的行人图像的特征；
S3、提取待检索图像的特征，将其与每个摄像头关联得到的路径中的行人特征进行比较，筛选出和待检索图像特征距离小于预设阈值的路径，以及与待检索图像特征距离最近的N个路径，上述所有路径作为该摄像头下的候选路径；
S4、对全部摄像头下的候选路径进行关联，首先将全部摄像头下的候选路径组成一个节点集合，也作为有向图G的节点，有向图G的边的权重的计算方法是：
计算两个节点最后更新的时间的差值，取其绝对值；
预设两个节点之间的时间差值；所述时间差值可根据两个节点之间可能相差的步行时间差来确定；
若所述绝对值与所述时间差值之差的绝对值小于预设阈值，则保留这两个节点之间的边，同时将绝对值与时间差值之差的绝对值作为该边的权重，边的方向由先出现的节点指向后出现的节点；
S5、针对建立的有向图搜索所有可能的路径，计算每条路径的优先级，优先级计算方法是取路径中所有边的权重之和除以边的总数；
S6、按照路径的优先级从大到小排序，输出结果路径。


2.根据权利要求1所述的基于多摄像头视频图像的行人再识别路径生成方法，其特征在于，所述步骤S1中，使用RFBNet深度网络目标检测器对输入的视频图像进行行人检测，目标检测器的输入为输入的图像，输出为该图像中行人的边界框。


3.根据权利要求1所述的基于多摄像头视频图像的行人再识别路径生成方法，其特征在于，所述步骤S2中，对单个摄像头检测到的行人图像进行前后帧的关联，方法是：
初始化一个路径集合Bi，对于新来的行人a及其特征，如果Bi为空，则初始化一个新的路径，把a加入其中，放入有向图的边集合S中，否则a的特征应与Bi中的所有的路径中的特征进行级联比较，比较方法如下：Bi中更新时间最近的比较优先级最高，比较时，a的特征要与待比较的路径中所有的特征求差值，如果存在一个差值小于预先设定的阈值，则把这条路径放入该优先级的候选路径中，相同优先级中的候选路径中差值最小的路径作为关联路径，把a放入该路径中，如果S中所有路径都不满足小于预先设定的阈值条件，则初始化一个新的路径，把a加入其中，放入Bi中；Bi中含有该摄像头下走过的所有行人路径...

【专利技术属性】
技术研发人员：谢晓华，张鑫，赖剑煌，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44