一种行人识别与追踪方法、装置、可读存储介质及设备制造方法及图纸

本发明专利技术提供一种行人识别与追踪方法、装置、可读存储介质及设备，方法包括：使用多个摄像头采集不同区域的视频流；对视频流的图片进行行人检测及行人特征提取；采用卡尔曼滤波及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出当前轨迹匹配的目标行人位置数据集；对视频流的每一帧图片进行人脸检测及识别，得到每个行人的人脸ID及其人脸位置数据集；将目标行人的所述目标行人位置数据集与各所述人脸位置数据集进行空间距离匹配，确定目标行人的追踪ID；根据目标行人的追踪ID采用追踪器对目标行人进行多个场景下追踪。本发明专利技术通过行人检测和人脸检测共同协作的行人追踪方式，在单一场景下和多场景下均取得较好的行人追踪效果。景下和多场景下均取得较好的行人追踪效果。景下和多场景下均取得较好的行人追踪效果。

【技术实现步骤摘要】
一种行人识别与追踪方法、装置、可读存储介质及设备


[0001]本专利技术涉及行人识别与追踪
，特别涉及一种行人识别与追踪方法、装置、可读存储介质及设备。

技术介绍

[0002]商场内小孩由于调皮贪玩等因素会经常脱离家长的视野，家长长时间找不到小孩会非常担忧，因此基于摄像头拍摄图像的商场内行人的识别及轨迹追踪方法显得尤为重要。
[0003]现有的行人识别及追踪技术大多都是依靠人脸识别加上目标检测算法进行轨迹的追踪，这种情况下，当行人低头或背对摄像头时，则因无法拍摄到行人的人脸而导致行人追踪失败，故现有的行人识别及追踪技术只能在单一场景下取得一定的效果，在不同场景下，由于不同场景下的摄像头的拍摄角度不同，跨场景下通常会导致因人脸识别丢失而导致行人追踪失败。

技术实现思路

[0004]基于此，本专利技术的目的是提供一种行人识别与追踪方法、装置、可读存储介质及设备，以解决
技术介绍
当中的至少一技术问题。
[0005]根据本专利技术实施例的一种行人识别与追踪方法，所述方法包括：使用多个摄像头采集不同区域的视频流，每个摄像头对应一个场景，得到多个场景下的视频流；对每个视频流的连续多帧图片进行行人检测及行人特征提取，得到每帧图片上的每个行人的行人ID及其对应的行人位置数据集和行人特征数据集；根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集；对每个视频流的每一帧图片进行人脸检测及识别，得到每帧图片上的每个行人的人脸ID及其人脸位置数据集；针对每一帧图片，均将当前帧图片上的任一目标行人的所述目标行人位置数据集与所述当前帧图片上的各所述人脸位置数据集进行空间距离匹配，若空间距离小于阈值时，将匹配的人脸位置数据集对应的人脸ID作为所述目标行人的追踪ID，若空间距离大于等于所述阈值或未检测到所述目标行人的人脸位置数据集时，将所述目标行人的目标行人位置数据集对应的行人ID作为所述目标行人的追踪ID；根据所述目标行人的追踪ID采用追踪器对所述目标行人进行多个场景下追踪。
[0006]另外，根据本专利技术上述实施例的一种行人识别与追踪方法，还可以具有如下附加的技术特征：进一步地，对每个视频流的连续多帧图片进行行人检测及行人特征提取，得到每
帧图片上的每个行人的行人ID及其对应的行人位置数据集和行人特征数据集的步骤包括：采用行人检测算法对每个视频流的连续多帧图片进行行人检测，输出每个行人的行人ID及其对应的行人检测区域，每个所述行人检测区域的坐标构成一个所述行人位置数据集；采用预设卷积神经网络对每个所述行人检测区域进行高纬度特征提取，得到n*2048的数组，每个n*2048的数组对应一个行人特征数据集。
[0007]进一步地，采用行人检测算法对每个视频流的连续多帧图片进行行人检测，输出每个行人的行人ID及其对应的行人检测区域的步骤之后，还包括：根据置信度及区域面积的大小对行人检测区域进行筛选，剔除掉置信度小于预设值的行人检测区域，并且剔除掉区域像素点个数小于预设个数的行人检测区域。
[0008]进一步地，根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集的步骤包括：使用卡尔曼滤波算法对当前帧的每个行人位置数据集进行运动轨迹预测，并计算上一帧的每个行人位置数据集的每一个位置坐标与当前帧的预测运动轨迹的马氏距离，得出位置匹配度；采用匈牙利算法对上下帧之间的所述行人特征数据集进行余弦相似性计算，得到特征匹配度；根据所述位置匹配度和所述特征匹配度，计算出上一帧的每个行人位置数据集与当前帧的预测运动轨迹的综合匹配度；将所述综合匹配度大于匹配度阈值的行人位置数据集确定为当前帧图片上的当前轨迹匹配的目标行人位置数据集。
[0009]进一步地，所述位置匹配度的计算公式为：式中，d（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的位置匹配度，S
‑
1i
是由卡尔曼滤波器预测到的当前时刻观测空间的协方差矩阵的运动轨迹的逆函数，y
i
是预测的第i个运动轨迹的预测框，d
j
表示第j个行人位置数据集的检测框，ε代表预测框与行人检测框的匹配系数；所述综合匹配度的计算公式为：式中，z（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的综合匹配度，T（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的特征匹配度，λ为权重系数。
[0010]进一步地，所述目标行人位置数据集与所述人脸位置数据集的空间距离匹配公式为：
其中，x
0k
、y
0k
代表第k个人脸区域的左上角点的横、纵坐标，x
1k
、y
1k
代表第k个人脸区域的右下角点的横、纵坐标，Ω2表示人脸位置数据集，Ω0表示行人位置数据集，w、h代表行人区域里的人的宽和高，m
0t
、n
0t
代表集合Ω0里的第t个行人区域的左上角点的横、纵坐标，m
1t
、n
1t
代表集合Ω0里的第t个行人区域的右下角点的横、纵坐标。
[0011]进一步地，根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集的步骤之后，还包括：对于未匹配上的行人位置数据集，使用待舍弃标签进行标记，当连续多帧中出现预设帧数及以上未匹配成功的待舍弃标签的行人位置数据集给予舍弃，并对行人ID进行更新。
[0012]根据本专利技术实施例的一种行人识别与追踪装置，所述装置包括：图像获取模块，用于使用多个摄像头采集不同区域的视频流，每个摄像头对应一个场景，得到多个场景下的视频流；行人检测模块，用于对每个视频流的连续多帧图片进行行人检测及行人特征提取，得到每帧图片上的每个行人的行人ID及其对应的行人位置数据集和行人特征数据集；轨迹匹配模块，用于根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集；人脸检测模块，用于对每个视频流的每一帧图片进行人脸检测及识别，得到每帧图片上的每个行人的人脸ID及其人脸位置数据集；追踪ID确定模块，用于针对每一帧图片，均将当前帧图片上的任一目标行人的所述目标行人位置数据集与所述当前帧图片上的各所述人脸位置数据集进行空间距离匹配，若空间距离小于阈值时，将匹配的人脸位置数据集对应的人脸ID作为所述目标行人的追踪ID，若空间距离大于等于所述阈值或未检测到所述目标行人的人脸位置数据集时，将所述目标行人的目标行人位置数据集对应的行人ID作为所述目标行人的追踪ID；行人追踪模块，用于根据所述目标行人的追踪ID采用追踪器对所述目标行人进行多个场景下追踪。
[0013本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行人识别与追踪方法，其特征在于，所述方法包括：使用多个摄像头采集不同区域的视频流，每个摄像头对应一个场景，得到多个场景下的视频流；对每个视频流的连续多帧图片进行行人检测及行人特征提取，得到每帧图片上的每个行人的行人ID及其对应的行人位置数据集和行人特征数据集；根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集；对每个视频流的每一帧图片进行人脸检测及识别，得到每帧图片上的每个行人的人脸ID及其人脸位置数据集；针对每一帧图片，均将当前帧图片上的任一目标行人的所述目标行人位置数据集与所述当前帧图片上的各所述人脸位置数据集进行空间距离匹配，若空间距离小于阈值时，将匹配的人脸位置数据集对应的人脸ID作为所述目标行人的追踪ID，若空间距离大于等于所述阈值或未检测到所述目标行人的人脸位置数据集时，将所述目标行人的目标行人位置数据集对应的行人ID作为所述目标行人的追踪ID；根据所述目标行人的追踪ID采用追踪器对所述目标行人进行多个场景下追踪。2.根据权利要求1所述的行人识别与追踪方法，其特征在于，对每个视频流的连续多帧图片进行行人检测及行人特征提取，得到每帧图片上的每个行人的行人ID及其对应的行人位置数据集和行人特征数据集的步骤包括：采用行人检测算法对每个视频流的连续多帧图片进行行人检测，输出每个行人的行人ID及其对应的行人检测区域，每个所述行人检测区域的坐标构成一个所述行人位置数据集；采用预设卷积神经网络对每个所述行人检测区域进行高纬度特征提取，得到n*2048的数组，每个n*2048的数组对应一个行人特征数据集。3.根据权利要求2所述的行人识别与追踪方法，其特征在于，采用行人检测算法对每个视频流的连续多帧图片进行行人检测，输出每个行人的行人ID及其对应的行人检测区域的步骤之后，还包括：根据置信度及区域面积的大小对行人检测区域进行筛选，剔除掉置信度小于预设值的行人检测区域，并且剔除掉区域像素点个数小于预设个数的行人检测区域。4.根据权利要求2所述的行人识别与追踪方法，其特征在于，根据所述行人位置数据集和所述行人特征数据集，采用卡尔曼滤波算法及匈牙利算法对上下帧行人运动的轨迹进行匹配，输出每帧图片上的当前轨迹匹配的目标行人位置数据集的步骤包括：使用卡尔曼滤波算法对当前帧的每个行人位置数据集进行运动轨迹预测，并计算上一帧的每个行人位置数据集的每一个位置坐标与当前帧的预测运动轨迹的马氏距离，得出位置匹配度；采用匈牙利算法对上下帧之间的所述行人特征数据集进行余弦相似性计算，得到特征匹配度；根据所述位置匹配度和所述特征匹配度，计算出上一帧的每个行人位置数据集与当前帧的预测运动轨迹的综合匹配度；
将所述综合匹配度大于匹配度阈值的行人位置数据集确定为当前帧图片上的当前轨迹匹配的目标行人位置数据集。5.根据权利要求4所述的行人识别与追踪方法，其特征在于，所述位置匹配度的计算公式为：式中，d（i，j）表示第j个行人位置数据集和预测的第i个运动轨迹之间的位置匹配度，S
‑
1i
是由卡尔曼滤波器预测到的当前时刻观测空间的协方差矩阵的运动轨迹的逆函数，y
i
是预测的第i个运动轨迹的...

【专利技术属性】
技术研发人员：刘丹，张恒星，
申请(专利权)人：江西中业智能科技有限公司，
类型：发明
国别省市：