停留时长检测方法、装置及服务器制造方法及图纸

本公开提供了一种停留时长检测方法、装置及服务器。该方法包括：依次获取视频流的每一帧图像，利用目标检测算法检测出第一图像中的所有人物，并为检测到的人物生成第一检测框；利用跟踪算法处理第一图像和对应的第一检测框，得到第一图像的新增人物集合、已匹配人物集合和未匹配人物集合；若新增人物集合不为空，或已匹配人物集合不为空且跟踪次数达到阈值，则利用人脸检测算法对第一图像进行检测，并生成与人脸对应的第二检测框；将第一图像的第一检测框和第二检测框进行匹配；对第二检测框中人脸进行人脸识别，获得第二检测框中人脸的人物信息；根据视频流的每一帧图像检测到的人物信息，确定视频流拍摄到的各个人物的停留时长。时长。时长。

【技术实现步骤摘要】
停留时长检测方法、装置及服务器


[0001]本公开涉及安防
，特别涉及一种停留时长检测方法、装置及服务器。

技术介绍

[0002]随着人工智能技术的快速发展，人脸检测识别作为典型的人工智能技术已越来越多地应用到监控安防领域中。

技术实现思路

[0003]本公开实施例提供了一种停留时长检测方法、装置及服务器。所述技术方案如下：
[0004]本公开至少一实施例提供了一种停留时长检测方法，所述方法包括：
[0005]依次获取视频流的每一帧图像，利用目标检测算法检测出第一图像中的所有人物，并为检测到的人物生成第一检测框，所述第一图像为所述视频流中的任一帧图像；
[0006]利用跟踪算法处理所述第一图像和对应的第一检测框，得到所述第一图像的新增人物集合、已匹配人物集合和未匹配人物集合；
[0007]若所述新增人物集合不为空，或所述已匹配人物集合不为空且跟踪次数达到阈值，则利用人脸检测算法对所述第一图像进行检测，并生成与人脸对应的第二检测框；
[0008]将所述第一图像的第一检测框和所述第二检测框进行匹配；
[0009]对所述第二检测框中人脸进行人脸识别，获得所述第二检测框中人脸的人物信息；
[0010]根据所述视频流的每一帧图像检测到的人物信息，确定所述视频流拍摄到的各个人物的停留时长。
[0011]可选地，所述将所述第一图像的第一检测框和所述第二检测框进行匹配，包括：
[0012]获取所述第一图像中的所述第一检测框的顶点坐标、所述第二检测框的顶点坐标和所述第二检测框中人脸特征点的坐标；
[0013]根据所述第一检测框的顶点坐标和所述第二检测框中人脸特征点的坐标，确定各个所述第二检测框和各个所述第一检测框的包含关系，所述包含关系是指所述第二检测框中人脸特征点均位于所述第一检测框内；
[0014]若存在所述第一检测框和所述第二检测框存在一对一包含关系，则确定所述第一检测框和所述第二检测框存在一对一匹配关系；
[0015]若存在所述第一检测框和所述第二检测框存在一对多或多对一包含关系，则根据存在一对多或多对一包含关系的所述第一检测框和所述第二检测框的面积，确定所述第一检测框和所述第二检测框的一对一匹配关系。
[0016]可选地，所述根据存在一对多或多对一包含关系的所述第一检测框和所述第二检测框的面积，确定所述第一检测框和所述第二检测框的一对一匹配关系，包括：
[0017]按照以下公式计算存在一对多或多对一包含关系的所述第一检测框和所述第二检测框的关联系数：
[0018][0019]其中，Face
i
表示第i个第二检测框的面积，Pedestrian
j
表示第j个第一检测框的面积，Face
i
∩Pedestrian
j
表示所述第i个第二检测框和所述第j个第一检测框的交叠面积，P
ij
表示所述第i个第二检测框和所述第j个第一检测框的关联系数；
[0020]根据所述第一检测框和所述第二检测框的关联系数，利用匈牙利算法或KM算法确定所述第一检测框和所述第二检测框的一对一匹配关系。
[0021]可选地，所述对所述第二检测框中人脸进行人脸识别，获得所述第二检测框中人脸的人物信息，包括：
[0022]提取所述第二检测框中人脸的特征向量；
[0023]将提取出的所述特征向量和人脸特征库中的各类别的特征向量进行比对，并计算欧式距离；
[0024]根据提取出的所述特征向量和所述人脸特征库中的各类别的特征向量的欧式距离，确定所述第二检测框中人脸与所述人脸特征库中的各类别的识别概率；
[0025]根据所述第二检测框中人脸与所述人脸特征库中的各类别的识别概率，确定所述第二检测框中人脸关联的类别对应的人物信息。
[0026]可选地，所述根据提取出的所述特征向量和所述人脸特征库中的各类别的特征向量的欧式距离，确定所述第二检测框中人脸与所述人脸特征库中的各类别的识别概率，包括：
[0027]利用以下公式计算所述第二检测框中人脸与所述人脸特征库中的各类别的识别概率：
[0028]P＝α
·
P
total
+(1
‑
α)
·
P
best
；
[0029]其中，P
total
指所述第二检测框中人脸的特征向量与所述人脸特征库中第一类别的所有人脸特征向量的欧式距离小于欧式距离阈值的数量，和所述第一类别的特征向量总数的比值，所述第一类别为所述人脸特征库中的任一类别；P
best
指所述第二检测框中人脸的最优特征概率；α为系数；
[0030][0031]其中，N为所述第一类别的特征向量总数，Num为小于欧式距离阈值的数量，d为欧式距离，threshold为欧式距离阈值；
[0032][0033]其中，d
min
指所述第二检测框中人脸的特征向量与所述人脸特征库中第一类别的所有人脸特征向量的欧式距离的最小值。
[0034]本公开至少一实施例提供了一种停留时长检测装置，所述装置包括：
[0035]目标检测算法模块，用于依次获取视频流的每一帧图像，利用目标检测算法检测出第一图像中的所有人物，并为检测到的人物生成第一检测框，所述第一图像为所述视频
流中的任一帧图像；
[0036]跟踪算法模块，用于利用跟踪算法处理所述第一图像和对应的第一检测框，得到所述第一图像的新增人物集合、已匹配人物集合和未匹配人物集合；
[0037]人脸检测算法模块，用于若所述新增人物集合不为空，或所述已匹配人物集合不为空且跟踪次数达到阈值，则利用人脸检测算法对所述第一图像进行检测，并生成与人脸对应的第二检测框；
[0038]匹配模块，用于将所述第一图像的第一检测框和所述第二检测框进行匹配；
[0039]人脸识别模块，用于对所述第二检测框中人脸进行人脸识别，获得所述第二检测框中人脸的人物信息；
[0040]确定模块，用于根据所述视频流的每一帧图像检测到的人物信息，确定所述视频流拍摄到的各个人物的停留时长。
[0041]可选地，所述匹配模块，用于获取所述第一图像中的所述第一检测框的顶点坐标、所述第二检测框的顶点坐标和所述第二检测框中人脸特征点的坐标；根据所述第一检测框的顶点坐标和所述第二检测框中人脸特征点的坐标，确定各个所述第二检测框和各个所述第一检测框的包含关系，所述包含关系是指所述第二检测框中人脸特征点均位于所述第一检测框内；若存在所述第一检测框和所述第二检测框存在一对一包含关系，则确定所述第一检测框和所述第二检测框存在一对一匹配关系；若存在所述第一检测框和所述第二检测框存在一对多或多对一包含关系，则根据存在一对多或多对一包含关系的所述第一检测框和所述第二检测框的面积，确定所述第一检测框和所述第二检测框的一对一匹配关系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种停留时长检测方法，其特征在于，所述方法包括：依次获取视频流的每一帧图像，利用目标检测算法检测出第一图像中的所有人物，并为检测到的人物生成第一检测框，所述第一图像为所述视频流中的任一帧图像；利用跟踪算法处理所述第一图像和对应的第一检测框，得到所述第一图像的新增人物集合、已匹配人物集合和未匹配人物集合；若所述新增人物集合不为空，或所述已匹配人物集合不为空且跟踪次数达到阈值，则利用人脸检测算法对所述第一图像进行检测，并生成与人脸对应的第二检测框；将所述第一图像的第一检测框和所述第二检测框进行匹配；对所述第二检测框中人脸进行人脸识别，获得所述第二检测框中人脸的人物信息；根据所述视频流的每一帧图像检测到的人物信息，确定所述视频流拍摄到的各个人物的停留时长。2.根据权利要求1所述的方法，其特征在于，所述将所述第一图像的第一检测框和所述第二检测框进行匹配，包括：获取所述第一图像中的所述第一检测框的顶点坐标、所述第二检测框的顶点坐标和所述第二检测框中人脸特征点的坐标；根据所述第一检测框的顶点坐标和所述第二检测框中人脸特征点的坐标，确定各个所述第二检测框和各个所述第一检测框的包含关系，所述包含关系是指所述第二检测框中人脸特征点均位于所述第一检测框内；若存在所述第一检测框和所述第二检测框存在一对一包含关系，则确定所述第一检测框和所述第二检测框存在一对一匹配关系；若存在所述第一检测框和所述第二检测框存在一对多或多对一包含关系，则根据存在一对多或多对一包含关系的所述第一检测框和所述第二检测框的面积，确定所述第一检测框和所述第二检测框的一对一匹配关系。3.根据权利要求2所述的方法，其特征在于，所述根据存在一对多或多对一包含关系的所述第一检测框和所述第二检测框的面积，确定所述第一检测框和所述第二检测框的一对一匹配关系，包括：按照以下公式计算存在一对多或多对一包含关系的所述第一检测框和所述第二检测框的关联系数：其中，Face
i
表示第i个第二检测框的面积，Pedestrian
j
表示第j个第一检测框的面积，Face
i
∩Pedestrian
j
表示所述第i个第二检测框和所述第j个第一检测框的交叠面积，P
ij
表示所述第i个第二检测框和所述第j个第一检测框的关联系数；根据所述第一检测框和所述第二检测框的关联系数，利用匈牙利算法或KM算法确定所述第一检测框和所述第二检测框的一对一匹配关系。4.根据权利要求1所述的方法，其特征在于，所述对所述第二检测框中人脸进行人脸识别，获得所述第二检测框中人脸的人物信息，包括：提取所述第二检测框中人脸的特征向量；
将提取出的所述特征向量和人脸特征库中的各类别的特征向量进行比对，并计算欧式距离；根据提取出的所述特征向量和所述人脸特征库中的各类别的特征向量的欧式距离，确定所述第二检测框中人脸与所述人脸特征库中的各类别的识别概率；根据所述第二检测框中人脸与所述人脸特征库中的各类别的识别概率，确定所述第二检测框中人脸关联的类别对应的人物信息。5.根据权利要求4所述的方法，其特征在于，所述根据提取出的所述特征向量和所述人脸特征库中的各类别的特征向量的欧式距离，确定所述第二检测框中人脸与所述人脸特征库中的各类别的识别概率，包括：利用以下公式计算所述第二检测框中人脸与所述人脸特征库中的各类别的识别概率：P＝α
·
P
...

【专利技术属性】
技术研发人员：郑洁，雷霓，王书诚，黄亮，叶荣军，刘剑，沈欢，陈祖刚，方书雅，王浩，羿舒文，李欢，
申请(专利权)人：武汉船舶通信研究所中国船舶重工集团公司第七二二研究所，
类型：发明
国别省市：