人脸点名与计数方法及其系统技术方案

本发明专利技术涉及人工智能和自动控制领域，公开了一种人脸点名与计数方法及其系统。本发明专利技术中，该人脸点名与计数方法包括以下步骤：利用深度相机采集场景的深度图像，通过深度图像检测到有人到达时，进行头肩检测与人数计数；利用普通相机抓拍人脸图像，得到人脸图像序列；对人脸图像序列进行人脸检测与识别；关联检测到的人脸到该次计数，得到进出人数信息和对应的人脸信息。通过深度相机与人脸抓拍相机，将人员计数与人脸图像关联起来完成人脸点名与计数，除了能够给出精确的人数统计结果，还能够给出被计数人员的人脸信息，适用于安保要求更高的场所。

Face Naming and Counting Method and System

The invention relates to the field of artificial intelligence and automatic control, and discloses a face naming and counting method and its system. In the present invention, the face naming and counting method includes the following steps: collecting the depth image of the scene by using the depth camera, detecting the arrival of a person through the depth image, detecting the head and shoulder and counting the number of people; capturing the face image by using the ordinary camera, obtaining the face image sequence; detecting and recognizing the face image sequence; correlating the detected face to the subtotal Number, get the number of people in and out and the corresponding face information. Through the depth camera and face capture camera, the counting of people is connected with the face image to complete the face naming and counting. In addition to giving accurate statistics of the number of people, it can also give the face information of the counted people, which is suitable for places with higher security requirements.

【技术实现步骤摘要】
人脸点名与计数方法及其系统
本专利技术涉及人工智能和自动控制领域，特别涉及一种人脸点名与计数技术。
技术介绍
作为计算机视觉领域的一个典型应用，在特定场所(例如公安监管、监狱等)的人员点名计数，以及在公共室内场所(例如大型文体场馆入口等)的人数统计在公共安全、人流量商业数据统计分析等许多方面有着重要的应用价值。现有技术中，在上述应用场景中的人数统计，通常只能实现大致的人数统计，不能给出精确的人数统计结果，更不能给出被计数人员的人脸信息，在在准确性，实时性等方面都有待提高。因此，目前亟需一种满足精确度和实时性的人脸点名及计数技术，从而提高公共室内场所人数统计方法的实时性、准确性，并能给出被计数人员的人脸信息。
技术实现思路
本专利技术的目的在于提供一种人脸点名与计数方法及其系统，不但能够给出精确的人数统计结果，还能给出被计数人员的人脸信息，符合更高标准的安保要求。为解决上述技术问题，本专利技术的实施方式公开了一种人脸点名与计数方法，包括以下步骤：利用深度相机采集场景的深度图像，通过深度图像检测到有人到达时，进行头肩检测与人数计数；利用普通相机抓拍人脸图像，得到人脸图像序列；对人脸图像序列进行人脸检测与识别；关联检测到的人脸到该次计数，得到进出人数信息和对应的人脸信息。本专利技术的实施方式还公开了一种人脸点名与计数系统，包括：深度相机、普通相机、人脸检测单元和点名与计数单元；深度相机与普通相机连接；普通相机与人脸检测单元连接；人脸检测单元和深度相机分别与点名与计数单元连接；深度相机，用于采集场景的深度图像，通过深度图像检测到有人到达时，进行头肩检测与人数计数；普通相机，用于抓拍人脸图像，得到人脸图像序列；人脸检测单元，用于对普通相机所抓拍的人脸图像序列进行人脸检测与识别；点名与计数单元，用于关联人脸检测单元检测到的人脸到深度相机的该次计数，得到进出人数信息和对应的人脸信息。本专利技术实施方式与现有技术相比，主要区别及其效果在于：通过结合使用深度相机与人脸抓拍相机，将人员计数与人脸图像关联起来完成人脸点名与计数，除了能够给出精确的人数统计结果，还能够给出被计数人员的人脸信息，适用于安保要求更高的场所。进一步地，通过结合RGB-D信息和RGB信息，进行多信息融合判断，进行人脸抓拍、头肩检测与比对等智能视频分析，能达到更好的人员点名与人数统计效果。进一步地，深度相机较普通的可见光相机能更准确地还原目标的3D信息，对头肩检测的效果更好，计数更准确。进一步地，检测到人脸后，与给定的名单，即需要点名的人脸样本库进行比对，判断是否是名单里的人员，适用于监管、监狱点名以及人员搜查等场景。进一步地，抓拍人脸图像的过程中，在人脸过暗时启用补光灯进行补光，以保证人脸图像的清晰可靠。进一步地，通过安装在不同高度的双相机进行人脸抓拍，能够解决不同身高的人的人脸抓拍问题。附图说明图1是本专利技术第一实施方式中一种人脸点名与计数方法的流程示意图；图2是本专利技术第一实施方式中一种人脸点名与计数方法的控制流程图；图3是本专利技术第二实施方式中一种人脸点名与计数系统的结构示意框图；图4是本专利技术第二实施方式中一种人脸点名与计数系统的结构示意图。具体实施方式在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的实施方式作进一步地详细描述。本专利技术第一实施方式涉及一种人脸点名与计数方法。图1是该人脸点名与计数方法的流程示意图。具体地说，如图1所示，该人脸点名与计数方法包括以下步骤：在步骤101中，利用深度相机采集场景的深度图像，通过深度图像检测到有人到达时，进行头肩检测与人数计数。深度相机较普通的可见光相机能更准确地还原目标的3D信息，对头肩检测的效果更好，计数更准确。优选地，在采集到深度图像后，还可以对深度图像进行噪声过滤与增强，包括以下子步骤：利用区域生长在深度图像边缘和该深度图像对应的彩色图像边缘提取错误像素所在的区域，用对应的距离图像来指导区域生长的方向；利用加权模式滤波算法填补空洞；利用自适应联合双边滤波器去除噪声。通过对深度图像进行噪声过滤与增强，能够提高深度图像的质量，提高计数和头肩检测的精确度和实时性。此后进入步骤102，利用普通相机抓拍人脸图像，得到人脸图像序列。需要说明的是，在本专利技术的各实施方式中，抓拍人脸图像可以有以下两种实现方式：第一种，抓拍相机(即普通相机)按照一定的时间间隔不停地抓拍；第二种，深度相机检测到有人到达时，发送触发信号给抓拍相机，触发抓拍相机开始抓拍人脸图像。在本实施方式中，优选地，用于人脸图像抓拍的普通相机的数目为两个，分别安装在不同的高度，能够解决不同身高的人的人脸抓拍问题。更进一步地，优选地，抓拍人脸图像的过程中，在人脸过暗时启用补光灯进行补光，以保证人脸图像的清晰可靠。此后进入步骤103，对人脸图像序列进行人脸检测与识别。具体地说，对抓拍相机获取的人脸图像序列进行人脸检测与识别，主要包括以下步骤：(1)对人脸图像序列进行基于深度学习的人脸检测，利用大数据优势，具有更好的检测效果。基于深度学习的人脸检测方法效果要好于传统的人脸检测方法(例如AdaBoost等)。基于深度学习的人脸检测方法是通过大量的人脸样本(大数据)来训练深度神经网络，通常需要GPU(图形处理单元)来支持。训练好深度神经网络以后，在算法服务器部署深度神经网络用于人脸检测。基于深度学习的人脸检测方法已是目前主流人脸检测方法。(2)对通过基于深度学习的人脸检测方法检测出的人脸进行合并。利用不同的方法将抓拍相机抓拍的人脸进行合并，对同一个相机抓拍的人脸合并采用人脸跟踪的方法，对不同相机抓拍的人脸合并采用相似度计算的方法。优选地，人脸跟踪方法采用KCF算法(KernelizedCorrelationFilters)。KCF算法准确率较高，而且速度快。该算法通过循环偏移构建出了分类器的训练样本，从而使得数据矩阵变成了一个循环矩阵。然后基于循环矩阵的特性把问题的求解变换到了傅里叶变换域，从而避免了矩阵求逆的过程，大大降低了算法的复杂度。相似度计算的方法，提取人脸LBP特征(LocalBinaryPattern，局部二值模式)，计算两个脸得到的LBP特征之间的距离，计算余弦距离作为相似度衡量。余弦距离是指用向量空间中两个特征向量夹角的余弦值作为衡量两个特征间差异的大小，余弦相似度更加注重两个特征向量在方向上的差异。(3)通过上述深度相机的头肩检测，对合并后的人脸过滤远处干扰信息。经过上述合并、过滤后的人脸信息将更加准确可靠。此后进入步骤104，关联检测到的人脸到该次计数，得到进出人数信息和对应的人脸信息。通过结合深度相机的RGB-D信息和普通相机的RGB信息，进行多信息融合判断，进行人脸抓拍、头肩检测与比对等智能视频分析，能达到更好的人员点名与人数统计效果。此后进入步骤105，进行人脸点名，将检测到的人脸与给定的名单(即需要点名的人脸样本库)进行人脸比对，判断是否是名单里的人员。优选地，人脸比对可以使用DeepID方法或FaceNet方法。DeepID所应本文档来自技高网...

【技术保护点】
1.一种人脸点名与计数方法，其特征在于，包括以下步骤：利用深度相机采集场景的深度图像，通过深度图像检测到有人到达时，进行头肩检测与人数计数；利用普通相机抓拍人脸图像，得到人脸图像序列；对所述人脸图像序列进行人脸检测与识别；关联检测到的人脸到该次计数，得到进出人数信息和对应的人脸信息。

【技术特征摘要】
1.一种人脸点名与计数方法，其特征在于，包括以下步骤：利用深度相机采集场景的深度图像，通过深度图像检测到有人到达时，进行头肩检测与人数计数；利用普通相机抓拍人脸图像，得到人脸图像序列；对所述人脸图像序列进行人脸检测与识别；关联检测到的人脸到该次计数，得到进出人数信息和对应的人脸信息。2.根据权利要求1所述的人脸点名与计数方法，其特征在于，在所述“关联检测到的人脸到该次计数，得到进出人数信息和对应的人脸信息”的步骤之后，还包括以下步骤：进行人脸点名，将检测到的人脸与给定的名单进行人脸比对，判断是否是名单里的人员。3.根据权利要求1所述的人脸点名与计数方法，其特征在于，所述“对所述人脸图像序列进行人脸检测与识别”的步骤中，包括以下子步骤：对所述人脸图像序列进行基于深度学习的人脸检测；对所述深度学习检测出的人脸进行合并；通过所述深度相机的头肩检测，对合并后的人脸过滤远处干扰信息。4.根据权利要求3所述的人脸点名与计数方法，其特征在于，所述“对所述深度学习检测出的人脸进行合并”的步骤中，包括以下子步骤：对同一个相机抓拍的人脸合并采用人脸跟踪的方法，对不同的相机抓拍的人脸合并采用相似度计算的方法；所述人脸跟踪的方法采用KCF算法；所述相似度计算的方法包括以下步骤：提取人脸的LBP特征，计算两个脸的LBP特征之间的距离，计算余弦距离作为相似度衡量。5.根据权利要求1所述的人脸点名与计数方法，其特征在于，所述“利用普通相机抓拍人脸图像，得到人脸图像序列”的步骤中，包括以下子步骤：在人脸过暗时，启用补光灯进行补光。6.根据权利要求1所述的人脸点名与计数方法，其特征在于，所述...

【专利技术属性】
技术研发人员：潘今一，刘福新，谢晨，
申请(专利权)人：上海弘视通信技术有限公司，
类型：发明
国别省市：上海,31