基于多摄像机融合的安检门人脸识别和人脸自动建库算法制造技术

本发明专利技术为了解决安检门快速安检的问题，提出了基于多摄像机融合的安检门人脸识别和人脸自动建库算法。本发明专利技术的算法不需要被检人员的主动配合式的刷脸，而只需要按照正常的路线行走，属于非配合式人脸识别算法。在安检门上沿着人进入的方向安装多个摄像机，这些摄像机同时采集视频进行人脸检测，检测出的人脸通过人脸跟踪后进行人脸质量评估模块进行筛选，筛选后的人脸通过对应的上半身匹配算法选出属于同一个人的人脸，再通过姿态估计删除角度过大的人脸，接着将人脸对齐校准后输入深度卷积神经网络提取特征。基于以上提取到的人脸特征，通过多摄像机人脸比对算法进行人脸匹配和自动建库。本发明专利技术的多摄像机融合的安检门人脸识别算法，显著提升了安检的速度，减轻了由于接受安检导致的拥挤等安全隐患。

【技术实现步骤摘要】
基于多摄像机融合的安检门人脸识别和人脸自动建库算法
本专利技术属于安防领域和安检领域，涉及模式识别、图形图像处理、机器学习等，利用多摄像机采集人脸，并将这些人脸通过人脸姿态估计和基于深度学习的人脸识别技术进行融合，然后自动建立多摄像机人脸识别库。
技术介绍
世界看似和平，但并不安全，恐怖主义和极端主义在悄无声息地渗入到人们的生活中，所以安全防范仍然是个非常重要的课题。安检在一定程度上能及时检测出危险品，保障广大人民的生命财产安全，在各种公共场合如机场、地铁、重要场馆等已部署了安检设备。安检门是一种对人体进行检测的设备，国内对人体安检主要采取穿行式金属探测门，辅以便携式手持金属探测仪贴身扫描和安检员手工“拍、摸、按、压”的形式发现可疑物品，如刀具等。这种安检门仅对金属物质有反应，而对于其它的违禁品却无能为力，即使是对金属物质的检测，定位也很粗糙，所以只能检测出带有大件金属物品的人体。而配套的手持金属探测仪，需要安检人员接触被安检人员，这极容易引起被安检人员的不满情绪，甚至引发肢体冲突，而且这种手检，一般需要6～8秒/人，这种安检速度在许多场合很容易造成拥堵和滞留，如地铁。有不少厂家将人脸识别引入安检系统里，通常采用刷身份证，然后让被检人员配合刷脸，将身份证的人脸和被检人员刷出的人脸进行比对，即人证核验系统。人证核验系统是一种用户主动配合式的系统，需要用户对着人脸采集设备(摄像机)采集正脸。而且，需要用户随身携带身份证，这对于像地铁系统里的乘客来说，很多时候未必能做到，特别是匆忙赶路的上班族，即使带了身份证，需要从包里拿出身份证，然后主动配合人脸采集，这个过程消耗的时间也比较长，这种安检速度也无法满足像地铁这种客流量极大的情况。
技术实现思路
本专利技术为了解决安检门快速安检的问题，提出了基于多摄像机融合的安检门人脸识别和人脸自动建库算法。本专利技术的算法不需要被检人员的主动配合式的刷脸，而只需要按照正常的路线行走，属于非配合式人脸识别算法。目前市面上主流的人脸识别算法对人脸的姿态都有要求，姿态越正面，则识别算法的准确率越高。采用多个不同位置不同角度的摄像机能捕捉到不同身高及不同走路姿态的人脸，确保较高的正脸抓拍率，所以本专利技术在安检门上安装N个摄像机(N≥3)。N个摄像机同时对采集到的视频进行人脸检测和人脸跟踪，从每路摄像机人脸跟踪得到的人脸队列里，在限定的时间周期内(由人走过安检门的平均时间计算得到)，自动筛选出人脸质量评分最高的人脸M张(M≤N)，每路最多筛选出1张人脸。通过人脸截取对应的上半身图像，对上半身图像进行边缘和颜色的匹配，匹配成功则认为是从同一个人采集得到的人脸，利用人脸姿态估计算法计算这些人脸的水平转动角度、俯仰角、倾斜角，筛选出人脸角度比较小(接近正脸)的人脸K张(K≤M)。将这K张人脸通过特征点进行对齐校准后，输入给深度卷积神经网络进行人脸特征提取，每张人脸对应一个1024维特征向量，提取K张人脸对应的特征向量共K个。将K个特征向量分别与人脸库中的人脸特征向量进行比对，如果K张人脸在人脸库中匹配值有大于等于第一阈值的，则选首位匹配并且匹配值最高的人作为识别的最终输出，同时把首位匹配的这张抓拍人脸加入到对应的人脸库中，更新人脸数据库。如果K张人脸在人脸库中匹配值都小于第一阈值，则设立第二阈值，大于等于第二阈值，则认为暂时匹配，K张人脸里的每张人脸依次从人脸库中选出匹配张数最多的人(每个人对应多张入库人脸)，匹配张数分别是L1,...,LK，对应的平均匹配值分别是S1,...,SK，通过计算匹配综合评分Score，按照Score排序，选最高Score对应的人作为最终的人脸匹配输出，同时把对应的这张抓拍的人脸加入到对应的人脸库中，更新人脸数据库。如果K张人脸在人脸库中的匹配值都小于第二阈值，则建立新的人员名单，把这K张人脸作为新建人员在人脸库中的人脸，在人脸数据库中添加该人员数据。本专利技术通过多摄像机融合的人脸识别算法和自动建库算法，使安检门人脸识别最大程度的抓拍到正脸，而且无需被安检人员刷脸配合，大大提高了通过安检门的速度，同时根据人脸识别结果，自动建立了通过安检门人员的人脸库，为后续人脸管理提供了有效的人脸数据库。本专利技术提供的基于多摄像机融合的安检门人脸识别和人脸自动建库算法，包括：初始化人脸库，可以让人脸库为空，或者利用已经手工采集的人脸作为初始底库，建立人脸图片、人脸特征、人员信息等数据库索引，并相互关联。每个安检门按照存储千万级人脸数量进行磁盘的预分配和数据库的预分配。安检门上两侧和顶部安装N个摄像机，镜头朝向人进入的方向，人从安检门通过时，可尽可能的抓拍到正脸。图1是安装了5个摄像机的安检门示意图，在门的两侧各装了两个摄像机，顶部装了一个摄像机。N个摄像机同时开启人脸检测算法。本专利技术未采用基于深度学习的人脸检测算法，主要是针对安检门的场景，客流量很大，要求有很高的检测速度，而基于深度学习的人脸检测，无法满足N个摄像机同时进行人脸检测的需求。此外，在安检门多摄像机场景，正脸出现率很高，而且背景相对统一，并不属于完全没有约束条件下的人脸检测，因此，本专利技术采用改进型的基于Haar-like特征的Adaboost算法，既保证了检测速度，又保证了很高的正脸检测率和很低的误检率。由于传统的Haar-like特征都是邻域局部特征，如单眼与周边形成的特征，本专利技术为了补充更大空间范围的特征，提出了3x3结构的Haar-like特征，能更好的表达人脸眼睛、鼻子和嘴等组合在一起的特征。训练时负样本采用安检门环境拍摄的场景图片结合场景中可能出现的物品如箱包以及各种纹理衣服等。在N个摄像机检测出人脸后，对每个摄像机的出现的人脸进行跟踪，跟踪算法采用基于邻域搜索的卡尔曼滤波跟踪算法。通过人脸大小约束，屏蔽远处的人脸，通过安检门的人脸通常不会发生遮挡，而且通过安检门一般都是逐个通过，在这种场景下，假设人脸运动的过程噪声和观测噪声都是高斯白噪声，这个假设基本是成立的，因此卡尔曼滤波跟踪算法在此场景下是有效的。人脸跟踪的结果保存在人脸队列里，通常情况下安检门是要求人逐个通过，因此每个摄像机的有效人脸队列通常只有一个。在限定的时间周期内(由人走过安检门的平均时间计算得到)，从N个摄像机的人脸队列筛选出人脸质量评分最高的人脸M张(M≤N)，每路最多筛选出1张人脸。人脸质量评估通过对光照度和清晰度的综合指标进行。光照度通过脸部的全局平均亮度、亮度最高值、亮度最低值等组合指标，采用YUV空间的Y分量。清晰度通过高频分量来评估，首先经过离散余弦变换(DCT)，然后通过统计高频系数的个数占比来估计清晰度。以上得到的M张人脸，通过人脸坐标截取对应的上半身图像，对上半身图像计算局部二值模式(LBP)特征，同时统计颜色直方图。LBP特征和颜色直方图在此表达的是人穿的衣服和头发等特征，通过LBP特征和颜色直方图进行两两匹配，最终筛选出M张人脸里属于同一个人的人脸。将筛选出的人脸传给人脸姿态估计算法：首先进行人脸特征点提取，特征点包括眼睛、鼻子、嘴角、下巴等位置，此特征点同时传给下一步的人脸对齐校准；通过人脸三维旋转模型到二维的投影(三个角度的矩阵)，估计出人脸的水平转动角度、俯仰角、倾斜角等三个角度，将角度小于一定阈值(接近正脸)的人本文档来自技高网...

【技术保护点】
1.基于多摄像机融合的安检门人脸识别和人脸自动建库算法，其特征在于：在安检门上迎着人进入的方向安装多个摄像机，这些摄像机同时采集视频进行人脸检测，检测出的人脸通过人脸跟踪后进行人脸质量评估模块进行筛选，筛选后的人脸通过对应的上半身匹配算法选出属于同一个人的人脸，再通过姿态估计删除角度过大的人脸，接着将人脸对齐校准后输入深度卷积神经网络提取特征；基于以上提取到的人脸特征，通过多摄像机人脸融合比对算法进行人脸匹配和自动建库。

【技术特征摘要】
1.基于多摄像机融合的安检门人脸识别和人脸自动建库算法，其特征在于：在安检门上迎着人进入的方向安装多个摄像机，这些摄像机同时采集视频进行人脸检测，检测出的人脸通过人脸跟踪后进行人脸质量评估模块进行筛选，筛选后的人脸通过对应的上半身匹配算法选出属于同一个人的人脸，再通过姿态估计删除角度过大的人脸，接着将人脸对齐校准后输入深度卷积神经网络提取特征；基于以上提取到的人脸特征，通过多摄像机人脸融合比对算法进行人脸匹配和自动建库。2.根据权利要求1所述的安检门人脸识别和人脸自动建库算法，其特征在于，改进型的基于Haar-like特征的Adaboost算法，即增加了3x3结构的Haar-like特征，能更好的表达人脸眼睛、鼻子和嘴等组合在一起的特征；训练时负样本从地铁安检门、机场安检门、重要场馆安检门等场景选取，形成针对安检门场景特有的人脸检测算法。3.根据权利要求1所述的安检门人脸识别和人脸自动建库算法，其特征在于，对每个摄像机的出现的人脸进行跟踪，跟踪算法采用基于邻域搜索的卡尔曼滤波跟踪算法，以目标中心为邻域搜索起点，通过位置和速度预测，在一定范围的窗口内搜索距离当前人脸最近的候选人脸，并通过卡尔曼滤波器进行更新。4.根据权利要求1所述的安检门人脸识别和人脸自动建库算法，其特征在于，人脸质量评估通过对光照度和清晰度的综合指标进行，人脸光照度评价指标由全局平均亮度、亮度最高值、亮度最低值通过公式计算得到，同时加入光照对称性(阴阳脸)指标；人脸清晰度指标通过离散余弦变换(DCT)后的高频系数...

【专利技术属性】
技术研发人员：张恩伟，
申请(专利权)人：北京博睿视科技有限责任公司，
类型：发明
国别省市：北京,11