基于MTCNN的多摄像头动态人脸识别系统与方法技术方案

本发明专利技术公开了基于MTCNN的多摄像头动态人脸识别系统与方法，适用场景为包括安装在管理区域的多个摄像头监控摄像头，多个监控系统通过摄像头从不同角度采集行人的视频，所有监控系统均通过网络连接到同一服务器并共享服务器的内网；方法包括步骤S1，从不同角度采集行人的视频，并逐帧从视频流中裁剪出脸部帧；步骤S2，采用MTCNN方法来对所有脸部帧提取人脸特征；步骤S3，对提取到的特征进行分类，以实现人脸识别。本发明专利技术结合多摄像头和服务器的硬件平台，将深度学习和特征识别应用在监控系统上面，对提高治安管理具有重要的意义。

Multi camera dynamic face recognition system and method based on MTCNN

The invention discloses a multi-camera dynamic face recognition system and method based on MTCNN, which is suitable for scenarios including a plurality of camera monitoring cameras installed in the management area. The multi-camera monitoring system collects pedestrian video from different angles, and all the monitoring systems are connected to the same server through the network and share uniforms. Server Intranet; Methods include: 1) capturing pedestrian video from different angles and clipping face frames frame by frame from video stream; 2) extracting face features from all face frames by MTCNN method; 2) classifying the extracted features to achieve face recognition. Combining the hardware platform of multi-camera and server, the invention applies depth learning and feature recognition to the monitoring system, which is of great significance for improving the public security management.

【技术实现步骤摘要】
基于MTCNN的多摄像头动态人脸识别系统与方法
本专利技术涉及人脸识别
，具体涉及一种基于MTCNN的多摄像头动态人脸识别系统，还涉及此系统的识别方法，可应用于安防监控系统。
技术介绍
随着人工智能技术的迅猛发展和视频监控设备的日益普及，智能监控以其准确、及时和功能丰富而受到社会各界的广泛关注。目前，国内很多场合都布有监控，视频监控已经成为继数字电视、视频会议之后的又一个重大视频应用，而且日益成为“体量”最大的一个视频应用系统。治安管理监控作为视频监控领域的一个重要应用。可面对视频监控功能单一，记录繁多，智能监控在不同角度不同光照条件下对于人脸的特征学习率不高等诸多缺点，如何提高智能视频监控的特征提取率，如何使得智能监控在复杂环境下训练学习所得的模型欠拟合等问题面临重大挑战。随着未来安防系统性价比的不断提高和数字高清化、智能化等技术的发展，市场应用空间将不断增长。目前，视频监控关键处理算法包括自动曝光算法、自动白平衡算法、自动聚焦算法、宽动态算法等。优良的处理算法可以实现更好的色彩还原，使所采集的图像更加逼真，在低照度和光线变化较大的情况下使监控场景的视频有更好的表现。而硬盘存储经常出现反复记录导致的硬盘碎片、突发掉电导致的硬盘数据损坏、多个硬盘工作时带来的高热和振动等问题，由于安防行业的特殊性，要求视音频数据存储全天24小时不间断稳定工作，应用场合较为复杂。智能视频分析技术是监控技术第三个发展阶段“机器眼+机器脑”中的“机器脑”部分，利用机器，将“人脑”对于视频画面的监控判断，进行数据分析提炼特征形成算法植入机器，形成“机器脑”对视频画面自动检测分析，并作出报警或其他动作。它借助计算机强大的数据处理能力过滤掉视频画面无用的或干扰信息、自动分析、抽取视频源中的关键有用信息，从而使摄像机不但成为人的眼睛，也使计算机成为人的大脑。现有技术中对于智能视频监控进行特征提取仍然存在不能满足现实高要求的问题，例如：1)缺乏针对不同光照对人脸识别率影响的研究，现有方案大都是只能在相似光照条件下对人脸进行识别匹配，而忽略了不同时间段不同地点的光照对监控效果的影响。2)缺乏针对不同角度对人脸识别率影响的研究，现有监控方案忽略了监控视野范围内不同人人脸拍摄角度的影响，一旦超出一定倾斜范围就无法识别。3)多摄像头模型共享动态监控问题：目前多摄像头实时的智能监控存在识别特征无法共享的问题。
技术实现思路
本专利技术的目的在于克服现有技术中的不足，提供了一种基于MTCNN的多摄像头动态人脸识别系统与方法，采用MTCNN框架对人脸多维度的特征进行建模匹配识别，可以提升识别率和加快运行速率。为解决上述技术问题，本专利技术提供了一种基于MTCNN的多摄像头动态人脸识别系统，适用场景为包括安装在管理区域的多个摄像头监控摄像头，多个监控系统通过摄像头从不同角度采集行人的视频，所有监控系统均通过网络连接到同一服务器并共享服务器的内网；此人脸识别系统包括视频采集模块、特征提取模块和特征分类模块，其中，视频采集模块，所有监控系统基于各自的摄像头从不同角度实时采集行人视频流；并将所有视频流发送至服务器；特征提取模块，服务器中逐帧从视频流中裁剪出脸部帧，采用MTCNN算法来对脸部帧提取人脸特征；特征分类模块，用来对提取到的人脸特征进行分类，以实现人脸识别。进一步的，服务器中将训练好的MTCNN模型共享至服务器连接的所有监控系统。相应的，本专利技术还提供了一种基于MTCNN的多摄像头动态人脸识别方法，包括以下步骤：步骤S1，从不同角度采集行人的视频，并逐帧从视频流中裁剪出脸部帧；步骤S2，采用MTCNN方法来对所有脸部帧提取人脸特征；步骤S3，对提取到的特征进行分类，以实现人脸识别。进一步的，MTCNN特征描述符主要包括三部分：人脸/非人脸人脸分类器，边界框回归和地标位置；人脸/非人脸判定采用交叉熵损失函数其中pi是人脸的概率，而是背景的真实标记；人脸框回归采用欧式距离损失函数其中，是通过网络预测的，是实际的实际背景坐标；是一个四元组；特征点定位也采用欧式距离损失函数与边界回归一样，计算预测的地标位置与实际实际地标之间的欧几里得距离，并将距离最小化，其中，是通过网络预测的，是实际的地标坐标。进一步的，步骤S2中，MTCNN训练过程中，一次只有前70％样本的梯度向后传输。进一步的，步骤S3中，采用KNN方法进行分类。与现有技术相比，本专利技术所达到的有益效果是：本专利技术结合了MTCNN算法对人脸特征进行建模匹配识别，能够有效提高安防监控系统对不同角度不同光照条件的人脸识别能力；并将模型共享至服务器连接的所有监控，即所有的监控设备都可以通过服务器平台直接调用同一训练模型，及时识别目标身份。相比于传统监控方案，极大地提升了监控系统的智能性和安全性。附图说明图1为本专利技术方法的流程图；图2为实施例中采集连续帧进行人脸检测的示意图；图3为MTCNN算法的原理示意图。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。本专利技术的一种基于MTCNN的多摄像头动态人脸识别系统，适用场景为包括安装在管理区域的多个摄像头监控摄像头，多个监控系统通过摄像头从不同角度采集行人的视频，所有监控系统均通过网络连接到同一服务器并共享服务器的内网；此人脸识别系统包括视频采集模块、特征提取模块和特征分类模块，其中，视频采集模块，所有监控系统基于各自的摄像头从不同角度实时采集行人视频流；并将所有视频流发送至服务器；特征提取模块，服务器中逐帧从视频流中裁剪出脸部帧，采用MTCNN算法来对脸部帧提取人脸特征；特征分类模块，用来对提取到的人脸特征进行分类，以实现人脸识别。在特征识别方面，本专利技术结合了MTCNN对代表人脸图像的多维度矩阵的特征进行建模匹配识别，可以提升识别率和加快运行速率。该专利技术可以应用于视频监控的多个场合，包括银行、商场、企业等。相应的，本专利技术的一种基于MTCNN的多摄像头动态人脸识别方法，如图1所示，包括以下步骤：步骤S1，从不同角度采集行人的视频，并逐帧从视频流中裁剪出脸部帧；OpenCV打开摄像头，实时收集视频流存入Mat矩阵并通过网络传给服务器。然后，服务器逐帧提取视频流的脸部帧并对其进行排序，并且选择可以在连续帧中精确地用于识别的脸部图像(参见图2)，并且将这些过滤后的连续帧用作MTCNN算法的输入。步骤S2，采用MTCNN方法对脸部帧提取人脸特征；当服务器获得了一个序列的Mat矩阵后，首先读取标度的人脸图片数据，把图片中人脸的区域绘制出来，通过滑动窗口的方法获取训练数据，训练数据的正样本的IOU(Intersection-Over-Union)大于0.65，负样本的IOU小于0.3，中间样本的IOU大于0.4小于0.65。接着在对训练数据进行回归框预测的时候采用回归框的坐标偏移进行预测，相当于归一化的一种方式。人脸的面部轮廓关键点同样使用的是回归值，该回归值对应的是人脸区域的相对坐标。当我们获得了这些坐标后，只需提取对应坐标在多维度矩阵中的特征值，即可提取出对应的人脸特征。因为是通过代表人脸的多维度矩阵的对应坐标提取的特征值，所以并不考虑整个图片的其他特征(如光照和角度)，所以对于不同光照和不同角本文档来自技高网...

【技术保护点】
1.基于MTCNN的多摄像头动态人脸识别系统，适用场景为包括安装在管理区域的多个摄像头监控摄像头，其特征是，多个监控系统通过摄像头从不同角度采集行人的视频，所有监控系统均通过网络连接到同一服务器并共享服务器的内网；此人脸识别系统包括视频采集模块、特征提取模块和特征分类模块，其中，视频采集模块，所有监控系统基于各自的摄像头从不同角度实时采集行人视频流；并将所有视频流发送至服务器；特征提取模块，服务器中逐帧从视频流中裁剪出脸部帧，采用MTCNN算法来对脸部帧提取人脸特征；特征分类模块，用来对提取到的人脸特征进行分类，以实现人脸识别。

【技术特征摘要】
1.基于MTCNN的多摄像头动态人脸识别系统，适用场景为包括安装在管理区域的多个摄像头监控摄像头，其特征是，多个监控系统通过摄像头从不同角度采集行人的视频，所有监控系统均通过网络连接到同一服务器并共享服务器的内网；此人脸识别系统包括视频采集模块、特征提取模块和特征分类模块，其中，视频采集模块，所有监控系统基于各自的摄像头从不同角度实时采集行人视频流；并将所有视频流发送至服务器；特征提取模块，服务器中逐帧从视频流中裁剪出脸部帧，采用MTCNN算法来对脸部帧提取人脸特征；特征分类模块，用来对提取到的人脸特征进行分类，以实现人脸识别。2.根据权利要求1所述的基于MTCNN的多摄像头动态人脸识别系统，其特征是，服务器中将训练好的MTCNN模型共享至服务器连接的所有监控系统。3.基于MTCNN的多摄像头动态人脸识别方法，其特征是，包括以下步骤：步骤S1，从不同角度采集行人的视频，并逐帧从视频流中裁剪出脸部帧；步骤S2，采用MT...

【专利技术属性】
技术研发人员：桂冠，江斌，任强，戴菲，熊健，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32