基于视频流的动态人脸识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于视频流的动态人脸识别方法及装置，该方法采用多任务级联神经网络，整个算法网络分为四个层级，第一层级网络对输入图像进行处理，第二层级网络和第三层级网络对候选区域进行两次细化，通过框回归获取人脸区域，第四层级网络进行关键点定位，由于前三个层级的网络输入跟模型大小是依次增大的，所做的任务也是越来越细致，因此更有利于级联结构处理数据，最大化检测效率跟准确率，检测速度快，检出率高、误检率低。

Dynamic face recognition method and device based on video stream

The present invention discloses a dynamic face recognition method and device based on video stream. The method uses a multi task cascade neural network. The whole algorithm network is divided into four levels. The first level network handles the input image, the second level network and the third level network make two refinement to the candidate region, through the frame back. To obtain the face area, the fourth level network carries on the key point location, because the first three levels of network input and model size are increasing in turn, the task is more and more meticulous, so it is more conducive to the cascade structure processing data, maximum detection efficiency and accuracy, fast detection speed, high detection rate, misdetection. The rate is low.

【技术实现步骤摘要】
基于视频流的动态人脸识别方法及装置
本专利技术涉及人脸识别
，尤其涉及基于视频流的动态人脸识别方法及装置。
技术介绍
传统人脸检测算法和基于深度神经网络的人脸检测算法各有短长。传统人脸检测算法的优点是速度快，缺点是检出率低、误检率高；基于深度神经网络的人脸检测算法的优点是检出率高、误检率低，缺点是检测速度慢。
技术实现思路
为了克服现有技术的不足，本专利技术的目的在于提供基于视频流的动态人脸识别方法及装置，旨在解决传统人脸检测算法检出率低、误检率高的问题，以及基于深度神经网络的人脸检测算法速度慢的问题。本专利技术的目的采用以下技术方案实现：一种基于视频流的动态人脸识别方法，包括：图像获取步骤，获取视频流数据的一帧作为输入图像；初步筛选步骤，在第一层级网络中对输入图像进行处理，获取候选区域及其框回归向量组，对框回归向量组中的候选向量进行评估和校准，再通过非极大化抑制去除重复的候选区域；一次细化步骤，将初步筛选步骤得到的候选区域送入第二层级网络进行一次细化处理，排除不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行候选区域的合并；二次细化步骤，将一次细化步骤得到的候选区域送入第三层级网络进行二次细化处理，排除不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行候选区域的合并，获取人脸区域；关键点定位步骤，将二次细化步骤得到的人脸区域送入第四层级网络，进行关键点定位。在上述实施例的基础上，优选的，所述二次细化步骤后，还包括：人脸跟踪步骤，将当前帧的人脸区域进行放大，将放大后的人脸区域送入第三层级网络，通过框回归进行下一帧的人脸跟踪。在上述实施例的基础上，优选的，所述人脸跟踪步骤前，还包括：标记步骤，标记每个人脸区域的ID。在上述任意实施例的基础上，优选的，所述初步筛选步骤中，在第一层级网络中使用全卷机网络对输入图像进行处理。一种基于视频流的动态人脸识别装置，包括：图像获取模块，用于获取视频流数据的一帧作为输入图像；初步筛选模块，用于在第一层级网络中对输入图像进行处理，获取候选区域及其框回归向量组，对框回归向量组中的候选向量进行评估和校准，再通过非极大化抑制去除重复的候选区域；一次细化模块，用于将初步筛选模块得到的候选区域送入第二层级网络进行一次细化处理，排除不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行候选区域的合并；二次细化模块，用于将一次细化模块得到的候选区域送入第三层级网络进行二次细化处理，排除不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行候选区域的合并，获取人脸区域；关键点定位模块，用于将二次细化模块得到的人脸区域送入第四层级网络，进行关键点定位。在上述实施例的基础上，优选的，还包括：人脸跟踪模块，用于将当前帧的人脸区域进行放大，将放大后的人脸区域送入第三层级网络，通过框回归进行下一帧的人脸跟踪。在上述实施例的基础上，优选的，还包括：标记模块，用于标记每个人脸区域的ID。在上述任意实施例的基础上，优选的，所述初步筛选模块用于在第一层级网络中使用全卷机网络对输入图像进行处理。相比现有技术，本专利技术的有益效果在于：本专利技术公开了一种基于视频流的动态人脸识别方法及装置，该方法采用多任务级联神经网络，整个算法网络分为四个层级，第一层级网络对输入图像进行处理，第二层级网络和第三层级网络对候选区域进行两次细化，通过框回归获取人脸区域，第四层级网络进行关键点定位，由于前三个层级的网络输入跟模型大小是依次增大的，所做的任务也是越来越细致，因此更有利于级联结构处理数据，最大化检测效率跟准确率，检测速度快，检出率高、误检率低。附图说明下面结合附图和实施例对本专利技术进一步说明。图1示出了本专利技术实施例提供的一种基于视频流的动态人脸识别方法的流程示意图；图2示出了本专利技术实施例提供的一种基于视频流的动态人脸识别装置的结构示意图。具体实施方式下面，结合附图以及具体实施方式，对本专利技术做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。具体实施例一如图1所示，本专利技术实施例提供了一种基于视频流的动态人脸识别方法，包括以下步骤。图像获取步骤S101，获取视频流数据的一帧作为输入图像。初步筛选步骤S102，在第一层级网络中对输入图像进行处理，获取候选区域及其框回归向量组，对框回归向量组中的候选向量进行评估和校准，再通过非极大化抑制去除重复的候选区域。该步骤中，第一层级网络对整个输入图像进行快速处理，获取候选框和这些候选框的框回归向量组；然后评估这些候选向量，并进行校准；再使用非极大化抑制来去除大量重复的候选区域。一次细化步骤S103，将初步筛选步骤S102得到的候选区域送入第二层级网络进行一次细化处理，排除不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行候选区域的合并。该步骤将候选区域送入第二层级网络进行细化的处理，排除掉大量不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行合并。二次细化步骤S104，将一次细化步骤S103得到的候选区域送入第三层级网络进行二次细化处理，排除不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行候选区域的合并，获取人脸区域。该步骤将第二层级网络剩下的候选区域送入第三层级网络进行更细化的处理，排除掉最后剩下的不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行合并，最终剩下人脸区域。由于前三个层级的网络是依次增大的，所做的任务也是越来越细致的，这样更有利于级联的结构，最大化检测效率跟准确率。关键点定位步骤S106，将二次细化步骤S104得到的人脸区域送入第四层级网络，进行关键点定位。该步骤将第三层级网络输出的人脸区域输入第四层级网络，进行关键点定位任务。本专利技术实施例采用多任务级联神经网络，整个算法网络分为四个层级，第一层级网络对输入图像进行处理，第二层级网络和第三层级网络对候选区域进行两次细化，通过框回归获取人脸区域，第四层级网络进行关键点定位，由于前三个层级的网络输入跟模型大小是依次增大的，所做的任务也是越来越细致，因此更有利于级联结构处理数据，最大化检测效率跟准确率，检测速度快，检出率高、误检率低。在现实应用场景中基于视频流的人脸检测技术对时效性的要求比较高，因此检测速度成为衡量一个算法模型好坏的重要指标。优选的，本专利技术实施例在所述二次细化步骤S104后，还可以包括：人脸跟踪步骤S105，将当前帧的人脸区域进行放大，将放大后的人脸区域送入第三层级网络，通过框回归进行下一帧的人脸跟踪。这样做的好处是，在人脸识别之后加入人脸跟踪算法，极大优化检测速度。采用人脸检测模型第三层级网络对需要跟踪的目标框做框回归以达到鲁棒跟踪的效果，优点是跟踪速度非常快、非常准。经过专利技术人的大量实验表明，该方法非常有效。具体方法可以是：直接将上一帧的人脸区域进行放大，再次输入第三层级网络，通过第三层级网络的框回归任务来进行人脸的跟踪，以回归框的位置作为该人脸区域的跟踪结果。优选的，本专利技术实施例在所述人脸跟踪步骤S105前，还可以包括：标记步骤，标记每个人脸区域的ID。这样做的好处是，标记每一个目标的ID，采用人脸检测模型第三层级网络对需要跟踪的与每个ID相应的本文档来自技高网...

【技术保护点】
1.一种基于视频流的动态人脸识别方法，其特征在于，包括：图像获取步骤，获取视频流数据的一帧作为输入图像；初步筛选步骤，在第一层级网络中对输入图像进行处理，获取候选区域及其框回归向量组，对框回归向量组中的候选向量进行评估和校准，再通过非极大化抑制去除重复的候选区域；一次细化步骤，将初步筛选步骤得到的候选区域送入第二层级网络进行一次细化处理，排除不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行候选区域的合并；二次细化步骤，将一次细化步骤得到的候选区域送入第三层级网络进行二次细化处理，排除不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行候选区域的合并，获取人脸区域；关键点定位步骤，将二次细化步骤得到的人脸区域送入第四层级网络，进行关键点定位。

【技术特征摘要】
1.一种基于视频流的动态人脸识别方法，其特征在于，包括：图像获取步骤，获取视频流数据的一帧作为输入图像；初步筛选步骤，在第一层级网络中对输入图像进行处理，获取候选区域及其框回归向量组，对框回归向量组中的候选向量进行评估和校准，再通过非极大化抑制去除重复的候选区域；一次细化步骤，将初步筛选步骤得到的候选区域送入第二层级网络进行一次细化处理，排除不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行候选区域的合并；二次细化步骤，将一次细化步骤得到的候选区域送入第三层级网络进行二次细化处理，排除不符合要求的候选区域，通过框回归执行校准，再利用非极大化抑制进行候选区域的合并，获取人脸区域；关键点定位步骤，将二次细化步骤得到的人脸区域送入第四层级网络，进行关键点定位。2.根据权利要求1所述的基于视频流的动态人脸识别方法，其特征在于，所述二次细化步骤后，还包括：人脸跟踪步骤，将当前帧的人脸区域进行放大，将放大后的人脸区域送入第三层级网络，通过框回归进行下一帧的人脸跟踪。3.根据权利要求2所述的基于视频流的动态人脸识别方法，其特征在于，所述人脸跟踪步骤前，还包括：标记步骤，标记每个人脸区域的ID。4.根据权利要求1或2所述的基于视频流的动态人脸识别方法，其特征在于，所述初步筛选步骤中，在第一层级网络中使用全卷机网络对输入图像进行...

【专利技术属性】
技术研发人员：徐宇杰，赵五岳，苏亮亮，张波，
申请(专利权)人：杭州宇泛智能科技有限公司，
类型：发明
国别省市：浙江,33