一种基于多级CNN的影片人脸提取的方法技术

本发明专利技术公开了一种基于多级CNN的影片人脸提取的方法，其特征在于：具体步骤如下：S1、从视频连续帧中生成scaling系数为0.7的图片处理过程，设置符合短视频常规情况的最小的人脸检测尺寸阈值；S2、通过CNN全连接层网络，获得建议人脸候选池，输出包含人脸的候选区域，本发明专利技术充分挖掘了每一帧图像中人脸的特征，减少过滤，增加特征点跟踪，提高识别的准确率，通过重叠区域快速整合，提高了提取时间效率和计算消耗，经过分层多次CNN网络处理，达到多个小消耗CNN达到一个大消耗CNN所很难达到的提取效果，考虑了视频相对图片的更丰富时间连续特征，人脸的关键点位置拥有连续运动轨迹，对于孤立考虑单张图片的传统方法更接近人脑本身的处理方式。的处理方式。的处理方式。

【技术实现步骤摘要】
一种基于多级CNN的影片人脸提取的方法


[0001]本专利技术涉及影片人脸提取
，具体为一种基于多级CNN的影片人脸提取的方法。

技术介绍

[0002]人脸特征提取是指对人脸的器官特征、纹理区域和预定义的特征点进行定位和提取，它是人脸表情识别中的核心步骤，是识别技术的关键，它决定着最终的识别结果，直接影响识别率的高低；
[0003]现有人脸提取的方法效率低，准确率低，特别是对多人短视频的计算成本高，处理效率低，人脸的不同角度、光照、遮挡等都会使提取的准确度降低，传统的人脸检测方式没有考虑人脸检测和人脸对齐两个重要步骤之间的关联，没有这两个任务之间的关联，做人脸检测没有结合人脸特征点，以前少量的图片类人脸检测可以通过AE的软件人工获得，但短视频等视频领域，需要高效的获得人脸情况，很难高质量快速的达成，而传统CNN的人脸提取，在一些过滤中缺少特征多样性，限制了产生差异性描述的可能性，对于传统CNN而言，人脸检测是个十分有挑战的二分类问题，所以过多的过滤显得很无用，而需要更多的特征辨别能力。

技术实现思路

[0004]本专利技术提供一种基于多级CNN的影片人脸提取的方法，可以有效解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于多级CNN的影片人脸提取的方法，具体步骤如下：
[0006]S1、从视频连续帧中生成scaling系数为0.7的图片处理过程，设置符合短视频常规情况的最小的人脸检测尺寸阈值；
[0007]S2、通过CNN全连接层网络，获得建议人脸候选池，输出包含人脸的候选区域；
[0008]S3、通过用于修正结果集的CNN对第一步中产生的候选人脸池进行初步修正，通过消除识别错误的case，来拟合更准的结果；
[0009]S4、使用size、深度、宽度更大的CNN网络，对第二步产生的结果进一步拟合，再去除一次false positive，得到比第二部更准的结果；
[0010]S5、将第S4步的结果反scaling回来到原始坐标，形成大小不一候选框集合，带有区域框位置，其中左上右下实际坐标，人脸关键点位置；
[0011]S6、对于S5产生的候选集合，有很多的置信度不一重叠区域，所以要用到重叠检测，将所有候选人脸做重叠度检测；
[0012]S7、将重叠度检测结果中区域聚合的部分，极大值留下，其他全部删除，留下了我们所要提取的某一帧的人脸；
[0013]S8、通过循环，使用叠加CNN连续处理人脸拟合获取整个视频在时间线上的连续
帧，获得视频的演员人脸集合；
[0014]S9、针对临近时间线因素，对人脸关键点位置做最后一次线性状态测试，进一步refine，排除异常结果。
[0015]根据上述技术方案，所述S1中阀值以原始帧开始，循环产生0.7上一次图片大小的图片，直到最小检测尺寸，形成图片金字塔。
[0016]根据上述技术方案，所述S2中输出是16个通道的map，包含了是否是人脸，人脸框的位置范围，以及定位到的关键点人脸位置，包括左眼，右眼，鼻子，左嘴角，右嘴角，其中位置等数据都是相对于原点的offset。
[0017]与现有技术相比，本专利技术的有益效果：本专利技术结构科学合理，使用安全方便，本专利技术公开了一种基于多级CNN的处理方法，提取每帧的人脸，在图片金字塔的基础上，加上时间线拟合，充分考虑不同光照分辨率的视频人脸信息，不同人脸间的差异，找到人脸信息，在短视频领域找到演员的脸特征。这里用到的多级的CNN，充分挖掘视频信息，做流水线化的视频处理和人脸提取。整个过程是从粗到细的过程，用到了在线困难样本深度挖掘策略方案，加入了人脸对齐的级联学习过程；
[0018]充分挖掘了每一帧图像中人脸的特征，减少过滤，增加特征点跟踪，提高识别的准确率，通过重叠区域快速整合，提高了提取时间效率和计算消耗，经过分层多次CNN网络处理，达到多个小消耗CNN达到一个大消耗CNN所很难达到的提取效果，考虑了视频相对图片的更丰富时间连续特征，人脸的关键点位置拥有连续运动轨迹，对于孤立考虑单张图片的传统方法更接近人脑本身的处理方式。
附图说明
[0019]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：
[0020]图1是本专利技术的方法结构示意图。
具体实施方式
[0021]以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。
[0022]实施例：如图1所示，本专利技术提供技术方案，一种基于多级CNN的影片人脸提取的方法，具体步骤如下：
[0023]S1、从视频连续帧中生成scaling系数为0.7的图片处理过程，设置符合短视频常规情况的最小的人脸检测尺寸阈值；
[0024]S2、通过CNN全连接层网络，获得建议人脸候选池，输出包含人脸的候选区域；
[0025]S3、通过用于修正结果集的CNN对第一步中产生的候选人脸池进行初步修正，通过消除识别错误的case，来拟合更准的结果；
[0026]S4、使用size、深度、宽度更大的CNN网络，对第二步产生的结果进一步拟合，再去除一次false positive，得到比第二部更准的结果；
[0027]S5、将第S4步的结果反scaling回来到原始坐标，形成大小不一候选框集合，带有区域框位置，其中左上右下实际坐标，人脸关键点位置；
[0028]S6、对于S5产生的候选集合，有很多的置信度不一重叠区域，所以要用到重叠检测，将所有候选人脸做重叠度检测；
[0029]S7、将重叠度检测结果中区域聚合的部分，极大值留下，其他全部删除，留下了我们所要提取的某一帧的人脸；
[0030]S8、通过循环，使用叠加CNN连续处理人脸拟合获取整个视频在时间线上的连续帧，获得视频的演员人脸集合；
[0031]S9、针对临近时间线因素，对人脸关键点位置做最后一次线性状态测试，进一步refine，排除异常结果。
[0032]根据上述技术方案，S1中阀值以原始帧开始，循环产生0.7上一次图片大小的图片，直到最小检测尺寸，形成图片金字塔。
[0033]根据上述技术方案，S2中输出是16个通道的map，包含了是否是人脸，人脸框的位置范围，以及定位到的关键点人脸位置，包括左眼，右眼，鼻子，左嘴角，右嘴角，其中位置等数据都是相对于原点的offset。
[0034]与现有技术相比，本专利技术的有益效果：本专利技术结构科学合理，使用安全方便，本专利技术公开了一种基于多级CNN的处理方法，提取每帧的人脸，在图片金字塔的基础上，加上时间线拟合，充分考虑不同光照分辨率的视频人脸信息，不同人脸间的差异，找到人脸信息，在短视频领域找到演员的脸特征。这里用到的多级的CNN，充分挖掘视频信息，做流水线化的视频处理和人脸提取。整个过程是从粗到细的过程，用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多级CNN的影片人脸提取的方法，其特征在于：具体步骤如下：S1、从视频连续帧中生成scaling系数为0.7的图片处理过程，设置符合短视频常规情况的最小的人脸检测尺寸阈值；S2、通过CNN全连接层网络，获得建议人脸候选池，输出包含人脸的候选区域；S3、通过用于修正结果集的CNN对第一步中产生的候选人脸池进行初步修正，通过消除识别错误的case，来拟合更准的结果；S4、使用size、深度、宽度更大的CNN网络，对第二步产生的结果进一步拟合，再去除一次false positive，得到比第二部更准的结果；S5、将第S4步的结果反scaling回来到原始坐标，形成大小不一候选框集合，带有区域框位置，其中左上右下实际坐标，人脸关键点位置；S6、对于S5产生的候选集合，有很多的置信度不一重叠区域，所以要用到重叠检测，将所有候选人脸做重叠度检...

【专利技术属性】
技术研发人员：王梓鉴，孙伟，
申请(专利权)人：秒影工场北京科技有限公司，
类型：发明
国别省市：