一种基于人脸识别技术选取特定人脸视频片段的方法技术

本发明专利技术公开了一种基于人脸识别技术选取特定人脸视频片段的方法，涉及视频处理技术领域。本发明专利技术在人脸识别技术步骤S03与步骤S04之间依次设置步骤S031、步骤S032、步骤S033；步骤S021：设置可配置参数X、参数M、参数N；步骤S031：在基准至上选取C位框的区域范围，标定该人物对应的视频片段Clips为C位，否则为非C位，取该视频片段Clips中主角人脸面积最大X帧的平均面积；步骤S032：对步骤S031中的C位进一步判断；步骤S033：权重的分配和优劣排序。本发明专利技术解决了现有的人脸识别和智慧视频技术获取并生成的Clips碎片化程度高，新的Clips支离破碎，不能连续的观看、生硬、突兀问题。

A method of selecting specific face video clips based on face recognition technology

【技术实现步骤摘要】
一种基于人脸识别技术选取特定人脸视频片段的方法
本专利技术属于视频处理
，特别是涉及一种基于人脸识别技术选取特定人脸视频片段的方法。
技术介绍
人脸识别(FaceRecognition)技术是一种依据人的面部特征(如统计或几何特征等)，自动进行身份识别的一种生物识别技术，又称为面像识别、人像识别、相貌识别、面孔识别、面部识别等。通常我们所说的人脸识别是基于光学人脸图像的身份识别与验证的简称。人脸检测算法、人脸跟踪算法、人脸抓拍算法、人脸质量评分算法、人脸属性识别算法及人脸特征识别算法。利用高精度人脸模型，提供一种直接从数据出发(输入端原始图像)，经过网络结构模型得到最终结果(输出端)的端到端的模式。要完成对某一视频文件或视频流中人脸识别，首先需要对其中的人脸进行检测并跟踪，然后根据最优帧的人脸图片，进行人脸特征提取，并与人脸特征库进行匹配，给出命中人脸的ID号，完成人物的识别；智慧视频技术所属的
为人工智能领域，应用于视频自动生产环节中，基于人脸识别和视频自动生成双引擎，将原视频中人脸片段筛选、切分，并将新视频拼接、生成，在几分钟内生成个人专属视频；在人数众多的场景中，能根据用户需要快速制作个人视频集锦；但是基于人脸识别和现有的智慧视频技术定位、生成Clips的方法由机器根据实际情况如实获得，这种方法会出现如下不理想的情况：生成的Clips碎片化程度高；特定人脸A面部特征在原视频B中仅消失短暂的几帧，就会被生成到新的Clips中造成新生成的Clips支离破碎，不能连续的观看。Clips观看效果生硬、突兀；从特定人脸A面部特征出现到结束生成Clips，没有开始的铺垫和结尾。因此针对以上问题，对人脸识别技术进行优化，提供一种基于人脸识别技术选取特定人脸视频片段的方法具有重要意义。
技术实现思路
本专利技术的一种基于人脸识别技术选取特定人脸视频片段的方法，解决了现有的人脸识别和智慧视频技术获取并生成的Clips碎片化程度高，特定人脸A面部特征在原视频B中仅消失短暂的几帧，就会被生成到新的Clips中造成新生成的Clips支离破碎，不能连续的观看，Clips观看效果生硬、突兀，从特定人脸A面部特征出现到结束生成Clips，没有开始的铺垫和结尾的问题。为解决上述技术问题，本专利技术是通过以下技术方案实现的：本专利技术的一种基于人脸识别技术选取特定人脸视频片段的方法，基于人脸识别技术实现，用于获取特定人脸视频片段，包括以下步骤；S01：首先建立人脸特征库，包括面部的眼睛、鼻子和嘴巴特征，通过对源视频文件B的人脸区域进行检测和跟踪进行人脸定位；S02：然后进行人脸矫正并进行源视频文件B的人脸特征提取，通过将人脸特征库中的特征与源视频文件B中的人脸特征进行比对并获得特征匹配；S03：上述方法应用于源视频文件B某一特定人脸A出现的片段，并以该片段中特定人脸A的面部特征出现为起始帧，面部消失为结束帧；S04：然后利用ffmpeg程序对起始帧和结束帧之间的连续帧部分进行重新编码生成新的视频文件，从而获得某一张特定人脸A的个人视频片段Clips；S05：利用步骤S03和S04，由源视频文件B中定位并生成特定人脸A的若干个人视频片段C1、C2...Cn；在所述步骤S02与步骤S03之前设置步骤S021，在所述步骤S03与步骤S04之间依次设置步骤S031、步骤S032、步骤S033；所述步骤S021内容为：设置可配置参数X、参数M、参数N；参数X定义为：当X大于特定人脸A面部特征在源视频文件B中消失至再次出现之间的时间时，则分切成两个视频片段Clips；当参数X小于“特定人脸A面部特征在源视频文件B中消失至再次出现之间的时间时，则保留成一个视频片段Clips；参数M定义为：特定人脸A面部特征在源视频文件B中出现前补偿的时间；参数N定义为：特定人脸A面部特征在源视频文件B中消失后补偿的时间；所述步骤S031内容为：对所述源视频文件B某一特定人脸A出现的片段以视频分辨率为基准，在基准至上选取C位框的区域范围，并规定视频片段Clips中特定人脸A只要在C位框的区域范围内出现过，且出现的人脸面积最大帧的主角人脸面积满足C位框最小面积A1，则标定该人物对应的视频片段Clips为C位，否则标记该人物对应的视频片段Clips为非C位，每个所述视频片段Clips都附带该视频片段Clips的全部帧的信息，取该所述视频片段Clips中主角人脸面积最大X帧的平均面积；若判定为非C位，则进行下一步骤S032对步骤步骤S031中C位继续进行分析；所述步骤S032内容为：取C位框区域范围的对角线交叉点计算人脸范围框对角线交叉点距离的距离11，其计算公式为：并对步骤S031中的C位进一步判断:以一个人脸的所有C位的视频片段Clips为例：取步骤S031中标记的视频片段Clips，计算并标记每个视频片段Clips中距离点最近的帧Fi；当标记Fi之后，取Fi帧出现的人脸，判断在该帧中，C位人员的脸面积是否为该帧中最大，如果不是最大，则取消该视频片段Clips的C位标记；如果是，则判断所述Fi帧中，C位人员脸范围框对角线距离点距离是否在Fi帧出现的人脸中距离点距离最近，如果不是，则取消该视频片段Clips的C位标记；所述步骤S033的内容为：对步骤S031和步骤S032过后的视频片段Clips进行权重的分配，取步骤S032中X帧平均人脸面积a，取步骤S033中距离点最近帧主角人脸面积b，根据不同拍摄场景选用不同模式确定权重Q1和权重Q2，且Q1>Q2，按照权重计算方式对视频片段Clips的权重进行优劣排序。进一步地，所述步骤S033中权重计算方式包括普通模式的计算：将b*Q1，a*Q2作为计算视频片段Clips的权重，其目的是将距离点距离最近和人脸面积最大的C位排在最前面，距离点距离远和人脸面积小的人脸可能会排在非C位之后，其选择条件为：非C位，人脸面积大。进一步地，所述步骤S033中权重计算方式还包括泾渭分明模式的计算：将b*1000*Q1，a*0.001*Q2作为计算视频片段Clips的权重，目的是将分配权重后的C位和非C位区分，C位权重始终高于非C位权重。进一步地，所述视频片段Clips为人物的面孔一直出现在画面中不曾消失的最小视频流数据单位。进一步地，所述参数X、参数M、参数N的数值根据不同的视频内容需求进行设定，所述参数X、M、N的单位均为秒，其精度精确至毫秒。进一步地，所述步骤S031中视频片段Clips的全部帧的信息包括但不局限于每帧出现的人脸、以及出现的人脸坐标、每帧人脸范围中心点距离画面中心点的距离、人脸出现的占比、性别、民族、仰角、俯角、睁眼、闭眼、张嘴、闭嘴状态信息。进一步地，所述ffmpeg程序为是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。本专利技术相对于现有技术包括以下有益效果：1、本专利技术通过在设置可配置参数X、可配置参数M和可配置参数N，当X大于本文档来自技高网...

【技术保护点】
1.一种基于人脸识别技术选取特定人脸视频片段的方法，基于人脸识别技术实现，用于获取特定人脸视频片段，包括以下步骤；/nS01：首先建立人脸特征库，包括面部的眼睛、鼻子和嘴巴特征，通过对源视频文件B的人脸区域进行检测和跟踪进行人脸定位；/nS02：然后进行人脸矫正并进行源视频文件B的人脸特征提取，通过将人脸特征库中的特征与源视频文件B中的人脸特征进行比对并获得特征匹配；/nS03：上述方法应用于源视频文件B某一特定人脸A出现的片段，并以该片段中特定人脸A的面部特征出现为起始帧，面部消失为结束帧；/nS04：然后利用ffmpeg程序对起始帧和结束帧之间的连续帧部分进行重新编码生成新的视频文件，从而获得某一张特定人脸A的个人视频片段Clips；/nS05：利用步骤S03和S04，由源视频文件B中定位并生成特定人脸A的若干个人视频片段C1、C2...Cn；其特征在于：/n在所述步骤S02与步骤S03之前设置步骤S021，在所述步骤S03与步骤S04之间依次设置步骤S031、步骤S032、步骤S033；/n所述步骤S021内容为：设置可配置参数X、参数M、参数N；参数X定义为：当X大于特定人脸A面部特征在源视频文件B中消失至再次出现之间的时间时，则分切成两个视频片段Clips；当参数X小于“特定人脸A面部特征在源视频文件B中消失至再次出现之间的时间时，则保留成一个视频片段Clips；参数M定义为：特定人脸A面部特征在源视频文件B中出现前补偿的时间；参数N定义为：特定人脸A面部特征在源视频文件B中消失后补偿的时间；/n所述步骤S031内容为：对所述源视频文件B某一特定人脸A出现的片段以视频分辨率为基准，在基准至上选取C位框的区域范围，并规定视频片段Clips中特定人脸A只要在C位框的区域范围内出现过，且出现的人脸面积最大帧的主角人脸面积满足C位框最小面积A...

【技术特征摘要】
1.一种基于人脸识别技术选取特定人脸视频片段的方法，基于人脸识别技术实现，用于获取特定人脸视频片段，包括以下步骤；
S01：首先建立人脸特征库，包括面部的眼睛、鼻子和嘴巴特征，通过对源视频文件B的人脸区域进行检测和跟踪进行人脸定位；
S02：然后进行人脸矫正并进行源视频文件B的人脸特征提取，通过将人脸特征库中的特征与源视频文件B中的人脸特征进行比对并获得特征匹配；
S03：上述方法应用于源视频文件B某一特定人脸A出现的片段，并以该片段中特定人脸A的面部特征出现为起始帧，面部消失为结束帧；
S04：然后利用ffmpeg程序对起始帧和结束帧之间的连续帧部分进行重新编码生成新的视频文件，从而获得某一张特定人脸A的个人视频片段Clips；
S05：利用步骤S03和S04，由源视频文件B中定位并生成特定人脸A的若干个人视频片段C1、C2...Cn；其特征在于：
在所述步骤S02与步骤S03之前设置步骤S021，在所述步骤S03与步骤S04之间依次设置步骤S031、步骤S032、步骤S033；
所述步骤S021内容为：设置可配置参数X、参数M、参数N；参数X定义为：当X大于特定人脸A面部特征在源视频文件B中消失至再次出现之间的时间时，则分切成两个视频片段Clips；当参数X小于“特定人脸A面部特征在源视频文件B中消失至再次出现之间的时间时，则保留成一个视频片段Clips；参数M定义为：特定人脸A面部特征在源视频文件B中出现前补偿的时间；参数N定义为：特定人脸A面部特征在源视频文件B中消失后补偿的时间；
所述步骤S031内容为：对所述源视频文件B某一特定人脸A出现的片段以视频分辨率为基准，在基准至上选取C位框的区域范围，并规定视频片段Clips中特定人脸A只要在C位框的区域范围内出现过，且出现的人脸面积最大帧的主角人脸面积满足C位框最小面积A1，则标定该人物对应的视频片段Clips为C位，否则标记该人物对应的视频片段Clips为非C位，每个所述视频片段Clips都附带该视频片段Clips的全部帧的信息，取该所述视频片段Clips中主角人脸面积最大X帧的平均面积；若判定为非C位，则进行下一步骤S032对步骤步骤S031中C位继续进行分析；
所述步骤S032内容为：取C位框区域范围的对角线交叉点计算人脸范围框对角线交叉点距离的距离l1，其计算公式为：



并对步骤S031中的C位进一步判断:以一个人脸的所有C位的视频片段Clips为例：取步骤S031中标记的视频片段Clips，计算并标记每个视频片段Clips中距离点...

【专利技术属性】
技术研发人员：朱赛赛，郭怡良，王海峰，裴维勋，
申请(专利权)人：懂频智能科技上海有限公司，
类型：发明
国别省市：上海;31