一种基于人脸识别技术的自动编目方法技术

本发明专利技术公开了一种基于人脸识别技术的自动编目方法，具体包括：接收人脸素材库；接收多媒体文件；根据所述视频文件获取关键帧记录及与之对应的关键帧数据画面；根据所述关键帧数据画面获取关键帧人脸画面；根据所述关键帧人脸画面查询所述人脸素材库人脸画面信息获取匹配人脸素材文本信息；根据所述关键帧记录对所述音频文件进行语言识别获取关键帧编目文本；根据所述关键帧记录在所述关键帧编目文本中合并所述人脸素材文本信息，获取编目文件。本发明专利技术解决了无法通过视频文件进行编目文件生成及编辑的问题，提高了编目文件生成及处理的精度与灵活性，节约了系统成本，减少了错误率，并且具有更为广泛的实用性。

【技术实现步骤摘要】

本专利技术涉及广播电视系统的素材数据编辑及处理领域中，侧重于在广电网络系统中，重点在数字视音频产业领域的应用，特别涉及。
技术介绍
随着电视制作技术的发展、普及，在节目制作过程中通常要对采集所获得的多媒体素材进行预处理，对其中的语音信息进行识别获得相应的编目信息，特别在体育类节目、新闻类节目、访谈类节目、综艺类节目占有率越来越高的情况下。对节目的人工编目费时费力。同时，这类节目以关键人物作为特定画面，如体育明星、国家领导人、节目主持人、男女主播等等相对人员比较固定，计算机自动分析人脸固有的生物特征信息作为视频的初级 编目信息将大量节省人工编目工作。现有技术中以上的人员信息不能从音频文件中直接获得，需要从其他途径获取，现有技术中通常采用人工对视频内容进行识别的方法，人工需要根据播出画面在编目文件中插入人名信息，但在需要进行大量人工识别的情况下，根据人物画面对编目信息的生成和操作需要投入大量的人力物力，而且由于是人为参与，也会由于人为因素影响到编目素材的制作质量与效率。在专利技术人实现本专利技术过程中，发现现有技术中有以下缺陷，现有技术中在需要将人物信息加入编目文件编辑时需要人工根据不同的人物画面对人物信息进行识别，之后对相应的编目文件进行编辑，因此，对编目文件的制作质量及工作效率均依赖人工的操作，费时费力，在耗费了大量系统资源的同时，无法获取良好的编目文件制作效果。
技术实现思路
针对现有技术中的缺陷，本专利技术解决了无法通过视频文件进行编目文件生成及编辑的问题。为了解决以上技术问题本专利技术提供了，具体包括接收人脸素材库，所述人脸素材库具体包括人脸画面信息及人脸素材文本信息；接收多媒体文件，所述多媒体文件包括视频文件及音频文件；根据所述视频文件获取关键帧记录及与之对应的关键帧数据画面；根据所述关键帧数据画面获取关键帧人脸画面；根据所述关键帧人脸画面查询所述人脸素材库人脸画面信息获取匹配人脸素材文本信息；根据所述关键帧记录对所述音频文件进行语言识别获取关键帧编目文本；根据所述关键帧记录在所述关键帧编目文本中合并所述人脸素材文本信息，获取编目文件。其中，所述接收人脸素材库步骤前还具体包括建立人脸素材库。其中，所述建立人脸素材库步骤中具体包括接收人脸素材，所述人脸素材通过人脸素材关键字标识，在单一人脸素材中包括多角度素材、情感类表情素材及说话类表情素材；根据所述人脸素材关键字及对应的人脸素材建立人脸素材库。其中，所述建立人脸素材库步骤中具体包括接收人脸素材三维模型，所述人脸素材三维模型包括人脸控制点模型信息及与其对应的人脸素材三维模型文本信息；根据所述人脸素材三维模型建立人脸素材库。其中，所述人脸画面信息还具体包括亮度信息属性。其中，根据所述关键帧数据画面获取关键帧人脸画面步骤中具体包括根据所述关键帧数据画面获取拍摄角度信息、拍摄亮度信息、情感类表情素材和/或说话类表情素材信息；根据所述关键帧数据画面进行抠取人脸图像处理获取关键帧人脸画面；根据所述拍摄角度信息、拍摄亮度信息、情感类表情素材和/或说话类表情素材信息获取关键帧人脸画面信息。·其中，所述根据所述关键帧人脸画面查询所述人脸素材库人脸画面信息获取匹配人脸素材文本信息步骤具体包括根据所述关键帧人脸画面及所述关键帧人脸画面信息查询所述人脸素材库人脸画面信息获取匹配人脸素材文本信息。其中，所述人脸素材文本信息具体包括人名信息。其中，所述根据所述关键帧人脸画面查询所述人脸素材库人脸画面信息获取匹配人脸素材文本信息步骤中具体包括根据所述关键帧人脸画面获取人脸控制点模型信息；根据所述人脸控制点模型信息查询所述人脸素材库人脸素材三维模型获取匹配人脸素材三维模型文本信息。其中，所述人脸控制点模型信息具体包括人脸边界控制点模型信息及人脸五官控制点模型信息。其中，所述根据所述视频文件获取关键帧记录及与之对应的关键帧数据画面步骤具体包括接收拍摄亮度信息；根据所述拍摄亮度信息调整所述视频文件；根据调整后视频文件获取关键帧记录及与之对应的关键帧数据画面。其中，所述获取编目文件后还具体包括根据所述编目文件获取字幕文件；播控系统根据所述字幕文件进行播放。与现有技术相比，本专利技术实施例具有以下优点通过对多媒体素材的视音频内容的分离，一方面根据视频文件截取关键帧画面，从关键帧画面中拾取人脸图像，与之前人脸库中的人脸画面进行匹配，从而获取人脸所对应的人物信息，另外，对其对应的语音进行识另IJ，获取与之对应的文本信息，根据关键字信息将以上人脸识别获取的人物信息与文本信息进行合并，从而自动生成自动编目文件，因此，本专利技术不再需要人工参与，提高了多媒体节目素材的编目合成、处理效率；计算机自动分析人脸固有的生物特征信息作为视频的初级编目信息将大量节省人工编目工作。提高了编目文件生成及处理的精度与灵活性，节约了系统成本，减少了错误率，并且具有更为广泛的实用性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获取其他的附图。图I :是本专利技术实施例I中的示意图；图2 :是本专利技术实施例2中另的示意图。具体实施例方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例I中提供了，如图I所示，包 括以下步骤SlOl :接收人脸素材库；此步骤具体包括接收人脸素材库，所述人脸素材库具体包括人脸画面信息及人脸素材文本信息；S102 :接收多媒体文件；此步骤具体包括接收多媒体文件，所述多媒体文件包括视频文件及音频文件；S103 :获取关键帧记录及与之对应的关键帧数据画面；此步骤具体包括根据所述视频文件获取关键帧记录及与之对应的关键帧数据画面；S104 :获取关键帧人脸画面；此步骤具体包括根据所述关键帧数据画面获取关键帧人脸画面；S105 :获取匹配人脸素材文本信息；此步骤具体包括根据所述关键帧人脸画面查询所述人脸素材库人脸画面信息获取匹配人脸素材文本信息；S106 :获取关键帧编目文本；此步骤具体包括根据所述关键帧记录对所述音频文件进行语言识别获取关键帧编目文本；S107 :合并人脸素材文本信息并获取编目文件；此步骤具体包括根据所述关键帧记录在所述关键帧编目文本中合并所述人脸素材文本信息，获取编目文件。本专利技术实施例2中提供了另，如图2所示，包括以下步骤S201 :建立人脸素材库；此步骤具体包括所述接收人脸素材库步骤前还具体包括建立人脸素材库；所述建立人脸素材库步骤中具体包括接收人脸素材，所述人脸素材通过人脸素材关键字标识，在单一人脸素材中包括多角度素材、情感类表情素材及说话类表情素材；根据所述人脸素材关键字及对应的人脸素材建立人脸素材库；所述建立人脸素材库步骤中具体包括接收人脸素材三维模型，所述人脸素材三维模型包括人脸控制点模型信息及与其对应的人脸素材三维模型文本信息；根据所述人脸素材三维模型建立人脸素材库；S202本文档来自技高网...

【技术保护点】
一种基于人脸识别技术的自动编目方法，其特征在于，包括：接收人脸素材库，所述人脸素材库具体包括：人脸画面信息及人脸素材文本信息；接收多媒体文件，所述多媒体文件包括：视频文件及音频文件；根据所述视频文件获取关键帧记录及与之对应的关键帧数据画面；根据所述关键帧数据画面获取关键帧人脸画面；根据所述关键帧人脸画面查询所述人脸素材库人脸画面信息获取匹配人脸素材文本信息；根据所述关键帧记录对所述音频文件进行语言识别获取关键帧编目文本；根据所述关键帧记录在所述关键帧编目文本中合并所述人脸素材文本信息，获取编目文件。

【技术特征摘要】

【专利技术属性】
技术研发人员：张峰，
申请(专利权)人：新奥特北京视频技术有限公司，
类型：发明
国别省市：