一种基于视频语义的人脸识别结果处理方法和装置制造方法及图纸

本申请公开了一种基于视频语义的人脸识别结果处理方法和装置。其中，方法包括：对视频进行人脸的检测和跟踪，得到若干个视频片段，其中，视频片段中的每一个视频帧均包括同一人物的脸部；对每个视频片段中的人脸进行识别，得到该视频片段中的人物姓名；在前后两个视频片段的间隔小于或者等于第一阈值的情况下，如果这两个视频片段中的人物姓名相同并且视频片段的相似度大于或者等于第二阈值，则将这两个视频片段合并。该方法能够通过对给定视频进行人脸检测追踪识别，通过分析视频片段的间隔、人物姓名和相似度，将同一人物的视频片段合并，避免了分割结果的碎片化，提高识别结果的准确度。

【技术实现步骤摘要】
一种基于视频语义的人脸识别结果处理方法和装置
本申请涉及视频处理
，特别是涉及一种基于视频语义的人脸识别结果处理方法和装置。
技术介绍
随着多媒体技术的日渐发展，数字视频已经逐渐成为人们信息记录、传播、交流的一种重要方式。宽带的发展已经让互联网进入了网络视频时代，不仅有以前的长视频剧集，综艺等，近两年短视频，视频直播等新应用火爆发展，围绕视频的业务场景应用也在增加。如今基于视频的人脸处理，区别于传统的基于图片的静态检测，能够对目标进行检测，获得多个帧目标的外观信息以及目标在多帧之间的运动信息。但是在视频中，特别是影视剧、综艺节目中，人脸可能会不时扭转，以及表情比较夸张，变化较快。而在这些特征情况下的，会导致人脸追踪断掉，使得一个人连续的时间段，会识别成很多不连续片段，给后续的视频分析和处理带来影响，例如，基于该识别结果进行的视频分割或者截取会使用户认为该处理结果不准确，影响用户体验。
技术实现思路
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。根据本申请的一个方面，提供了一种基于视频语义的人脸识别结果处理方法，包括：人脸检测步骤：对视频进行人脸的检测和跟踪，得到若干个视频片段，其中，视频片段中的每一个视频帧均包括同一人物的脸部；人脸识别步骤：对每个视频片段中的人脸进行识别，得到该视频片段中的人物姓名；视频片段合并步骤：在前后两个视频片段的间隔小于或者等于第一阈值的情况下，如果这两个视频片段中的人物姓名相同并且视频片段的相似度大于或者等于第二阈值，则将这两个视频片段合并。采用该方法，能够通过对给定视频进行人脸检测追踪识别，即使在追踪断掉的情况下，通过分析视频片段的间隔、人物姓名和相似度，将同一人物的视频片段合并，弥补了检测追踪识别过程的不足，避免了分割结果的碎片化，提高识别结果的准确度。可选地，所述人脸检测步骤包括：对于视频中的每一个视频帧，通过分类器进行人脸检测，对检测到的人脸进行跟踪，将包括同一人物的脸部的连续的视频帧作为一个视频片段，从而将所述视频划分为若干个视频片段。该步骤能够将通过对人脸的检测和跟踪，按照人物将视频进行初步地快速分割。可选地，所述人脸识别步骤包括：人脸截图选取步骤：对于每一个视频片段，选取该视频片段中的人脸截图；识别步骤：利用神经网络对所述人脸截图进行人脸识别，得到该视频片段中的人物姓名。通过该步骤，能够得到每个视频片段中的人物身份，以便于后续的视频片段的合并；利用神经网络对人脸截图进行识别，识别准确率高并且处理速度快。可选地，在所述视频片段合并步骤中，所述视频片段的相似度的计算步骤包括：分别将前一个视频片段的最后一个视频帧和后一个视频片段的第一个视频帧缩小到第一数量的像素个数，将每个像素的灰度进行量化处理，将量化后每个像素的灰度与该视频帧的灰度平均值进行比较，大于或等于所述灰度平均值的记为1，小于所述灰度平均值的记为0，从而得到每个视频帧的指纹序列，将两个指纹序列中对应位置大小相同的数值的个数作为所述视频片段的相似度。采用该步骤，先将视频的灰度简化处理，能够减小后续计算量，将灰度值作标准化处理，能够将视频帧在统一的标准下进行比较，从而提高视频帧相似度计算的准确性。可选地，在所述视频片段合并步骤后，该方法还包括：结果输出步骤：重复所述视频片段合并步骤，直到所述视频片段不能合并为止，得到最终的视频分割结果和人物姓名识别结果。根据本申请的另一个方面，还提供了一种基于视频语义的人脸识别结果处理装置，包括：人脸检测模块，其配置成用于对视频进行人脸的检测和跟踪，得到若干个视频片段，其中，视频片段中的每一个视频帧均包括同一人物的脸部；人脸识别模块，其配置成用于对每个视频片段中的人脸进行识别，得到该视频片段中的人物姓名；和视频片段合并模块，其配置成用于在前后两个视频片段的间隔小于或者等于第一阈值的情况下，如果这两个视频片段中的人物姓名相同并且视频片段的相似度大于或者等于第二阈值，则将这两个视频片段合并。采用该装置，能够通过对给定视频进行人脸检测追踪识别，即使在追踪断掉的情况下，通过分析视频片段的间隔、人物姓名和相似度，将同一人物的视频片段合并，弥补了检测追踪识别过程的不足，避免了分割结果的碎片化，提高识别结果的准确度。可选地，所述人脸检测模块还用于：对于视频中的每一个视频帧，通过分类器进行人脸检测，对检测到的人脸进行跟踪，将包括同一人物的脸部的连续的视频帧作为一个视频片段，从而将所述视频划分为若干个视频片段。可选地，所述人脸识别模块包括：人脸截图选取模块，其配置成用于对于每一个视频片段，选取该视频片段中的人脸截图；和识别模块，其配置成用于利用神经网络对所述人脸截图进行人脸识别，得到该视频片段中的人物姓名。根据本申请的另一个方面，还提供了一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的方法。根据本申请的另一个方面，还提供了一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如上所述的方法。根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。附图说明后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：图1是根据本申请的基于视频语义的人脸识别结果处理方法的一个实施例的示意性流程图；图2是根据本申请的基于视频语义的人脸识别结果处理方法的另一个实施例的示意性流程图；图3是根据本申请的基于视频语义的人脸识别结果处理装置的一个实施例的示意性框图；图4是根据本申请的基于视频语义的人脸识别结果处理装置的另一个实施例的示意性框图；图5是本申请的计算设备的一个实施例的框图；图6是本申请的计算机可读存储介质的一个实施例的框图。具体实施方式根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。本申请的一个实施方案提供了一种基于视频语义的人脸识别结果处理方法。图1是根据本申请的基于视频语义的人脸识别结果处理方法的一个实施例的示意性流程图。该方法可以包括：S100人脸检测步骤：对视频进行人脸的检测和跟踪，得到若干个视频片段，其中，视频片段中的每一个视频帧均包括同一人物的脸部；S200人脸识别步骤：对每个视频片段中的人脸进行识别，得到该视频片段中的人物姓名；S300视频片段合并步骤：在前后两个视频片段的间隔小于或者等于第一阈值的情况下，如果这两个视频片段中的人物姓名相同并且视频片段的相似度大于或者等于第二阈值，则将这两个视频片段合并。采用该方法，能够通过对给定视频进行人脸检测追踪识别，即使在追踪断掉的情况下，通过分析视频片段的间隔、人物姓名和相似度，将同一人物的视频片段合并，弥补了检测追踪识别过程的不足，避免了分割结果的碎片化，提高识别结果的准确度。在一个可选实施方案中，所述S100人脸检测步骤包括：对于视频中的每一个视频帧，通过分类器进行人脸检测，对检测到的人脸进行跟踪，将包括同一人物的脸部的连续的视频本文档来自技高网...

【技术保护点】
1.一种基于视频语义的人脸识别结果处理方法，包括：人脸检测步骤：对视频进行人脸的检测和跟踪，得到若干个视频片段，其中，所述视频片段中的每一个视频帧均包括同一人物的脸部；人脸识别步骤：对每个视频片段中的人脸进行识别，得到该视频片段中的人物姓名；和视频片段合并步骤：在前后两个视频片段的间隔小于或者等于第一阈值的情况下，如果这两个视频片段中的人物姓名相同并且视频片段的相似度大于或者等于第二阈值，则将这两个视频片段合并。

【技术特征摘要】
1.一种基于视频语义的人脸识别结果处理方法，包括：人脸检测步骤：对视频进行人脸的检测和跟踪，得到若干个视频片段，其中，所述视频片段中的每一个视频帧均包括同一人物的脸部；人脸识别步骤：对每个视频片段中的人脸进行识别，得到该视频片段中的人物姓名；和视频片段合并步骤：在前后两个视频片段的间隔小于或者等于第一阈值的情况下，如果这两个视频片段中的人物姓名相同并且视频片段的相似度大于或者等于第二阈值，则将这两个视频片段合并。2.根据权利要求1所述的方法，其特征在于，所述人脸检测步骤包括：对于视频中的每一个视频帧，通过分类器进行人脸检测，对检测到的人脸进行跟踪，将包括同一人物的脸部的连续的视频帧作为一个视频片段，从而将所述视频划分为若干个视频片段。3.根据权利要求1所述的方法，其特征在于，所述人脸识别步骤包括：人脸截图选取步骤：对于每一个视频片段，选取该视频片段中的人脸截图；和识别步骤：利用神经网络对所述人脸截图进行人脸识别，得到该视频片段中的人物姓名。4.根据权利要求1至3中任一项所述的方法，其特征在于，在所述视频片段合并步骤中，所述视频片段的相似度的计算步骤包括：分别将前一个视频片段的最后一个视频帧和后一个视频片段的第一个视频帧缩小到第一数量的像素个数，将每个像素的灰度进行量化处理，将量化后每个像素的灰度与该视频帧的灰度平均值进行比较，大于或等于所述灰度平均值的记为1，小于所述灰度平均值的记为0，从而得到每个视频帧的指纹序列，将两个指纹序列中对应位置大小相同的数值的个数作为所述视频片段的相似度。5.根据权利要求1所述的方法，其特征在于，在所述视频片段合...

【专利技术属性】
技术研发人员：沈灿，
申请(专利权)人：北京影谱科技股份有限公司，
类型：发明
国别省市：北京,11