一种基于人脸聚类的视频编目方法、检索方法及其系统技术方案

本发明专利技术提供一种基于人脸聚类的视频编目方法、检索方法及其系统，方法包括以下步骤：对视频文件进行镜头切分；对视频镜头进行人脸检测，得到人脸图片及相关信息；对检测出的人脸图片进行去重；对去重后的人脸图片进行人脸特征提取，将提取到的人脸特征存入人脸特征库；根据人脸特征，对人脸图片进行特征聚类；对人脸类别库中存储的各个人脸类别进行人工标注；根据人工标注后的人脸类别和类别中人脸的相关信息，自动生成人脸元数据，将所述人脸元数据增加到原始编目文件中，得到最终的视频编目文件。具有以下优点：对视频文件进行自动编目，准确高效，大大节省人力；不需要预制人脸样本库；提供基于人名和图片的视频检索功能，具有检索方便、高效的优点。

【技术实现步骤摘要】
【专利摘要】本专利技术提供一种基于人脸聚类的视频编目方法、检索方法及其系统，方法包括以下步骤：对视频文件进行镜头切分；对视频镜头进行人脸检测，得到人脸图片及相关信息；对检测出的人脸图片进行去重；对去重后的人脸图片进行人脸特征提取，将提取到的人脸特征存入人脸特征库；根据人脸特征，对人脸图片进行特征聚类；对人脸类别库中存储的各个人脸类别进行人工标注；根据人工标注后的人脸类别和类别中人脸的相关信息，自动生成人脸元数据，将所述人脸元数据增加到原始编目文件中，得到最终的视频编目文件。具有以下优点：对视频文件进行自动编目，准确高效，大大节省人力；不需要预制人脸样本库；提供基于人名和图片的视频检索功能，具有检索方便、高效的优点。【专利说明】一种基于人脸聚类的视频编目方法、检索方法及其系统
本专利技术属于视频编目
，具体涉及一种基于人脸聚类的视频编目方法、检索方法及其系统。
技术介绍
视频编目是指对视频文件进行整理和提炼的过程，将其中有价值的画面和资料整理成为独立的文件，便于检索和再利用。现有的视频编目方法主要为基于人脸识别的视频编目方法，例如，申请号为201110453762.3的专利申请公开了一种基于人脸识别技术的自动编目方法，具体包括:接收人脸素材库；接收多媒体文件；根据所述视频文件获取关键帧记录及与之对应的关键帧数据画面；根据所述关键帧数据画面获取关键帧人脸画面；根据所述关键帧人脸画面查询所述人脸素材库人脸画面信息，获取匹配人脸素材文本信息；根据所述关键帧记录对所述音频文件进行语言识别获取关键帧编目文本；根据所述关键帧记录在所述关键帧编目文本中合并所述人脸素材文本信息，获取编目文件。该专利申请解决了无法通过视频文件进行编目文件生成及编辑的问题，提高了编目文件生成及处理的精度与灵活性，节约了系统成本，减少了错误率，并且具有更广泛的实用性。但是，在实现本专利技术的过程中，专利技术人发现，上述专利申请至少具有以下不足:(I)需要提前建立人脸样本库:该方法需要提前建立并维护一个关键人物样本库，在人物样本库中预制感兴趣人物的人脸样本，利用该人脸样本库对视频进行编目；(2)只支持利用关键人物进行编目:该方法只能识别样本库中的关键人物，导致其他大部分人物信息丢失，编目信息缺乏完整性；(3)可能存在滞后性:如果调整人脸样本库，那么已存在的编目信息不会自动更新，会出现滞后性。
技术实现思路
针对现有技术存在的缺陷，本专利技术提供一种基于人脸聚类的视频编目方法、检索方法及其系统，解决了无法通过视频文件自动生成完整的人脸元数据和无法利用人物姓名或者图片自动检索视频的问题。本专利技术采用的技术方案如下:本专利技术提供一种基于人脸聚类的视频编目方法，包括以下步骤:SI，接收待编目的视频文件，对所述视频文件进行镜头切分，得到视频镜头序列；S2，对视频镜头序列中的每个视频镜头进行人脸检测，获得每个镜头中出现的各个人物的人脸图片及其相关信息；S3，对检测出的人脸图片进行去重，去除同一个镜头中同一个人重复的人脸图片;S4，对去重后的人脸图片进行人脸特征提取，将提取到的人脸特征存入人脸特征库；S5，根据人脸特征库中存储的人脸特征，对通过S3得到的各张人脸图片进行特征聚类，将同一个人不同镜头或视频片段中得到的人脸图片聚合在同一个人脸类别中，不同人的人脸图片被分配到不同的人脸类别中，将各个人物的人脸类别存储到人脸类别库中；S6，对人脸类别库中存储的各个人脸类别进行人工标注；S7，根据人工标注后的人脸类别和类别中人脸的相关信息，自动生成人脸元数据，将所述人脸元数据增加到原始编目文件中，得到最终的视频编目文件。优选的，SI中，所述镜头切分包括针对镜头突变的镜头切分、针对镜头渐变的镜头切分。优选的，S2中，所述对视频镜头序列中的每个视频镜头进行人脸检测包括以下步骤:以Td为时间间隔从每个视频镜头抽取若干个视频关键帧；对每个视频关键帧进行人脸检测，检测得到所述视频关键帧中包含的所有人脸图像，每一个人脸图像均生成一张人脸图片；另外，还生成检测得到的人脸图像的相关信息，所述相关信息包括对应的镜头编号、人物在视频中出现的时间、人脸在视频画面中的位置、人脸图像的大小。优选的，S3中，所述对检测出的人脸图片进行去重包括执行以下步骤:S3.1，建立临时存储空间，即人脸堆栈；对于一个视频镜头，初始化人脸堆栈的人脸数Nface为O,初始化视频关键巾贞的巾贞序号η为I ;S3.2,读取视频关键巾贞V (η),判断Nface是否等于0，如果等于，则从视频关键中贞V(η)中提取所有人脸图片、以及各张人脸图片在视频关键帧V(n)中的位置坐标，设提取到m个人脸图片；然后将所有人脸图片和位置坐标存储到人脸堆栈中，并更新Nface为m ;其中，m > I ;如果Nface大于O,设Nface = w,则在视频关键巾贞V (η)中对人脸堆栈中的w个人脸进行跟踪，即:对于人脸堆栈中的人脸F (k)，k e {1,2,..., w}，读取其位置坐标，如果在V(η)的相应位置处检测出了人脸F%则认为该人脸F(k)在V(n)中持续存在，用人脸F*替换堆栈中的人脸F(k)，删除V(n)中的人脸F*;反之，如果对于堆栈中的人脸F(k)，在V(n)的相应位置处没有检测出人脸，则认为该人脸F(k)在V(n)中已消失，则认为人脸F(k)为视频关键帧V(n)中所提取到的人脸图片，输出人脸F(k)，将人脸F(k)从堆栈中删除，并将Nface 减 I ;S3.3，视频关键帧V (η)中未在人脸堆栈中出现的人脸为新出现的人脸，将新出现的人脸及位置坐标添加到人脸堆栈中，并相应增加Nface值；S3.4，检查是否到达视频镜头的最后I个视频关键帧，如果是最后I个视频关键帧，则输出人脸堆栈中存储的人脸图片，结束操作步骤；反之，则令η增加1，转到S3.2。优选的，S4中，所述对去重后的人脸图片进行人脸特征提取，将提取到的人脸特征存入人脸特征库包括以下步骤:对人脸图片进行旋转和缩放，生成固定尺寸的规范化图片；对规范化人脸图片进行人脸特征提取；将提取到的人脸特征存入人脸特征库。优选的，S5中，所述根据人脸特征库中存储的人脸特征，对通过S3得到的各张人脸图片进行特征聚类包括以下步骤:S5.1，建立人脸类别库，初始化人脸类别数Nclass为0，人脸类别库为空；S5.2，读取ー个新的人脸图片的人脸特征T (n)，如果人脸类别数Nclass大于0，设人脸类别数Nclass值为b,查询全部的人脸类另Ij Class (k)，k G {1,2,...，b},计算T(n)与Class (k)之间的相似度S(n,k);选择与T(n)相似度最大的人脸类别Class (1?),对应的相似度记为S(n，k0)；35.3，如果3(11，k0)大于或等于阈值Th，则认为人脸特征T(n)属于人脸类别ClassGO，将T(n)及对应的人脸图片和相关信息添加到Class (1?)中，转到S5.4 ；反之，如果S(n，k0)小于阈值Th，则认为人脸特征T(n)不属于已有的人脸类另IJ，创建ー个新的类别Class (Nclass+1)，将T(n)及对应的人脸图片和相关信息添加到Class (Nclass+1)中，最后将该类别加入人脸类别库,并将Ncla本文档来自技高网...

【技术保护点】
一种基于人脸聚类的视频编目方法，其特征在于，包括以下步骤：S1，接收待编目的视频文件，对所述视频文件进行镜头切分，得到视频镜头序列；S2，对视频镜头序列中的每个视频镜头进行人脸检测，获得每个镜头中出现的各个人物的人脸图片及其相关信息；S3，对检测出的人脸图片进行去重，去除同一个镜头中同一个人重复的人脸图片；S4，对去重后的人脸图片进行人脸特征提取，将提取到的人脸特征存入人脸特征库；S5，根据人脸特征库中存储的人脸特征，对通过S3得到的各张人脸图片进行特征聚类，将同一个人不同镜头或视频片段中得到的人脸图片聚合在同一个人脸类别中，不同人的人脸图片被分配到不同的人脸类别中，将各个人物的人脸类别存储到人脸类别库中；S6，对人脸类别库中存储的各个人脸类别进行人工标注；S7，根据人工标注后的人脸类别和类别中人脸的相关信息，自动生成人脸元数据，将所述人脸元数据增加到原始编目文件中，得到最终的视频编目文件。

【技术特征摘要】

【专利技术属性】
技术研发人员：段胜业，唐小军，孙剑，
申请(专利权)人：北京中视广信科技有限公司，
类型：发明
国别省市：