一种基于人脸的视频标注方法和视频检索方法技术

本发明专利技术提供一种基于人脸的视频标注方法和视频检索方法，标注方法包括：提取待标注视频中的人脸画面及对应的人脸特征，将人脸特征及其属性信息合并后得到人脸元数据；对待标注视频文件中获得的所有人脸特征进行自动特征聚类，然后对特征类别进行特征筛选和特征召回，得到特征类别集合P2和未分类特征集合Q2；对于P2中的各个元素，进行所属特征类别推荐并人工确认，对于Q2中的各个元素，进行未分类人脸特征推荐并人工确认，对特征类别和未分类特征进行姓名标注，利用标注后的特征类别与未分类人脸特征信息组成该视频文件的视频标注文件。在视频标注过程中，将程序自动推荐与人工确认结合起来，既保证了结果的准确性，又提高了效率。

【技术实现步骤摘要】
一种基于人脸的视频标注方法和视频检索方法
本专利技术属于视频编目
，具体涉及一种基于人脸的视频标注方法和视频检索方法。
技术介绍
基于人脸的视频标注是指对视频中包含的人脸进行提取并标注，将视频中所有人脸标注完成并整理成标注文件，便于检索和再利用。现有的涉及基于人脸的视频标注方法的专利主要有基于人脸识别或人脸聚类的视频编目方法，例如，申请号为201110453762.3的专利申请公开了一种基于人脸识别技术的自动编目方法，具体包括：接收人脸素材库；接收多媒体文件；根据所述视频文件获取关键帧记录及与之对应的关键帧数据画面；根据所述关键帧数据画面获取关键帧人脸画面；根据所述关键帧人脸画面查询所述人脸素材库人脸画面信息，获取匹配人脸素材文本信息；根据所述关键帧记录对所述音频文件进行语言识别获取关键帧编目文本；根据所述关键帧记录在所述关键帧编目文本中合并所述人脸素材文本信息，获取编目文件。该专利解决了无法通过视频文件自动生成基于人脸的编目文件的问题，提高了基于人脸的视频编目的自动化程度，节省了人力成本。但是，在实现本专利技术的过程中，专利技术人发现，上述专利申请至少具有以下不足：(1)需要提前建立人脸样本库：该方法需要提前建立并维护一个关键人物样本库，在人物样本库中预制感兴趣人物的人脸样本，借助该人脸样本库对视频进行人脸标注；(2)仅支持对关键人物进行标注：该方法只能识别样本库中的关键人物，导致其他大部分人物信息丢失。
技术实现思路
针对现有技术存在的缺陷，本专利技术提供一种基于人脸的视频标注方法和视频检索方法，用以解决上述问题。本专利技术采用的技术方案如下：本专利技术提供一种基于人脸的视频标注方法，包括以下步骤：S1，当需要对某一视频文件进行视频标注时，导入待标注视频文件；S2，对所述待标注视频文件进行镜头切分，得到视频镜头序列；S3，对所述视频镜头序列中的每个视频镜头提取若干个关键帧，然后对所述关键帧进行人脸检测，获得每个镜头中出现的各个人物的人脸图片；其中，所述关键帧指视频序列中具有代表性的视频帧；S4，对所述人脸图片进行预处理；S5，对预处理后的人脸图片进行人脸特征提取，得到与每张人脸图片唯一对应的人脸特征；S6，获得每一个人脸特征的属性信息，将人脸特征及其属性信息合并后即得到原始的人脸元数据；其中，所述人脸特征的属性信息包括：该人脸特征所属的视频文件的视频ID、该人脸特征在所述视频文件中所属镜头的镜头序号、该人脸特征在所属镜头中的视频帧序号、该人脸特征在所属视频文件中出现时间、该人脸特征对应的人脸图片的保存路径、该人脸特征为未分类状态、该人脸特征所属的特征类别ID为0；其中，该人脸特征所属的特征类别ID指：该人脸特征所属的特征类别在特征类别库中的标识，初始态时，该人脸特征所属的特征类别ID为0；该人脸特征是否已分类具体包括两种状态：人脸特征已分类状态和人脸特征未分类状态，初始态时，每一个人脸特征均为未分类状态；S7，将所述待标注视频文件中获得的所有原始的人脸元数据存入预建立的人脸特征库；S8，将所述待标注视频文件中获得的所有人脸特征进行自动特征聚类，设共有N个人脸特征，将相似度超过第一阈值的若干个人脸特征聚为一个特征类别，由此得到由多个特征类别组成的特征类别集合P0；将与其他任何一个人脸特征之间的相似度均低于第一阈值的人脸特征聚合在一起，形成未分类特征集合Q0；S9，对S8形成的特征类别集合P0中的每一个特征类别进行特征筛选，判断每一个特征类别中是否存在分类错误的人脸特征，若存在，则将该分类错误的人脸特征从其所在的特征类别删除，并将该分类错误的人脸特征添加到未分类特征集合Q0，由此得到筛选后的特征类别集合P1和未分类特征集合Q1；同时，在人脸特征库中更新特征类别集合P1中所有人脸特征的属性信息，将人脸特征从未分类状态更新为已分类状态；S10，在得到特征类别集合P1后，对于特征类别集合P1中的每一个特征类别P1-i，进行特征类别召回操作，召回漏掉的人脸特征，即：判断人脸特征库中是否存在与特征类别P1-i相似度超过第二阈值的至少一个未分类的人脸特征i，如果有，则将得到的各个人脸特征i添加到推荐特征集合FeatureSet中；然后，人工判断推荐特征集合FeatureSet中是否存在与特征类别P1-i属于同一个人的人脸特征，如果有，则将该人脸特征i添加到特征类别P1-i中，同时将人脸特征库中该人脸特征i的属性由未分类状态修改为已分类状态，由此得到召回后的特征类别集合P2和未分类特征集合Q2；S11，预建立有特征类别库，该特征类别库存储其他多个视频标注得到的特征类别集合P3，对于本次导入视频形成的特征类别集合P2，每当特征类别集合P2中的一个特征类别按S12中的方法进行标注后，即将标注后的特征类别移入特征类别集合P4；初始时，特征类别集合P4为空；对于特征类别集合P2，执行S12；对于未分类特征集合Q2，执行S13；S12，对于特征类别集合P2中的任何一个元素，记为特征类别j，均执行以下步骤：S12.1，判断特征类别集合P3和P4中是否存在与特征类别j相似度超过第三阈值的特征类别，如果存在，则执行S12.2；如果不存在，则执行S12.4；S12.2，将与特征类别j相似度超过第三阈值的特征类别称为推荐特征类别；然后将特征类别集合P3和P4中的所有推荐特征类别组成一个推荐类别集合S；然后执行S12.3；S12.3，人工判断推荐类别集合S中是否存在与特征类别j属于同一个人的推荐特征类别；如果存在，则人工选择某个相应的推荐特征类别C0，若C0属于P4，则将特征类别j并入C0；若C0属于P3，则向特征类别j中增加以下标记信息：与推荐特征类别C0属于同一个人；如果C0对应的姓名为“陌生人”，则执行S12.4；如果不存在，则不向特征类别j中增加标记信息，然后执行S12.4；S12.4，对特征类别j进行姓名标注，若知道特征类别j对应的人物姓名，则将特征类别j对应的人物姓名标注到特征类别j上，并将特征类别j标记为已标注；然后，将特征类别j存入特征类别集合P4；若不知道特征类别j对应的人物姓名，则将特征类别j的人物姓名标注为“陌生人”，并将特征类别j标记为已标注；然后，将特征类别j存入特征类别集合P4；S13，对于未分类特征集合Q2中的任何一个元素，记为未分类人脸特征k，均执行以下步骤：S13.1，判断人脸特征库中是否存在与未分类人脸特征k相似度超过第四阈值的未分类人脸特征，如果有，则将与未分类人脸特征k相似度超过第四阈值的未分类人脸特征称为推荐未分类人脸特征；然后，将人脸特征库中的所有推荐未分类人脸特征组成一个推荐未分类人脸特征集合f；S13.2，人工判断推荐未分类人脸特征集合f中是否存在与未分类人脸特征k属于同一个人的推荐未分类人脸特征，如果存在，将该推荐未分类人脸特征与未分类人脸特征k组成一个新特征类别，将该新特征类别加入到S8获得的特征类别集合P0中，转到S8重新执行S8-S12；同时，将该推荐未分类人脸特征在人脸数据库中的状态更新为已分类状态，将该未分类人脸特征k在人脸数据库中的状态更新为已分类状态；如果不存在，则判断特征类别集合P3和P4中是否存在与未分类人脸特征k相似度超过第五阈值的特征类别，如果存在，则执行S13.3；如果不本文档来自技高网...

【技术保护点】
一种基于人脸的视频标注方法，其特征在于，包括以下步骤：S1，当需要对某一视频文件进行视频标注时，导入待标注视频文件；S2，对所述待标注视频文件进行镜头切分，得到视频镜头序列；S3，对所述视频镜头序列中的每个视频镜头提取若干个关键帧，然后对所述关键帧进行人脸检测，获得每个镜头中出现的各个人物的人脸图片；其中，所述关键帧指视频序列中具有代表性的视频帧；S4，对所述人脸图片进行预处理；S5，对预处理后的人脸图片进行人脸特征提取，得到与每张人脸图片唯一对应的人脸特征；S6，获得每一个人脸特征的属性信息，将人脸特征及其属性信息合并后即得到原始的人脸元数据；其中，所述人脸特征的属性信息包括：该人脸特征所属的视频文件的视频ID、该人脸特征在所述视频文件中所属镜头的镜头序号、该人脸特征在所属镜头中的视频帧序号、该人脸特征在所属视频文件中出现时间、该人脸特征对应的人脸图片的保存路径、该人脸特征为未分类状态、该人脸特征所属的特征类别ID为0；其中，该人脸特征所属的特征类别ID指：该人脸特征所属的特征类别在特征类别库中的标识，初始态时，该人脸特征所属的特征类别ID为0；该人脸特征是否已分类具体包括两种状态：人脸特征已分类状态和人脸特征未分类状态，初始态时，每一个人脸特征均为未分类状态；S7，将所述待标注视频文件中获得的所有原始的人脸元数据存入预建立的人脸特征库；S8，将所述待标注视频文件中获得的所有人脸特征进行自动特征聚类，设共有N个人脸特征，将相似度超过第一阈值的若干个人脸特征聚为一个特征类别，由此得到由多个特征类别组成的特征类别集合P0；将与其他任何一个人脸特征之间的相似度均低于第一阈值的人脸特征聚合在一起，形成未分类特征集合Q0；S9，对S8形成的特征类别集合P0中的每一个特征类别进行特征筛选，判断每一个特征类别中是否存在分类错误的人脸特征，若存在，则将该分类错误的人脸特征从其所在的特征类别删除，并将该分类错误的人脸特征添加到未分类特征集合Q0，由此得到筛选后的特征类别集合P1和未分类特征集合Q1；同时，在人脸特征库中更新特征类别集合P1中所有人脸特征的属性信息，将人脸特征从未分类状态更新为已分类状态；S10，在得到特征类别集合P1后，对于特征类别集合P1中的每一个特征类别P1‑i，进行特征类别召回操作，召回漏掉的人脸特征，即：判断人脸特征库中是否存在与特征类别P1‑i相似度超过第二阈值的至少一个未分类的人脸特征i，如果有，则将得到的各个人脸特征i添加到推荐特征集合FeatureSet中；然后，人工判断推荐特征集合FeatureSet中是否存在与特征类别P1‑i属于同一个人的人脸特征，如果有，则将该人脸特征i添加到特征类别P1‑i中，同时将人脸特征库中该人脸特征i的属性由未分类状态修改为已分类状态，由此得到召回后的特征类别集合P2和未分类特征集合Q2；S11，预建立有特征类别库，该特征类别库存储其他多个视频标注得到的特征类别集合P3，对于本次导入视频形成的特征类别集合P2，每当特征类别集合P2中的一个特征类别按S12中的方法进行标注后，即将标注后的特征类别移入特征类别集合P4；初始时，特征类别集合P4为空；对于特征类别集合P2，执行S12；对于未分类特征集合Q2，执行S13；S12，对于特征类别集合P2中的任何一个元素，记为特征类别j，均执行以下步骤：S12.1，判断特征类别集合P3和P4中是否存在与特征类别j相似度超过第三阈值的特征类别，如果存在，则执行S12.2；如果不存在，则执行S12.4；S12.2，将与特征类别j相似度超过第三阈值的特征类别称为推荐特征类别；然后将特征类别集合P3和P4中的所有推荐特征类别组成一个推荐类别集合S；然后执行S12.3；S12.3，人工判断推荐类别集合S中是否存在与特征类别j属于同一个人的推荐特征类别；如果存在，则人工选择某个相应的推荐特征类别C0，若C0属于P4，则将特征类别j并入C0；若C0属于P3，则向特征类别j中增加以下标记信息：与推荐特征类别C0属于同一个人；如果C0对应的姓名为“陌生人”，则执行S12.4；如果不存在，则不向特征类别j中增加标记信息，然后执行S12.4；S12.4，对特征类别j进行姓名标注，若知道特征类别j对应的人物姓名，则将特征类别j对应的人物姓名标注到特征类别j上，并将特征类别j标记为已标注；然后，将特征类别j存入特征类别集合P4；若不知道特征类别j对应的人物姓名，则将特征类别j的人物姓名标注为“陌生人”，并将特征类别j标记为已标注；然后，将特征类别j存入特征类别集合P4；S13，对于未分类特征集合Q2中的任何一个元素，记为未分类人脸特征k，均执行以下步骤：S13.1，判断人脸特征库中是否存在与未分类人脸特征k相似度超过第四阈值的未分类人脸特征，如果有，则将与未分类人脸特征...

【技术特征摘要】
1.一种基于人脸的视频标注方法，其特征在于，包括以下步骤：S1，当需要对某一视频文件进行视频标注时，导入待标注视频文件；S2，对所述待标注视频文件进行镜头切分，得到视频镜头序列；S3，对所述视频镜头序列中的每个视频镜头提取若干个关键帧，然后对所述关键帧进行人脸检测，获得每个镜头中出现的各个人物的人脸图片；其中，所述关键帧指视频序列中具有代表性的视频帧；S4，对所述人脸图片进行预处理；S5，对预处理后的人脸图片进行人脸特征提取，得到与每张人脸图片唯一对应的人脸特征；S6，获得每一个人脸特征的属性信息，将人脸特征及其属性信息合并后即得到原始的人脸元数据；其中，所述人脸特征的属性信息包括：该人脸特征所属的视频文件的视频ID、该人脸特征在所述视频文件中所属镜头的镜头序号、该人脸特征在所属镜头中的视频帧序号、该人脸特征在所属视频文件中出现时间、该人脸特征对应的人脸图片的保存路径、该人脸特征的分类状态、该人脸特征所属的特征类别ID；其中，该人脸特征所属的特征类别ID指：该人脸特征所属的特征类别在特征类别库中的标识，初始态时，该人脸特征所属的特征类别ID为0；该人脸特征是否已分类具体包括两种状态：人脸特征已分类状态和人脸特征未分类状态，初始态时，每一个人脸特征均为未分类状态；S7，将所述待标注视频文件中获得的所有原始的人脸元数据存入预建立的人脸特征库；S8，将所述待标注视频文件中获得的所有人脸特征进行自动特征聚类，设共有N个人脸特征，将相似度超过第一阈值的若干个人脸特征聚为一个特征类别，由此得到由多个特征类别组成的特征类别集合P0；将与其他任何一个人脸特征之间的相似度均低于第一阈值的人脸特征聚合在一起，形成未分类特征集合Q0；S9，对S8形成的特征类别集合P0中的每一个特征类别进行特征筛选，判断每一个特征类别中是否存在分类错误的人脸特征，若存在，则将该分类错误的人脸特征从其所在的特征类别删除，并将该分类错误的人脸特征添加到未分类特征集合Q0，由此得到筛选后的特征类别集合P1和未分类特征集合Q1；同时，在人脸特征库中更新特征类别集合P1中所有人脸特征的属性信息，将人脸特征从未分类状态更新为已分类状态；S10，在得到特征类别集合P1后，对于特征类别集合P1中的每一个特征类别P1-i，进行特征类别召回操作，召回漏掉的人脸特征，即：判断人脸特征库中是否存在与特征类别P1-i相似度超过第二阈值的至少一个未分类的人脸特征i，如果有，则将得到的各个人脸特征i添加到推荐特征集合FeatureSet中；然后，人工判断推荐特征集合FeatureSet中是否存在与特征类别P1-i属于同一个人的人脸特征，如果有，则将该人脸特征i添加到特征类别P1-i中，同时将人脸特征库中该人脸特征i的属性由未分类状态修改为已分类状态，由此得到召回后的特征类别集合P2和未分类特征集合Q2；S11，预建立有特征类别库，该特征类别库存储其他多个视频标注得到的特征类别集合P3，对于本次导入视频形成的特征类别集合P2，每当特征类别集合P2中的一个特征类别按S12中的方法进行标注后，即将标注后的特征类别移入特征类别集合P4；初始时，特征类别集合P4为空；对于特征类别集合P2，执行S12；对于未分类特征集合Q2，执行S13；S12，对于特征类别集合P2中的任何一个元素，记为特征类别j，均执行以下步骤：S12.1，判断特征类别集合P3和P4中是否存在与特征类别j相似度超过第三阈值的特征类别，如果存在，则执行S12.2；如果不存在，则执行S12.4；S12.2，将与特征类别j相似度超过第三阈值的特征类别称为推荐特征类别；然后将特征类别集合P3和P4中的所有推荐特征类别组成一个推荐类别集合S；然后执行S12.3；S12.3，人工判断推荐类别集合S中是否存在与特征类别j属于同一个人的推荐特征类别；如果存在，则人工选择某个相应的推荐特征类别C0，若C0属于P4，则将特征类别j并入C0；若C0属于P3，则向特征类别j中增加以下标记信息：与推荐特征类别C0属于同一个人；如果C0对应的姓名为“陌生人”，则执行S12.4；如果不存在，则不向特征类别j中增加标记信息，然后执行S12.4；S12.4，对特征类别j进行姓名标注，若知道特征类别j对应的人物姓名，则将特征类别j对应的人物姓名标注到特征类别j上，并将特征类别j标记为已标注；然后，将特征类别j存入特征类别集合P4；若不知道特征类别j对应的人物姓名，则将特征类别j的人物姓名标注为“陌生人”，并将特征类别j标记为已标注；然后，将特征类别j存入特征类别集合P4；S13，对于未分类特征集合Q2中的任何一个元素，记为未分类人脸特征k，均执行以下步骤：S13.1，判断人脸特征库中是否存在与未分类人脸特征k相似度超过第四阈值的未分类人脸特征，如果有，则将与未分类人脸特征k相似度超过第四阈值的未分类人脸特征称为推荐未分类人脸特征；然后，将人脸特征库中的所有推荐未分类人脸特征组成一个推荐未分类人脸特征集合f；S13.2，人工判断推荐未分类人脸特征集合f中是否存在与未分类人脸特征k属于同一个人的推荐未分类人脸特征，如果存在，将该推荐未分类人脸特征与未分类人脸特征k组成一个新特征类别，将该新特征类别加入到S8获得的特征类别集合P0中，转到S8重新执行S8-S12；同时，将该推荐未分类人脸特征在人脸数据库中的状态更新为已分类状态，将该未分类人脸特征k在人脸数据库中的状态更新为已分类状态；如果不存在，则判断特征类别集合P3和P4中是否存在与未分类人脸特征k相似度超过第五阈值的特征类别，如果存在，则执行S13.3；如果不存在，则执行S13.4；S13.3，将特征类别集合P3或P4中与未分类人脸特征k相似度超过第五阈值的特征类别组成一个推荐类别集合T；然后人工判断推荐类别集合T中是否存在与未分类人脸特征k属于同一个人的推荐特征类别，如果不存在，则执行S13.4；如果存在，则人工从推荐类别集合T中选择某个相应的特征类别C1，若C1属于P4，则将未分类人脸特征k加入到C1，并将未分类人脸特征k标记为已分类；若C1属于P3，则向未分类人脸特征k中增加以下标记信息：与特征类别C1属于同一个人，并将未分类人脸特征k标记为已分类；如果C1对应的姓名为“陌生人”，则执行S13.5；S13.4，对未分类人脸特征k进行姓名标注，若知道人脸特征k对应的人物姓名，则对应的人物姓名标注到未分类人脸特征k上；若不知道人脸特征k对应的人物姓名，则将未分类...

【专利技术属性】
技术研发人员：段胜业，唐小军，孙剑，
申请(专利权)人：北京中视广信科技有限公司，
类型：发明
国别省市：北京;11