一种人脸样本集获取方法、系统及设备技术方案

本发明专利技术公开了一种人脸样本集获取方法、系统及设备，本发明专利技术通过分别对视频集中每个短视频的每一帧进行人脸检测以及人脸跟踪，获得各短视频对应的第一对象图片合集，根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，获得每个人物对象的最终人脸图片集，提取每个人物对象最终人脸图片集中的人脸特征并进行标注，得到人脸样本集。本发明专利技术实施例在获得人脸样本集的过程中不需要人为参与，通过计算人脸图片间的相似度对人脸图片集进行合并以及通过对人脸特征提取从而实现对每个对象的人脸图片进行标注，减轻手工标注的人力成本，提高了图像的标注效率。

【技术实现步骤摘要】
一种人脸样本集获取方法、系统及设备
本专利技术涉及人脸识别领域，尤其涉及一种人脸样本集获取方法、系统及设备。
技术介绍
目前，随着互联网和手机终端的快速发展，互联网已经渗透入人们生活的方方面面之中。在短视频软件层出不穷的情况下，越来越多的人民群众开始热衷于发布自己的生活短视频到网络端，这对人脸识别而言是个巨大的机遇，若能够充分的利用这些海量的网络资源，将其应用到人脸识别的数据集中的话，对于人脸识别技术的提升具有重要的意义。人脸识别作为当前安防领域的关键技术，对于识别准确率有着很高的要求。当前主流的人脸识别技术都是基于深度学习方法，使用卷积神经网络训练出一个特征提取器，最后计算人脸之间的距离，进而判断人脸是否匹配。人脸识别的高准确率非常依赖于大批量的人脸数据，但使用人工处理大量的人脸数据，标注成本非常昂贵，而当前短视频的蓬勃发展给人脸数据的采集提供了极大的便利，若能够充分的利用短视频的数据，并结合人脸相关的算法自动化生成人脸图片样本，将有利于人脸识别技术的发展。目前对人脸进行标注的方法通常为以下几种：1)在固定环境下，拍摄人脸各种不同的角度以及表情。对于人脸数据的采集，通常依赖于固定的视频录制设备，在同样的环境下录制多姿态人脸，保存成一个视频，并利用人脸检测算法提取该视频中的人脸样本，生成一个新的ID，此方法适用于少量数据的情形。2)在开放环境下，人员配合监控设备进行拍摄。在真实的监控环境下，一个或多个人员在该场景下模拟规定的动作，对人脸数据进行采集，之后再对监控视频进行人工标注。3)图片搜索引擎检索名人脸数据，或从影视视频中截取。在各大搜索引擎下载网络上的名人明星图片或影视作品，这是目前公开数据集常用方案。然而，目前的人脸标注方法具有以下不足：固定环境下的方案对于人脸的采集环境太过单一，难以满足实际场景中复杂环境的影响；并且录制的人脸大小固定，难以满足实际场景中对于人脸的多尺度需求；对于人脸的姿态、角度变化不够丰富，导致大量的相似人脸样本。开放场景下的方案需要耗费巨大的人力物力资源，且数据集制作周期很长。搜索引擎检索方案下载的名人明星图片与实际场景的图片差别很大，会影响最终的人脸识别模型的泛化能力。
技术实现思路
本专利技术提供了一种人脸样本集获取方法、系统及设备，本专利技术在获得人脸样本集的过程中不需要人为参与，减轻手工标注的人力成本，提高了图像的标注效率。为了解决上述技术问题，本专利技术实施例提供了一种人脸样本集获取方法，包括以下步骤：分别对视频集中每个短视频的每一帧进行人脸检测以及人脸跟踪，获得各短视频对应的第一对象图片合集；其中，所述视频集包括多个短视频；每个第一对象图像合集包括多个人物对象各自对应的人脸图片集；根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，分别获得每个人物对象对应的第二对象图片合集，基于每个人物对象对应的第二对象图片合集获得每个人物对象的最终人脸图片集；其中，每个第二对象图片合集包括同一人物对象对应的多个子集，每个子集中包含有同一人物对象对应的多张人脸图片；分别提取每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，并根据提取的人脸特征，依次对每一张人脸图片进行标注，获得每个人物对象对应的人脸样本集，继而获得所有人物对象的人脸样本总集。优选的，分别对视频集中每个短视频的每一帧进行人脸检测以及人脸跟踪，获得各短视频对应的第一对象图片合集的具体过程如下：对每个短视频中的每一帧进行人脸检测，得到每一帧中每个人物的人脸框；提取每个短视频中每一帧中每个人物的人脸框的人脸特征，采用人脸跟踪算法对每个短视频中每一帧的人脸特征进行跟踪，将在同一短视频内跟踪到的具有相同人脸特征的每一帧保存为同一人物对象的人脸图片集，得到每个短视频对应的第一对象脸图片合集。优选的，根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，分别获得每个人物对象对应的第二对象图片合集的具体过程如下：计算每个短视频第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，当任意一个人物对象对应的人脸图片集与其他人物对象对应的人脸图片集的相似度大于预先设置的第一阈值时，则将此两个人物对象所对应的人脸图片集进行合并；计算所有短视频中各个人物对象所对应的人脸图片集之间的相似度，当不同短视频之间任意两个人物对象所对应的人脸图片集之间的相似度大于预先设置的第二阈值时，将此两个人物对象所对应的人脸图片集作为同一人物对象对应的子集进行合并，当所有短视频中的各个人物对象都完成合并时，得到每个人物对象对应的第二对象图片合集。优选的，所述人脸图片集之间的相似度为人脸图片集之间的余弦距离。优选的，基于每个人物对象对应的第二对象图片合集获得每个人物对象的最终人脸图片集的具体过程为：从每个人物对象对应的第二对象图片合集中选择出人脸图片数目最多的子集，将其作为每个人物对象的最终人脸图片集。优选的，分别提取每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，并根据提取的人脸特征，依次对每一张人脸图片进行标注，获得每个人物对象对应的人脸样本集，继而获得所有人物对象的人脸样本总集的具体过程为：分别采用人脸姿态估计算法、人脸属性识别算法以及人脸区域明度算法提取每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，根据提取到的人脸特征，依次将每一张人脸图片标记为难样本或易样本，从而获得每个人物对象对应的人脸样本集，继而获得所有人物对象的人脸样本总集优选的，人脸姿态估计算法用于提取出每一张人脸图片的人脸是正脸还是侧脸；人脸属性识别算法用于提取出每一张人脸图片的人脸性别、表情、是否戴口罩以及是否戴墨镜；人脸区域明度算法用于计算出每一张人脸图片的明度平均值，根据明度平均值判定该人脸图片是否为强光照人脸或低光照人脸。优选的，若每个对象的最终人脸图片集中的人脸图片具有侧脸、戴口罩、戴墨镜、强光照人脸以及低光照人脸其中一个特征，则将该人脸图片标记为难样本，否则标记为易样本。为了进一步对本专利技术的方案进行说明，本专利技术还提供了一种人脸样本集获取系统，包括图片合集生成模块、合并模块以及标注模块；图片合集生成模块用于分别对视频集中每个短视频的每一帧进行人脸检测以及人脸跟踪，获得各短视频对应的第一对象图片合集；其中，所述视频集包括多个短视频；每个第一对象图像合集包括多个人物对象各自对应的人脸图片集；合并模块用于根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，分别获得每个人物对象对应的第二对象图片合集，从而获得每个人物对象的最终人脸图片集；其中，每个第二对象图片合集包括同一人物对象对应的多个子集，每个子集中包含有同一人物对象对应的人脸图片；标注模块用于分别本文档来自技高网...

【技术保护点】
1.一种人脸样本集获取方法，其特征在于，包括：/n分别对视频集中每个短视频的每一帧进行人脸检测以及人脸跟踪，获得各短视频对应的第一对象图片合集；其中，所述视频集包括多个短视频；每个第一对象图像合集包括多个人物对象各自对应的人脸图片集；/n根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，分别获得每个人物对象对应的第二对象图片合集，基于每个人物对象对应的第二对象图片合集获得每个人物对象的最终人脸图片集；其中，每个第二对象图片合集包括同一人物对象对应的多个子集，每个子集中包含有同一人物对象对应的多张人脸图片；/n分别提取每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，并根据提取的人脸特征，依次对每一张人脸图片进行标注，获得每个人物对象对应的人脸样本集，继而获得所有人物对象的人脸样本总集。/n

【技术特征摘要】
1.一种人脸样本集获取方法，其特征在于，包括：
分别对视频集中每个短视频的每一帧进行人脸检测以及人脸跟踪，获得各短视频对应的第一对象图片合集；其中，所述视频集包括多个短视频；每个第一对象图像合集包括多个人物对象各自对应的人脸图片集；
根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，分别获得每个人物对象对应的第二对象图片合集，基于每个人物对象对应的第二对象图片合集获得每个人物对象的最终人脸图片集；其中，每个第二对象图片合集包括同一人物对象对应的多个子集，每个子集中包含有同一人物对象对应的多张人脸图片；
分别提取每个人物对象的最终人脸图片集中每一张人脸图片的人脸特征，并根据提取的人脸特征，依次对每一张人脸图片进行标注，获得每个人物对象对应的人脸样本集，继而获得所有人物对象的人脸样本总集。


2.根据权利要求1所述的一种人脸样本集获取方法，其特征在于，分别对视频集中每个短视频的每一帧进行人脸检测以及人脸跟踪，获得各短视频对应的第一对象图片合集的具体过程如下：
对每个短视频中的每一帧进行人脸检测，得到每一帧中每个人物的人脸框；
提取每个短视频中每一帧中每个人物的人脸框的人脸特征，采用人脸跟踪算法对每个短视频中每一帧的人脸特征进行跟踪，将在同一短视频内跟踪到的具有相同人脸特征的每一帧保存为同一人物对象的人脸图片集，得到每个短视频对应的第一对象脸图片合集。


3.根据权利要求1所述的一种人脸样本集获取方法，其特征在于，根据每个第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，对所有短视频内的各人物对象对应的人脸图片集进行合并，分别获得每个人物对象对应的第二对象图片合集的具体过程如下：
计算每个短视频第一对象图片合集中各人物对象对应的人脸图片集之间的相似度，当任意一个人物对象对应的人脸图片集与其他人物对象对应的人脸图片集的相似度大于预先设置的第一阈值时，则将此两个人物对象所对应的人脸图片集进行合并；
计算所有短视频中各个人物对象所对应的人脸图片集之间的相似度，当不同短视频之间任意两个人物对象所对应的人脸图片集之间的相似度大于预先设置的第二阈值时，将此两个人物对象所对应的人脸图片集作为同一人物对象对应的子集进行合并，当所有短视频中的各个人物对象都完成合并时，得到每个人物对象对应的第二对象图片合集。


4.根据权利要求3所述的一种人脸样本集获取方法，其特征在于，所述人脸图片集之间的相似度为人脸图片集之间的余弦距离。


5.根据权利要求4所述的一种人脸样本集获取方法，其特征在于，基于每个人物对象对应的第二对象图片合集获得每个人物对象的最终人脸图片集的具体...

【专利技术属性】
技术研发人员：朱贵冬，尹文宾，詹金豪，刘鹏，
申请(专利权)人：广州海格星航信息科技有限公司，
类型：发明
国别省市：广东;44