用于高性能人脸识别系统的高质量训练数据准备系统技术方案

提供了用于执行大规模人脸图像训练数据采集、预处理、清洗、均衡化和后处理的人脸图像训练数据准备系统的多个示例。公开的训练数据准备系统用于从互联网采集不同的人的大量的标注图像，然后生成包括错误标注人脸图像的原始训练数据集。该训练数据准备系统然后对该原始训练数据集执行清洗和均衡化操作，从而生成不具有错误标注的高质量人脸图像训练数据集。已处理的高质量人脸图像训练数据集随后可用于训练基于深度神经网络的人脸识别系统，从而在多种人脸识别应用中实现高性能。与传统的人脸识别系统和技术相比，本申请公开的训练数据准备系统和技术提供了全自动、高度确定的高质量训练数据准备程序，无需严重依赖于假设条件。

【技术实现步骤摘要】
用于高性能人脸识别系统的高质量训练数据准备系统
本申请一般涉及机器学习和人工智能领域，更具体而言，涉及为高性能人脸识别系统准备标注人脸图像的高质量训练数据集的系统、装置和技术。
技术介绍
深度学习(DL)是机器学习和人工神经网络的一个基于一组算法的分支，该算法通过使用具有很多个处理层的人工神经网络来试图建模数据中的高层次抽象。典型的DL架构可包括许多层的神经元和数百万个参数。可以在配备有GPU的高速计算机上用海量数据训练这些参数，并由在深层网络也能适用的新的训练算法来指导，诸如修正线性单元(ReLU)、漏失(或丢弃)、数据集增强，以及随机梯度下降(SGD)。深度学习已经在许多人工智能和机器学习领域，诸如人脸识别、图像分类、图像字幕生成、可视问答以及自动驾驶汽车中取得了巨大成功。由于深度学习的技术进步，尤其是将卷积神经网络(CNN)应用于人脸识别任务的巨大成功，人脸识别应用已成为这些应用中最受推崇并且发展最快的应用之一。基于CNN的人脸识别系统通常用于解决一系列问题，这包括人脸检测，即在输入图像中找出所有的人脸；人脸验证，即确认已检测人脸的声称主体是否为该声称主体本人；人脸识别，即基于该已检测人脸识别该人；以及人脸聚类，即在多个已检测人脸中找出同一个人。现有的人脸检测技术已经可达到非常高的精确度和可靠度，然而现有人脸识别系统在精确度和可靠度方面依然具有很大的进步空间。在构建成功的人脸识别系统的众多挑战中，如何构建高质量的训练数据集依然是较为关键和困难的挑战之一。一个有效且可靠的人脸识别系统有赖于大规模、多样化并且精确标注的训练数据集。然而，满足这些要求的训练数据集一般都掌握在控制着大量用户数据的少数网络公司手中。因此，人们不得不通过在网络中挖掘大量的可用数据去构建他们自己的训练数据集。为了完成人脸识别任务，可采用搜索引擎或者网络爬虫从网络中收集人脸图像数据。例如，以名人的姓名作为查询条件通过搜索引擎收集某一名人的图像。因此，从网络中收集的人脸图像数据通常被划分为多组相同标注图像，其中每组标注图像对应于唯一主体的人。然而，从网络中收集的原始人脸图像数据通常是“不干净的”，这是因为每组相同标注图像通常包含不理想的图像，例如标注错误的图像、低质量图像、包含多个人的人脸的图像。虽然可以通过手动“清洗”这些原始数据，以去除这些不良的人脸图像，然而对于大规模原始数据集而言，手动清洗比较昂贵而且效率低。因此，研究人员和工程师已经着手积极开发自动清洗原始训练数据技术，从而有效地从该原始训练数据集中去除“噪声”数据。不乐观地是，现有的训练数据清洗通常基于低水平特征和过度简化的假设对原始训练数据进行过滤，而这些技术产出的结果通常不尽如人意。
技术实现思路
本申请描述的多个实施例提供了用于执行大规模人脸图像训练数据采集、预处理、清洗、均衡化和后处理的人脸图像训练数据准备系统的多个示例。在一些实施例中，本申请公开的人脸图像训练数据准备系统可以接收包含多种不同类型的不良人脸图像的原始训练数据集。本申请公开的训练数据准备系统然后可以对该原始训练数据集执行清洗和均衡化操作，从而生成不具有该不良人脸图像的高质量人脸图像训练数据集。该已处理的高质量人脸图像训练数据集随后可用于训练基于深度神经网络的人脸识别系统，从而在多种人脸识别应用中实现高性能。与传统的人脸识别系统和技术相比，本申请公开的训练数据准备系统和技术提供了全自动、高度确定的高质量训练数据准备程序，该程序无需严重依赖于假设条件。在多个实施例中，本申请公开的人脸图像训练数据准备系统至少包括训练数据集清洗模块和训练数据集均衡化模块，并可选地包括训练数据集预处理模块和训练数据集后处理模块。所有这些模块均可应用于粗略标注人脸图像的原始训练数据集中，用以生成正确标注人脸图像的高质量训练数据集。在一些实施例中，本申请公开的训练数据集清洗模块用于执行人脸标注验证，即确认人脸图像的声称/标注主体是否的确为该声称/标注主体本人(即，该人脸图像是否已经被正确标注)。因此，可以从该训练数据集中去除未通过该身份验证的标注人脸图像。然而，本申请公开的训练数据集清洗模块可以作为一个整体处理每个主体/人中每组相同标注的人脸图像，从而处理包括多组具有更多数量的主体或人的相同标注的人脸图像，而无需单独处理每个单独标注的人脸图像。更具体地，本申请公开的训练数据集清洗模块首先通过对该组相同标注人脸图像中的每张图像执行向量化操作，以对该给定主体的一组相同标注人脸图像进行处理。例如，该训练数据集清洗模块可以采用深度神经网络对一组相同标注人脸图像中的每张图像执行欧几里德向量化(即特征提取)，其中对该深度神经网络进行预先训练，从而两个被提取特征向量之间的点积(文中也称之为“余弦相似性”、“欧几里德距离”和“匹配得分”)直接对应于两个对应人脸图像之间的人脸相似度。换言之，同一人的两张人脸图像的对应特征向量之间具有更高的匹配得分，与之相比，两个不同的人的两张人脸图像的对应特征向量之间具有较低的匹配得分。因此，该训练数据集清洗模块可以为该组图像构建相似度矩阵。一旦构建相似度矩阵，就可以将一个或多个设计合理的阈值应用于该组相同标注人脸图像的匹配得分中，从而实现该组相同标注人脸图像的人脸标注验证。需要说明，当采用上文描述的人脸图像的欧几里德向量作为训练数据时，人脸识别就转化为K-NN分类问题，并且可以通过现有技术实现人脸聚类，该现有技术例如包括K-平均或凝聚聚类。一方面，公开了一种用于为人脸识别系统准备高质量人脸图像训练数据的过程。该过程首先接收训练数据集，该训练数据集包括与多个主体相关的多组相同标注人脸图像；其中每组相同标注人脸图像均标注有多个主体中的一个给定主体；该训练数据集还包括不良图像子集。接下来，对于该训练数据集中对应给定主体的每组相同标注人脸图像，该过程识别该组相同标注人脸图像中的不良图像子集，然后生成该给定主体的不包括该不良图像子集的一组洁净的相同标注人脸图像。该过程然后将该组洁净的相同标注人脸图像合并，获得洁净的训练数据集，用于训练人脸识别模型。在一些实施例中，识别该组相同标注人脸图像中的不良图像子集的步骤包括：在该组相同标注人脸图像内识别出高度相似图像子集，并将该高度相似图像子集作为第一参考图像集，并将该组相同标注人脸图像内不属于该第一参考图像集的图像设定为第一候选图像集。然后，该过程基于该第一参考图像集从该第一候选图像集中识别出不良图像子集。在一些实施例中，在该组相同标注人脸图像内识别出高度相似图像子集，并将该高度相似图像子集作为第一参考图像集的步骤包括：计算该组相同标注人脸图像内的每对图像的相似度矩阵，其中该相似度矩阵中的每个元素表示该组相同标注人脸图像中两张对应图像之间的相似度分数；将第一阈值应用于该相似度矩阵中，从而将该相似度矩阵内的元素划分为大于或等于第一阈值的第一组元素以及小于第一阈值的第二组元素；处理第一组元素以生成一个或多个图像聚类，其中每个图像聚类包括该组相同标注人脸图像中与第一组元素相关的人脸图像子集，并且每个图像聚类包括一张或多张被确定为彼此高度相似的图像；以及将该一个或多个图像聚类内的具有最多数量图像的图像聚类作为第一参考集。在一些实施例中，该过程基于相关的一组相似度分数构建一个或本文档来自技高网...

【技术保护点】
1.一种用于为人脸识别系统准备高质量人脸图像训练数据的方法，其特征在于，所述方法包括：接收训练数据集，所述训练数据集包括与多个主体相关的多组相同标注人脸图像；其中每组相同标注人脸图像均标注有所述多个主体中的一个主体；所述训练数据集还包括不良图像子集；对于所述训练数据集中分别对应每个主体的每组相同标注人脸图像：识别该组相同标注人脸图像中的不良图像子集；生成所述主体的不包括所述不良图像子集的一组洁净的相同标注人脸图像；以及将该组洁净的相同标注人脸图像合并，获得洁净的训练数据集，用于训练人脸识别模型。

【技术特征摘要】
2017.12.31 US 15/859,6521.一种用于为人脸识别系统准备高质量人脸图像训练数据的方法，其特征在于，所述方法包括：接收训练数据集，所述训练数据集包括与多个主体相关的多组相同标注人脸图像；其中每组相同标注人脸图像均标注有所述多个主体中的一个主体；所述训练数据集还包括不良图像子集；对于所述训练数据集中分别对应每个主体的每组相同标注人脸图像：识别该组相同标注人脸图像中的不良图像子集；生成所述主体的不包括所述不良图像子集的一组洁净的相同标注人脸图像；以及将该组洁净的相同标注人脸图像合并，获得洁净的训练数据集，用于训练人脸识别模型。2.根据权利要求1所述的方法，其特征在于，所述识别该组相同标注人脸图像中的不良图像子集，包括：在该组相同标注人脸图像内识别出高度相似图像子集，并将所述高度相似图像子集作为第一参考图像集；将该组相同标注人脸图像内不属于所述第一参考图像集的图像设定为第一候选图像集；以及基于所述第一参考图像集从所述第一候选图像集中识别出不良图像子集。3.根据权利要求2所述的方法，其特征在于，在该组相同标注人脸图像内识别出高度相似图像子集，并将所述高度相似图像子集作为第一参考图像集，包括：计算该组相同标注人脸图像内的每对图像的相似度矩阵，其中所述相似度矩阵中的每个元素表示该组相同标注人脸图像中两张对应图像之间的相似度分数；将第一阈值应用于所述相似度矩阵中，从而将所述相似度矩阵内的元素划分为大于或等于第一阈值的第一组元素以及小于第一阈值的第二组元素；处理第一组元素以生成一个或多个图像聚类，其中每个图像聚类包括该组相同标注人脸图像中与第一组元素相关的人脸图像子集，并且每个图像聚类包括一张或多张被确定为彼此高度相似的图像；以及将所述一个或多个图像聚类内的具有最多数量图像的图像聚类识别为第一参考集。4.根据权利要求3所述的方法，其特征在于，基于一组相似度分数构建一个或多个连通图，从而生成一个或多个图像聚类。5.根据权利要求3所述的方法，其特征在于，计算该组相同标注人脸图像内的每对图像的相似度矩阵，包括：基于预先训练的人脸图像表征模型提取该组相同标注人脸图像中每张图像的特征向量；计算该组相同标注人脸图像中每两张图像对应的两个特征向量之间的余弦积，将所述余弦积作为所述两张图像间的相似度分数。6.根据权利要求3所述的方法，其特征在于，选择的第一阈值满足：两张不具有相同主体的相同标注人脸图像之间的相似度大于或等于第一阈值的概率低于用户指定的容错率。7.根据权利要求3所述的方法，其特征在于，从所述第一候选图像集中识别出不良图像子集的步骤包括：在第一候选图像集中识别出符合再收集条件的第一图像子集以及不符合再收集条件的第二图像子集；以及在所述不符合再收集条件的第二图像子集中识别出不良图像子集。8.根据权利要求7所述的方法，其特征在于，在第一候选图像集中识别出符合再收集条件的第一图像子集包括：对于所述第一候选图像集中的每张图像：获得所述图像与所述第一参考图像集中的每张图像之间的一组相似度分数；以及计算出所述图像相对于所述第一参考图像集的合并相似度分数；以及将第二阈值应用于该组合并相似度分数，用于将所述第一候选图像集划分为符合再收集条件的第一图像子集和不符合再收集条件的第二图像子集。9.根据权利要求8所述的方法，其特征在于，所述方法还包括：将所述第一参考图像集与所述符合再收集条件的第一图像子集合并，以获得一组洁净的相同标注人脸图像；以及将所述不符合再收集条件的第二图像子集识别为不良图像子集。10.根据权利要求8所述的方法，其特征在于，选择的第二阈值满足：一张与所述第一参考图像集具有不同主体的图像相对于所述第一参考图像集的合并相似度分数大于或等于第二阈值的概率低于用户定义的容错率。11.根据权利要求8所述的方法，其特征在于，所述第二阈值小于所述第一阈值。12.根据权利要求8所述的方法，其特征在于，通过计算该组相似度分数的加权平均值计算所述图像相对于所述第一参考图像集的合并相似度分数。13.根据权利要求12所述的方法，其特征在于，计算所述图像相对于所述第一参考图像集的合并相似度分数包括：为该组相似度分数中较高的相似度分数提供更高的加权值。14.根据权利要求12所述的方法，其特征在于，对于所述相似度分数，可以基于系数exp(r·s)确定加权平均值内与所述相似度分数相关的加权值，其中r是2到10之间的正数，而s为所述相似度分数。15.根据权利要求8所述的方法，其特征在于，所述方法还包括：合并第一参考图像集和符合再收集条件的第一图像子集，以形成第二参考图像集；将该组相同标注人脸图像集中不属于第二参考图像集中的图像指定为第二候选图像集；以及基于所述第二参考图像集在所述第二候选图像集中识别出不良图像子集。16.根据权利要求15所述的方法，其特征在于，基于所述第二参考图像集在所述第二候选图像集中识别出不良图像子集的步骤包括：对于所述第二候选图像集中的每张图像：获得所述图像与所述第二参考图像集中的每张图像之间的一组相似度分数；以及计算出所述图像相对于该组第二参考图像集的合并相似度分数；以及将第三阈值应用于与第二参考图像集相关的该组合并相似度分数，用于将所述第二候选图像集划分为符合再收集条件的第三图像子集和不符合再收集条件的第四图像子集；以及将所述不符合再收集条件的第四图像集识别为不良图像子集。17.根据权利要求16所述的方法，其特征在于，将第二参考图像集与所述符合再收集条件的第三图像子集合并，以获得与所述主体相关的不具有不良图像子集的一组洁净的相同标注人脸图像。18.根据权利要求16所述的方法，其特征在于，所述第三阈值小于所述第二阈值，而所述第二阈值小于所述第一阈值。19.根据权利要求1所述的方法，其特征在于，在接收所述训练数据集之前，采用一个或多个图像爬虫，并且采用多个主体作为搜索查询条件在互联网中挖掘与所述多个主体匹配的粗略标注图像集合。20.根据权利要求19所述的方法，其特征在于，生成训练数据集的方式包括：对于该组粗略标注图像中的每一张粗略标注图像：在所述粗略标注图像内检测一张或多张人脸；以及从所述粗略标注图像中裁剪出与所述一张或多张人脸相关的一张或多个人脸图像；以及通过合并所述粗略标注图像中裁剪出的与同一主体相关的图像集合，形成一组相同标注人脸图像。21.根据权利要求20所述的方法，其特征在于，在形成一组相同标注人脸图像之前，对该组已裁剪人脸图像进行预处理，从而预处理后的已裁剪人脸图像具有相同的图像尺寸，并且人脸均基本位于对应人脸图像的中心。22.根据权利要求20所述的方法，其特征在于，对该组已裁剪人脸图像进行预处理包括：对该组已裁剪人脸图像执行旋转操作，从而预处理后的已裁剪人脸图像具有基本相同的姿态。23.根据权利要求1所述的方法，其特征在于，所述多个主体包括亚裔集合和非亚裔集合。24.根据权利要求1所述的方法，其特征在于，在生成所述主体的不包括所述不良图像子集的一组洁净的相同标注人脸图像之后，所述方法还包括如下步骤：将该组洁净的相同标注人脸内的人脸图像的数量限制为目标数量，从而使每一组相同标注人脸图像均衡化；以及合并该组洁净并均衡化的相同标注人脸图像，以获得高质量训练数据集，用于训练人脸识别模型。25.根据权利要求1所述的方法，其特征在于，该组不良图像包括下述四项中的一项或多项：每张图像被标注的主体与图像内的人均不匹配的图像子集；每张图像都没有人出现的图像子集；每张图像都质量很差的图像子集；以及彼此基本相同的图...

【专利技术属性】
技术研发人员：易子立，王星，吴谦伟，马怀宇，梁杰，
申请(专利权)人：奥瞳系统科技有限公司，
类型：发明
国别省市：加拿大,CA