一种基于3D人脸重建的公众人物识别系统和方法技术方案

本发明专利技术提供了一种基于3D人脸重建的公众人物识别系统和方法。该方法包括：获取待识别的图片；对获取的图片进行人脸检测；响应于检测到人脸，将人脸从图片中剪裁下来并进行3D重建；以及通过将经3D重建的人脸与预存人物的人脸3D模型进行比较以进行人物识别，所述比较进一步包括：将经3D重建的人脸与预存人物的人脸3D模型输入经训练的基于3D人脸重建的人物识别模型，该人物识别模型是通过以下步骤训练的：采集人物照片；对采集到的人物照片进行人脸裁剪；对裁剪的人脸进行3D重建；从经3D重建的人脸集中自动选择样本集，所述样本集包括正例样本和负例样本；以及将所选择的样本集作为训练数据来训练人物识别模型。训练数据来训练人物识别模型。训练数据来训练人物识别模型。

【技术实现步骤摘要】
一种基于3D人脸重建的公众人物识别系统和方法


[0001]本专利技术涉及图像处理领域，更具体地，涉及基于3D人脸重建的公众人物识别系统和方法。

技术介绍

[0002]随着5G的到来，以网红明星为代表的粉丝经济得以迅速发展，而连接公众人物和粉丝的桥梁就是内容视频，如何从海量的电影、电视、综艺视频里把明星识别并检索出来，把他们推给粉丝，视频的价值就能得以最大展现。目前的检索主要根据媒资信息及相应的标签，但一部电影、电视剧、综艺视频参与的人员很多，在IPTV等视频平台上，每个视频的标签只有有限的几个主要演员，但众多普通演员的价值也是一个很大的长尾流量，比如前几年周星驰大火时，有人把周星驰出道时跑龙套的电视剧照片截出来，在互联网上吸睛无数。
[0003]基于人工智能的人脸检索是一个相对比较成熟的技术，并且已使用在视频公众人物识别场景下有一定的应用，但目前的人脸识别都是基于有监督的AI技术，需要人工对数据进行打标签。
[0004]题为“基于深度学习的人脸检索系统及方法”的中国专利申请(201710032351.4A)提出了一种基于深度学习的人脸检索方法及系统，包含以下步骤：检索模型的训练：使用caffe深度学习框架训练模型，采用梯度下降的方式优化模型参数，得出检索模型；人脸特征的提取：先将训练集中所有人的图片喂到神经网络中，进行前馈过程，保存第一个全连接层和第二个全连接层的输出；人脸注册：充分提取注册者在不同光照，不同姿态下的特征向量和哈希编码；人脸检索：提取出待检索人脸图像的哈希编码和特征向量，然后将其与训练集中的图片进行比对，采用哈希编码粗检索和特征向量细检索相结合的检索方式，经过粗检索和细检索后得到最相似的人脸图像，并输出对应的相似度值。
[0005]题为“一种人脸检索方法和系统”(201710036083.3A)的中国专利申请提出了一种搭建人脸检索的网络构架，对其行优化；根据反向传播的方式调节网络构架中的参数；将各训练样本图片输入调节后的网络构架中生成测试用例；根据sign函数对所述测试用例进行量化计算得到测试用例的二值编码，并通过二值编码计算训练样本图片对之间的汉明距离；根据汉明距离对各训练样本的近似度进行排序，从而完成对人脸检索的网络构架的训练；将待检索人脸图片输入完成训练的人脸检索的网络构架中进行检索，得到近似度排序的待检索人脸图片；
[0006]上述现有技术方案都是基于有监督深度学习技术，训练阶段手动准备人脸训练集，输入到神经网络模型里进行特征提取，与预期结果进行损失函数计算，然后根据结果进行反向梯度传播更新模型；在推理阶段，输入图片到训练好的神经网络模型里进行提取特征，然后和库里的特征进行比对。然而，基于有监督学习的技术有几个问题，首先大量耗费人力，大部分视频里人物众多，如果样本数据太少，会造成泛化能力较弱，检索出现错误，查准率有问题；其次，视频里人物的角度是多方位的，光线也是多样的，这样会造成漏检，查全方面出现问题。
[0007]另一方面，3D重建技术近年来发展迅速，在医疗、教育、消费市场都得以应用，基于单图片的3D重建和基于互联网海量数据的3D重建也都取得了重大成果。题为“一种在规格化三维人脸库中进行人脸检索的方法”的中国专利申请(201410490567.1A)提出了一种在规格化三维人脸库中进行人脸检索的方法，其能够有效模拟人类观察事物与信息处理方式、构建更为高效简单的人脸检索方法与系统。该方法包括步骤：(1)模型归一化：将三维人脸数据经过平滑、去噪、剪切、坐标矫正、对齐的预处理后，得到三维人脸样本作为规格化的三维人脸，依托其所对应的圆柱体包络面定义如下的模型坐标系:该圆柱体的中心轴作为Z轴，穿过鼻尖点并与Z轴垂直的方向作为Y轴，X轴由Y轴与Z轴叉乘得到；(2)以视觉显著性为度量原则进行样本显著区域定义及特征提取；(3)以单特征辨识度为依据进行特征加权叠加，实现多特征融合的人脸间特征的相似性度量，实现人脸检索。然而，该方案偏重于在现有的规格化三维人脸库中的检索，并不能解决基于自动选择，方向上不一致。

技术实现思路

[0008]提供本
技术实现思路
以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本
技术实现思路
并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
[0009]为了减少有监督学习人工标注训练集和测试集的大量人力，同时提高IPTV视频场景下查准查全问题，本专利技术首次使用基于3D重建技术的无监督学习方法，进行IPTV视频场景下公众人物检索训练样本集的采集和选择。
[0010]根据本专利技术的一个方面，提供了一种基于3D人脸重建的人物识别模型的训练方法，该方法包括：
[0011]采集人物照片；
[0012]对采集到的人物照片进行人脸裁剪；
[0013]对裁剪的人脸进行3D重建；
[0014]从经3D重建的人脸集中自动选择样本集，所述样本集包括正例样本和负例样本；以及
[0015]将所选择的样本集作为训练数据来训练人物识别模型。
[0016]根据本专利技术的进一步实施例，对采集到的人物照片进行人脸裁剪进一步包括：
[0017]使用多任务卷积神经网络MTCNN来对采集到的照片进行人脸检测并将检测到的人脸从图片中裁剪下来。
[0018]根据本专利技术的进一步实施例，对裁剪的人脸进行3D重建进一步包括：
[0019]使用SFM算法来对裁剪后的人脸进行3D重建，并输出点云形式的人脸3D模型。
[0020]根据本专利技术的进一步实施例，从经3D重建的人脸集中自动选择样本集进一步包括：
[0021]以非监督方式对经3D重建的人脸集应用聚类算法得到多个聚类；以及
[0022]针对每一个聚类：
[0023]确定一个参照样本；
[0024]在同一聚类中选择最近似的样本作为正例样本；以及
[0025]在其他聚类中选择最近似的样本作为负例样本。
[0026]根据本专利技术的进一步实施例，所述人物识别模型基于Siamese网络，并且将所选择的样本集作为训练数据来训练人物识别模型进一步包括：
[0027]将多组对应的正例样本和负例样本分别输入所述Siamese网络的每一分支；
[0028]在两个分支的网络特征进入全连接层之后，使用损失函数contrastive loss进行损失计算；以及
[0029]使用梯度优化进行反向传播，以训练出所述人脸识别模型。
[0030]根据本专利技术的另一方面，提供了一种基于3D人脸重建的人物识别系统，该人物识别系统包括：
[0031]人物照片采集模块，所述人物照片采集模块被配置成采集人物照片；
[0032]人脸裁剪模块，所述人脸裁剪模块被配置成对采集到的人物照片进行人脸裁剪；
[0033]3D重建模块，所述3D重建模块被配置成对裁剪的人脸进行3D重建；
[0034]样本集选择模块，所述样本集选择模块被配置出从经3D重建的人脸集中自动选择样本集，所述样本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于3D人脸重建的人物识别模型的训练方法，包括：采集人物照片；对采集到的人物照片进行人脸裁剪；对裁剪的人脸进行3D重建；从经3D重建的人脸集中自动选择样本集，所述样本集包括正例样本和负例样本；以及将所选择的样本集作为训练数据来训练人物识别模型。2.如权利要求1所述的方法，其特征在于，对采集到的人物照片进行人脸裁剪进一步包括：使用多任务卷积神经网络MTCNN来对采集到的照片进行人脸检测并将检测到的人脸从图片中裁剪下来。3.如权利要求1所述的方法，其特征在于，对裁剪的人脸进行3D重建进一步包括：使用SFM算法来对裁剪后的人脸进行3D重建，并输出点云形式的人脸3D模型。4.如权利要求1所述的方法，其特征在于，从经3D重建的人脸集中自动选择样本集进一步包括：以非监督方式对经3D重建的人脸集应用聚类算法得到多个聚类；以及针对每一个聚类：确定一个参照样本；在同一聚类中选择最近似的样本作为正例样本；以及在其他聚类中选择最近似的样本作为负例样本。5.如权利要求1所述的方法，其特征在于，所述人物识别模型基于Siamese网络，并且将所选择的样本集作为训练数据来训练人物识别模型进一步包括：将多组对应的正例样本和负例样本分别输入所述Siamese网络的每一分支；在两个分支的网络特征进入全连接层之后，使用损失函数contrastive loss进行损失计算；以及使用梯度优化进行反向传播，以训练出所述人脸识别模型。6.一种基于3D人脸重建的人物识别系统，包括：人物照片采集模块，所述人物照片采集模块被配置成采集人物照片...

【专利技术属性】
技术研发人员：张继东，曹靖诚，史国杰，李云鹤，
申请(专利权)人：天翼智慧家庭科技有限公司，
类型：发明
国别省市：