生成人脸图像校正模型及校正人脸图像的方法和装置制造方法及图纸

本申请公开了生成人脸图像校正模型的方法和装置、校正人脸图像的方法和装置，涉及人脸识别技术领域。具体实现方案为：获取样本集，其中，样本集中每个样本包括同一人的正脸图像和任意姿态角度的侧脸图像；从样本集中选取样本，以及执行以下训练步骤：将选取的样本的侧脸图像输入生成对抗网络，得到合成图像；将合成图像与对应的正脸图像进行分析，确定脸部特征损失值；如果根据脸部特征损失值确定出生成对抗网络训练完成，则将生成对抗网络作为人脸图像校正模型。该实施方式能够生成人脸图像校正模型，将不同角度的人脸图像转换成正脸图像后再进行表情识别，提高了表情识别的准确率和鲁棒性。

Method and device for generating face image correction model and correcting face image

【技术实现步骤摘要】
生成人脸图像校正模型及校正人脸图像的方法和装置
本申请涉及计算机
，具体涉及人脸识别

技术介绍
大部分实验室采集样本都是人脸正对摄像头，头部姿态端正，人脸的姿态各式各样等问题。而现实场景中人脸表情是自发产生的，头部姿态偏差较大，增大了识别的难度。目前，人脸表情识别一般使用传统方法或使用单模型卷积神经网络，将做完人脸矫正后的人脸表情图像作为输入，经过卷积神经网络或者人工提取表情特征，再通过分类器输出即为表情识别分类结果。对于真实场景中人脸姿态过大时鲁棒性较差，极易造成误识别，导致降低了算法准确性较低。
技术实现思路
本公开提供了一种生成人脸图像校正模型的方法、装置、设备以及存储介质以及一种校正人脸图像的方法、装置、设备以及存储介质。根据本公开的第一方面，提供了一种生成人脸图像校正模型的方法，包括：获取样本集，其中，样本集中每个样本包括同一人的正脸图像和任意姿态角度的侧脸图像；从样本集中选取样本，以及执行以下训练步骤：将选取的样本的侧脸图像输入生成对抗网络，得到合成图像；将合成图像与对应的正脸图像进行分析，确定脸部特征损失值；如果根据脸部特征损失值确定出生成对抗网络训练完成，则将生成对抗网络作为人脸图像校正模型。根据本公开的第二方面，提供了一种校正人脸图像的方法，包括：将待识别的头像输入人脸检测模型，得到人脸图像；将人脸图像输入人脸关键点检测模型，得到包括关键点的对齐人脸；将对齐人脸输入采用如第一方面之一的方法生成的人脸图像校正模型，得到姿态校正后的正脸图像。<br>根据本公开的第三方面，提供了一种生成人脸图像校正模型的装置，包括：获取单元，被配置成获取样本集，其中，样本集中每个样本包括同一人的正脸图像和任意姿态角度的侧脸图像；训练单元，被配置成将选取的样本的侧脸图像输入生成对抗网络，得到合成图像；将合成图像与对应的正脸图像进行分析，确定脸部特征损失值；如果根据脸部特征损失值确定出生成对抗网络训练完成，则将生成对抗网络作为人脸图像校正模型。根据本公开的第四方面，提供了一种校正人脸图像的装置，包括：人脸检测单元，被配置成将待识别的头像输入人脸检测模型，得到人脸图像；关键点检测单元，被配置成将人脸图像输入人脸关键点检测模型，得到包括关键点的对齐人脸；校正单元，被配置成将对齐人脸输入采用如第一方面之一的装置生成的人脸图像校正模型，得到姿态校正后的正脸图像。根据本公开的第五方面，提供了一种电子设备，其特征在于，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面和第二方面中任一项的方法。根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，计算机指令用于使计算机执行权利要求1-7中任一项的方法。根据本申请的技术方案，利用生成对抗网络(GAN)的方法可以将任意姿态的人脸图像转化成正面姿态的人脸表情图像，可以大大提高复杂环境下大姿态人脸表情识别的准确率和鲁棒性。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是本申请可以应用于其中的示例性系统架构图；图2是根据本申请生成人脸图像校正模型的方法的一个实施例的流程图；图3是根据本申请生成人脸图像校正模型的方法的一个应用场景的示意图；图4是根据本申请校正人脸图像的方法的一个实施例的流程图；图5是根据本申请生成人脸图像校正模型的装置的一个实施例的结构示意图；图6是根据本申请校正人脸图像的装置的一个实施例的结构示意图；图7是用来实现本申请实施例的生成人脸图像校正模型的方法和校正人脸图像的方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1示出了可以应用本申请实施例的生成人脸图像校正模型的方法、生成人脸图像校正模型的装置、校正人脸图像的方法或校正人脸图像的装置的示例性系统架构100。如图1所示，系统架构100可以包括终端101、102，网络103、数据库服务器104和服务器105。网络103用以在终端101、102，数据库服务器104与服务器105之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户110可以使用终端101、102通过网络103与服务器105进行交互，以接收或发送消息等。终端101、102上可以安装有各种客户端应用，例如模型训练类应用、人脸检测识别类应用、购物类应用、支付类应用、网页浏览器和即时通讯工具等。这里的终端101、102可以是硬件，也可以是软件。当终端101、102为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(MovingPictureExpertsGroupAudioLayerIII，动态影像专家压缩标准音频层面3)、膝上型便携计算机和台式计算机等等。当终端101、102为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。当终端101、102为硬件时，其上还可以安装有图像采集设备。图像采集设备可以是各种能实现采集图像功能的设备，如摄像头、传感器等等。用户110可以利用终端101、102上的图像采集设备，来采集自身或他人的人脸图像。数据库服务器104可以是提供各种服务的数据库服务器。例如数据库服务器中可以存储有样本集。样本集中包含有大量的样本。其中，样本可以包括同一人的正脸图像和任意姿态角度的侧脸图像。这样，用户110也可以通过终端101、102，从数据库服务器104所存储的样本集中选取样本。服务器105也可以是提供各种服务的服务器，例如对终端101、102上显示的各种应用提供支持的后台服务器。后台服务器可以利用终端101、102发送的样本集中的样本，对初始模型进行训练，并可以将训练结果(如生成的人脸图像校正模型)发送给终端101、102。这样，用户可以应用生成的人脸图像校正模型进行人脸检测。这里的数据库服务器104和服务器105同样可以是硬件，也可以是软件。当它们为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当它们为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定本文档来自技高网...

【技术保护点】
1.一种生成人脸图像校正模型的方法，包括：/n获取样本集，其中，所述样本集中每个样本包括同一人的正脸图像和任意姿态角度的侧脸图像；/n从所述样本集中选取样本，以及执行以下训练步骤：将选取的样本的侧脸图像输入生成对抗网络，得到合成图像；将所述合成图像与对应的正脸图像进行分析，确定脸部特征损失值；如果根据所述脸部特征损失值确定出所述生成对抗网络训练完成，则将所述生成对抗网络作为人脸图像校正模型。/n

【技术特征摘要】
1.一种生成人脸图像校正模型的方法，包括：
获取样本集，其中，所述样本集中每个样本包括同一人的正脸图像和任意姿态角度的侧脸图像；
从所述样本集中选取样本，以及执行以下训练步骤：将选取的样本的侧脸图像输入生成对抗网络，得到合成图像；将所述合成图像与对应的正脸图像进行分析，确定脸部特征损失值；如果根据所述脸部特征损失值确定出所述生成对抗网络训练完成，则将所述生成对抗网络作为人脸图像校正模型。


2.根据权利要求1所述的方法，其中，所述方法还包括：
如果根据所述脸部特征损失值确定出所述生成对抗网络未训练完成，则调整所述生成对抗网络中的相关参数，以及从所述样本集中重新选取样本，使用调整后的生成对抗网络作为生成对抗网络，继续执行所述训练步骤。


3.根据权利要求1所述的方法，其中，所述样本集中每个样本中的正脸图像和侧脸图像经过归一化处理。


4.根据权利要求1-3中所述的方法，其中，所述样本集中的样本通过以下至少一种方式进行随机数据增强处理：
旋转、缩放、裁剪、翻转。


5.一种校正人脸图像的方法，包括：
将待识别的头像输入人脸检测模型，得到人脸图像；
将所述人脸图像输入人脸关键点检测模型，得到包括关键点的对齐人脸；
将所述对齐人脸输入采用如权利要求1-4之一所述的方法生成的人脸图像校正模型，得到姿态校正后的正脸图像。


6.根据权利要求5所述的方法，其中，所述方法还包括：
将所述正脸图像输入预先训练的表情检测模型，输出表情信息。


7.根据权利要求6所述的方法，其中，所述方法还包括：
获取场景信息；
根据所述表情信息和所述场景信息进行服务质量评估。


8.一种生成人脸图像校正模型的装置，包括：
获取单元，被配置成获取样本集，其中，所述样本集中每个样本包括同一人的正脸图像和任意姿态角度的侧脸图像；
训练单元，被配置成从所述样本集中选取样本，以及执行以下训练步骤：将选取的样本的侧脸图像输入生成对抗网络，得到合成图像；将所述合成图像与对应的...

【专利技术属性】
技术研发人员：王珂尧，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11