细粒度人脸识别模型的构建方法、识别方法以及构建装置制造方法及图纸

本申请公开了一种细粒度人脸识别模型的构建方法、识别方法以及构建装置，所述方法包括：确定超分辨率网络和人脸属性识别网络；将所述超分辨率网络和人脸属性识别网络以级联的方式组合，得到所述细粒度人脸识别模型；对所述人脸识别模型进行端到端的联合训练，直至满足联合训练停止条件。通过将超分辨率网络引入人脸属性识别网络，缓解了不同分辨率对分类任务造成的影响；并且通过上述联合训练方式，给超分辨率网络引入高层次的语义监督信息，并且通过端到端的训练，极大地提高了分类性能增益。

Construction method, recognition method and construction device of fine-grained face recognition model

【技术实现步骤摘要】
细粒度人脸识别模型的构建方法、识别方法以及构建装置
本申请涉及细粒度图形分类
，具体涉及一种细粒度人脸识别模型的构建方法、识别方法、构建装置、电子设备和可读存储介质。
技术介绍
细粒度图像分类是计算机视觉领域的一个热门研究课题，其目的是对属于同一基础类别的图像进行更加细致的子类划分,但由于子类别间细微的类间差异以及较大的类内差异,较之普通的图像分类任务,细粒度图像分类难度更大。目前细粒度图像分类方案主要通过分割出图片的强区分性区域和姿态对齐两种方式来提升分类精度。对于不同分辨率的图像，仅通过简单的上采样和下采样进行尺度对齐，而没有考虑到实际场景中不同分辨率造成的图像模糊带来的影响。且现有的超分辨率方案主要是低层次的像素级图像复原，没有考虑高层次的图像语义信息，将超分辨率应用到其他图像相关任务的过程中，现有技术大多采用分阶段训练的方式，分别优化超分辨率网络和其他图像任务相关的网络。这种情况下，超分辨率在图像去模糊的同时，无法针对具体任务对图像的强区分性区域进行有针对性的加强。
技术实现思路
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的一种细粒度人脸识别模型的构建方法、识别方法、构建装置、电子设备和可读存储介质。依据本申请的一个方面，提供了一种细粒度人脸识别模型的构建方法，所述方法包括：确定超分辨率网络和人脸属性识别网络；将所述超分辨率网络和人脸属性识别网络以级联的方式组合，得到所述细粒度人脸识别模型；对所述细粒度人脸识别模型进行端到端的联合训练，直至满足联合训练停止条件。可选的，所述确定超分辨率网络和人脸属性识别网络的步骤包括：以EDSR网络为基础，构建所述超分辨率网络；以ResNet系列网络为基础，构建所述人脸属性识别网络，且所述人脸属性识别网络包括如下的一个或多个网络层：拼接层、卷积层、全局平均池化层以及全连接层。可选的，所述确定超分辨率网络和人脸属性识别网络包括：采用经对齐的高分辨率的图像组成的训练集分别对所述超分辨率网络和所述人脸属性识别网络进行预训练；采用高分辨率的图像或低分辨率的图像组成的不同测试集分别对所述超分辨率网络和所述人脸属性识别网络进行验证；其中所述低分辨率的图像是由高分辨率的图像下采样后再通过线性插值上采样回原尺寸得到。可选的，所述将所述超分辨率网络和人脸属性识别网络以级联的方式组合，得到所述细粒度人脸识别模型包括：将所述超分辨率网络中损失函数之前部分的输出端连接至所述人脸属性识别网络的输入端，得到细粒度人脸识别模型。可选的，所述对所述细粒度人脸识别模型进行端到端的联合训练，直至满足联合训练停止条件包括：采用经对齐的低分辨率的图像组成的训练集对所述细粒度人脸识别模型进行端到端的联合训练，并根据所述超分辨率网络的损失函数的输出监督所述超分辨率网络的训练结果。可选的，所述目标识别包括人脸属性的分类识别，所述对所述细粒度人脸识别模型进行端到端的联合训练包括：对人脸图像进行裁剪和对齐后，获取人脸属性的至少两个强区分性的局部区域图像；将所述至少两个局部区域图像输入到所述超分辨率网络，得到至少两个输出图像；然后将所述至少两个输出图像输入至所述人脸属性识别网络得到至少两个特征图；将所述至少两个特征图输出至拼接层进行拼接，将拼接后的特征图经过卷积网络层进行卷积处理；卷积处理后的特征图经过全局平均池化层后输出到全连接层，最后经过损失函数处理后得到分类结果。依据本申请的另一方面，提供了一种细粒度目标识别方法，所述方法包括：获取人脸图像；将所述人脸图像输入至如上任一项所述方法获得的细粒度人脸识别模型中，输出所述人脸图像对应的人脸属性。依据本申请的再一方面，提供了一种细粒度人脸识别模型的构建装置，所述装置包括：网络确定单元，适于确定超分辨率网络和人脸属性识别网络；模型组合单元，适于将所述超分辨率网络和人脸属性识别网络以级联的方式组合，得到所述细粒度人脸识别模型；联合训练单元，适于对所述人脸识别模型进行端到端的联合训练，直至满足联合训练停止条件。依据本申请的又一方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的构建方法或识别方法。依据本申请的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的构建方法或识别方法。由上述可知，本申请公开的细粒度人脸识别模型的构建方法包括：确定超分辨率网络和人脸属性识别网络；将所述超分辨率网络和人脸属性识别网络以级联的方式组合，得到所述细粒度人脸识别模型；对所述人脸识别模型进行端到端的联合训练，直至满足联合训练停止条件。通过将超分辨率网络引入人脸属性识别网络，缓解了不同分辨率对分类任务造成的影响；并且通过上述联合训练方式，给超分辨率网络引入高层次的语义信息，并且通过端到端的联合训练方式，极大地提高了分类性能增益。上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本申请一个实施例的细粒度人脸识别模型的构建方法的流程示意图；图2示出了根据本申请一个实施例的细粒度人脸识别模型的构建装置的结构示意图；图3示出了根据本申请一个实施例的电子设备的结构示意图；图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图；图5示出了根据本申请一个实施例的人脸属性识别网络的结构示意图；图6示出了根据本申请一个实施例的人脸识别模型的结构示意图。具体实施方式下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。细粒度人脸属性识别，是细粒度图像分类的一个子问题，其目的是基于人脸细纹等局部细微差异对人脸进行属性分类(如单双眼皮分类等)，具体任务是：给定人脸面部图像、预测多种人脸属性；如性别、发型、年龄、种族、表情等。例如：将人脸属性分为主观属性和客观属性两类，所述主观属性包括柳叶眉、有魅力、眼袋大嘴唇、大鼻子、睡眼惺松等主观人脸属性；所述客观属性包括单双眼皮、胡子、刘海、头发颜色本文档来自技高网...

【技术保护点】
1.一种细粒度人脸识别模型的构建方法，其特征在于，所述方法包括：/n确定超分辨率网络和人脸属性识别网络；/n将所述超分辨率网络和人脸属性识别网络以级联的方式组合，得到所述细粒度人脸识别模型；/n对所述细粒度人脸识别模型进行端到端的联合训练，直至满足联合训练停止条件。/n

【技术特征摘要】
1.一种细粒度人脸识别模型的构建方法，其特征在于，所述方法包括：
确定超分辨率网络和人脸属性识别网络；
将所述超分辨率网络和人脸属性识别网络以级联的方式组合，得到所述细粒度人脸识别模型；
对所述细粒度人脸识别模型进行端到端的联合训练，直至满足联合训练停止条件。


2.如权利要求1所述的构建方法，其特征在于，所述确定超分辨率网络和人脸属性识别网络的步骤包括：
以EDSR网络为基础，构建所述超分辨率网络；
以ResNet系列网络为基础，构建所述人脸属性识别网络，且所述人脸属性识别网络包括如下的一个或多个网络层：拼接层、卷积层、全局平均池化层以及全连接层。


3.如权利要求1或2所述的构建方法，其特征在于，所述确定超分辨率网络和人脸属性识别网络包括：
采用经对齐的高分辨率的图像组成的训练集分别对所述超分辨率网络和所述人脸属性识别网络进行预训练；
采用高分辨率的图像和/或低分辨率的图像组成的不同测试集分别对所述超分辨率网络和所述人脸属性识别网络进行验证；
其中所述低分辨率的图像是由高分辨率的图像下采样后再通过线性插值上采样回原尺寸得到。


4.如权利要求1或2所述的构建方法，其特征在于，所述将所述超分辨率网络和人脸属性识别网络以级联的方式组合，得到所述细粒度人脸识别模型包括：
将所述超分辨率网络中损失函数之前部分的输出端连接至所述人脸属性识别网络的输入端，得到细粒度人脸识别模型。


5.如权利要求4所述的构建方法，其特征在于，所述对所述细粒度人脸识别模型进行端到端的联合训练，直至满足联合训练停止条件包括：
采用经对齐的低分辨率的图像组成的训练集对所述细粒度人脸识别模型进行端到端的联合训练，并根据所述超分辨率网络的损失函数的输出监督所述超分辨率网络的训练结果。

【专利技术属性】
技术研发人员：张健为，柴振华，赖申其，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11