基于深度知识迁移的人脸特征点检测方法、装置及设备制造方法及图纸

本发明专利技术实施例公开了基于深度知识迁移的人脸特征点检测方法、装置及设备，该方法包括：提供人脸数据集，根据人脸数据集提供的人脸检测框或者人脸特征点的包围框对人脸图像进行裁剪得到训练集、验证集和测试集；将测试样本和训练样本输入到初始人脸对齐网络框架中；利用Pytorch训练初始人脸对齐网络框架中的教师网络和学生网络，直至损失函数和最大迭代次数满足预定条件时生成训练模型；冻结教师网络的模型参数，提取教师网络学习的深层暗知识传递给学生网络生成最终人脸对齐网络模型；将自然场景下的RGB人脸图像输入至最终人脸对齐网络模型中，输出人脸特征点检测结果。本发明专利技术人脸特征点检测精度稿，模型参数量和计算复杂度低。

【技术实现步骤摘要】
基于深度知识迁移的人脸特征点检测方法、装置及设备
本专利技术实施例涉及计算机视觉和数字图像处理领域，具体涉及基于深度知识迁移的人脸特征点检测方法、装置及设备。
技术介绍
现有对人脸特征点检测的方法，对于自然场景下的人脸特征点定位不能有效的解决，复杂的方法模型参数量庞大，计算复杂度较高，无法满足运行速度的需求。简单的方法无法应对自然场景下极端姿态、多变光照、严重遮挡等因素的干扰，精度无法达到应用要求。
技术实现思路
本专利技术实施例的目的在于提供基于深度知识迁移的人脸特征点检测方法、装置及设备，用以解决现有人脸特征点检测计算复杂度较高、运行速度慢和精度低的问题。为实现上述目的，本专利技术实施例主要提供如下技术方案：第一方面，本专利技术实施例提供了一种基于深度知识迁移的人脸特征点检测方法，包括：S1：提供包含人脸特征点标注的人脸数据集，根据所述人脸数据集提供的人脸检测框或者人脸特征点的包围框对人脸图像进行裁剪得到训练集、验证集和测试集；S2：从所述训练集中获取训练样本，并从所述测试集中获取测试样本，将所述测试样本和所述训练样本输入到初始人脸对齐网络框架中；S3：设置卷积神经网络的参数，利用Pytorch训练所述初始人脸对齐网络框架中的教师网络和学生网络，直至损失函数和最大迭代次数满足预定条件时生成训练模型；S4：冻结教师网络的模型参数，提取所述教师网络学习的深层暗知识，将所述深层暗知识传递给所述学生网络，监督所述学生网络的训练过程生成最终人脸对齐网络模型；S5：将自然场景下的RGB人脸图像输入至所述最终人脸对齐网络模型中，输出人脸特征点检测结果。在本专利技术一个实施例中，步骤S1包括：S1-1：提供WFLW数据集，所述WFLW数据集包括N张训练图片和M张测试图片，每张图片具有图片标签，所述图片信息包括人脸框信息、人脸特征点位置信息和多个属性信息，N和M均为大于零的正整数；S1-2：根据所述人脸数据集提供的人脸检测框对人脸图像进行裁剪，同时对所述人脸检测框进行扰动，对所述人脸图像施加随机旋转、尺寸缩放和翻转，以进行数据增强得到所述训练集、所述验证集和所述测试集。在本专利技术一个实施例中，通过以下方式生成所述初始人脸对齐网络框架：采用编码器-解码器的网络结构生成所述教师网格，教师网格编码器包括三个上采样层与卷积层，所述教师网格编码器用于对输入图像进行特征提取和编码，保留原始网络的特征提取信息，移除最后的平均池化层、用来分类的全连接层和最后一个升维的1×1卷积层；在所述编码器后添加所述解码器，对所述编码器提取的图像特征进行空间上采样得到特征图，将所述特征图的通道维数转换为人脸特征点的数量，使用空间softargmax运算在变换后的每张特征图上计算期望得到对应的人脸特征点坐标；提供EfficientFAN结构的学生网络，学生网络编码器包括三个上采样层与卷积层，所述学生网络用于最终的人脸特征点检测，使用EfficientNet-B0作为所述学生网络编码器的主干部分，移除EfficientNet-B0最后的平均池化层、用来分类的全连接层和最后一个升维的1×1卷积层；在所述学生网格编码器之后添加了一个1×1的卷积层，将所述学生网格编码器上采样得到特征图的通道数转换为人脸特征点的数目，使用空间softargmax运算在转换后的特征图上计算人脸特征点的坐标。在本专利技术一个实施例中，步骤S3包括：单独地训练所述教师网络和所述学生网络，使用特征点损失函数LP对网络参数进行优化，特征点损失函数LP通过Wingloss损失函数计算，Wingloss损失函数如下表示:其中，P∈R1×2N是预测的人脸特征点坐标向量，G∈R1×2N是真实的人脸特征点坐标向量，N是人脸特征点的数目，ω、∈是f(x)的预设参数。在本专利技术一个实施例中，在步骤S4中，提取所述教师网络学习的深层暗知识，包括：基于特征对齐的知识蒸馏方法提取特征图上的像素分布信息，对齐所述教师网络和所述学生网络特征图的像素分布，特征对齐的知识蒸馏损失函数为：其中A和B分别是所述教师网络和所述学生网络在同一阶段的特征图，是一个1×1的卷积层用于对齐A和B两个特征图的通道维度。在本专利技术一个实施例中，在步骤S4中，将所述深层暗知识传递给所述学生网络，包括：基于块相似性的知识蒸馏方法提取不同尺度下的人脸结构信息，将人脸图像的结构化信息由所述教师网络传递给所述学生网络。第二方面，本专利技术实施例还提供一种基于深度知识迁移的人脸特征点检测装置，包括：提供模块，用于提供包含人脸特征点标注的人脸数据集，根据所述人脸数据集提供的人脸检测框或者人脸特征点的包围框对人脸图像进行裁剪得到训练集、验证集和测试集；输出模块；控制处理模块，用于从所述训练集中获取训练样本，并从所述测试集中获取测试样本，将所述测试样本和所述训练样本输入到初始人脸对齐网络框架中；所述控制处理模块还用于设置卷积神经网络的参数，利用Pytorch训练所述初始人脸对齐网络框架中的教师网络和学生网络，直至损失函数和最大迭代次数满足预定条件时生成训练模型；所述控制处理模块还用于冻结教师网络的模型参数，提取所述教师网络学习的深层暗知识，将所述深层暗知识传递给所述学生网络，监督所述学生网络的训练过程生成最终人脸对齐网络模型；所述控制处理模块还用于将自然场景下的RGB人脸图像输入至所述最终人脸对齐网络模型中，通过所述输出模块输出人脸特征点检测结果。第三方面，本专利技术实施例还提供一种电子设备，包括：至少一个处理器和至少一个存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行如第一方面所述的基于深度知识迁移的人脸特征点检测方法。第四方面，本专利技术实施例还提供一种计算机可读存储介质，包含一个或多个程序指令，所述一个或多个程序指令用于被执行如第一方面所述的基于深度知识迁移的人脸特征点检测方法。本专利技术实施例提供的技术方案至少具有如下优点：本专利技术实施例提供的基于深度知识迁移的人脸特征点检测方法、装置及设备，采用EfficientFAN作为简单有效的轻量化模型，基于上采样与深度可分离卷积的解码器结构快速实现了特征图的上采样恢复过程，有效地保存了特征图的空间信息。本专利技术与当前先进的大型复杂模型相比，可以达到可比的人脸特征点检测精度，但模型参数量和计算复杂度明显降低。本专利技术使用知识蒸馏方法和知识迁移模块提高学生网络EfficientFAN人脸特征点定位的准确性，提出了块相似性知识蒸馏方法学习人脸多尺度的结构信息，结合特征对齐知识蒸馏学习特征图上的像素分布信息，共同监督和指导EfficientFAN的训练过程。在不改变网络结构和不增加模型参数的前提下，EfficientFAN通过知识迁移方法获得了更准确地人脸特征点检测结果。在公开数据集上的实验结果表明EfficientFAN是一个简单有效的人脸特本文档来自技高网...

【技术保护点】
1.一种基于深度知识迁移的人脸特征点检测方法，其特征在于，包括：/nS1：提供包含人脸特征点标注的人脸数据集，根据所述人脸数据集提供的人脸检测框或者人脸特征点的包围框对人脸图像进行裁剪得到训练集、验证集和测试集；/nS2：从所述训练集中获取训练样本，并从所述测试集中获取测试样本，将所述测试样本和所述训练样本输入到初始人脸对齐网络框架中；/nS3：设置卷积神经网络的参数，利用Pytorch训练所述初始人脸对齐网络框架中的教师网络和学生网络，直至损失函数和最大迭代次数满足预定条件时生成训练模型；/nS4：冻结教师网络的模型参数，提取所述教师网络学习的深层暗知识，将所述深层暗知识传递给所述学生网络，监督所述学生网络的训练过程生成最终人脸对齐网络模型；/nS5：将自然场景下的RGB人脸图像输入至所述最终人脸对齐网络模型中，输出人脸特征点检测结果。/n

【技术特征摘要】
1.一种基于深度知识迁移的人脸特征点检测方法，其特征在于，包括：
S1：提供包含人脸特征点标注的人脸数据集，根据所述人脸数据集提供的人脸检测框或者人脸特征点的包围框对人脸图像进行裁剪得到训练集、验证集和测试集；
S2：从所述训练集中获取训练样本，并从所述测试集中获取测试样本，将所述测试样本和所述训练样本输入到初始人脸对齐网络框架中；
S3：设置卷积神经网络的参数，利用Pytorch训练所述初始人脸对齐网络框架中的教师网络和学生网络，直至损失函数和最大迭代次数满足预定条件时生成训练模型；
S4：冻结教师网络的模型参数，提取所述教师网络学习的深层暗知识，将所述深层暗知识传递给所述学生网络，监督所述学生网络的训练过程生成最终人脸对齐网络模型；
S5：将自然场景下的RGB人脸图像输入至所述最终人脸对齐网络模型中，输出人脸特征点检测结果。


2.根据权利要求1所述的基于深度知识迁移的人脸特征点检测方法，其特征在于，步骤S1包括：
S1-1：提供WFLW数据集，所述WFLW数据集包括N张训练图片和M张测试图片，每张图片具有图片标签，所述图片信息包括人脸框信息、人脸特征点位置信息和多个属性信息，N和M均为大于零的正整数；
S1-2：根据所述人脸数据集提供的人脸检测框对人脸图像进行裁剪，同时对所述人脸检测框进行扰动，对所述人脸图像施加随机旋转、尺寸缩放和翻转，以进行数据增强得到所述训练集、所述验证集和所述测试集。


3.根据权利要求1所述的基于深度知识迁移的人脸特征点检测方法，其特征在于，通过以下方式生成所述初始人脸对齐网络框架：
采用编码器-解码器的网络结构生成所述教师网格，教师网格编码器包括三个上采样层与卷积层，所述教师网格编码器用于对输入图像进行特征提取和编码，保留原始网络的特征提取信息，移除最后的平均池化层、用来分类的全连接层和最后一个升维的1×1卷积层；
在所述编码器后添加所述解码器，对所述编码器提取的图像特征进行空间上采样得到特征图，将所述特征图的通道维数转换为人脸特征点的数量，使用空间softargmax运算在变换后的每张特征图上计算期望得到对应的人脸特征点坐标；
提供EfficientFAN结构的学生网络，学生网络编码器包括三个上采样层与卷积层，所述学生网络用于最终的人脸特征点检测，使用EfficientNet-B0作为所述学生网络编码器的主干部分，移除EfficientNet-B0最后的平均池化层、用来分类的全连接层和最后一个升维的1×1卷积层；
在所述学生网格编码器之后添加了一个1×1的卷积层，将所述学生网格编码器上采样得到特征图的通道数转换为人脸特征点的数目，使用空间softargmax运算在转换后的特征图上计算人脸特征点的坐标。


4.根据权利要求3所述的基于深度知识迁移的人脸特征点检测方...

【专利技术属性】
技术研发人员：吕科，高鹏程，薛健，
申请(专利权)人：中国科学院大学，
类型：发明
国别省市：北京;11