一种人脸识别模型压缩方法和人脸识别方法技术

本发明专利技术公开了一种人脸识别模型压缩方法和人脸识别方法，该人脸识别模型压缩方法包括：获取训练好的初始人脸识别模型，该初始人脸识别模型为MobileFaceNet网络；基于MobileFaceNet网络中bottleneck层的通道重要性指标对初始人脸识别模型进行剪枝，得到剪枝后的模型；将初始人脸识别模型作为教师模型，将剪枝后的模型作为学生模型，基于知识蒸馏方法得到目标人脸识别模型。本方案能够在保证人脸识别精度的同时提升模型运行速度。脸识别精度的同时提升模型运行速度。脸识别精度的同时提升模型运行速度。

【技术实现步骤摘要】
一种人脸识别模型压缩方法和人脸识别方法


[0001]本专利技术涉及深度学习
，具体涉及一种人脸识别模型压缩方法、人脸识别方法、计算设备及存储介质。

技术介绍

[0002]深度学习的应用加速了计算机视觉领域的发展，但是随着模型深度的加深，也带来了高额的存储空间、计算资源消耗等问题，很难在普通计算平台上实现。为了解决此类问题，对模型进行压缩可以最大限度的减少模型对计算空间和时间的消耗。
[0003]量化感知训练、蒸馏训练和非结构化剪枝是常用的几种模型压缩技术。如果先对模型进行量化感知训练，再进行非结构化剪枝，由于非结构化剪枝过程仅更新卷积层的参数，而不会同步更新量化模型中伪量化节点的参数，会导致量化模型的伪量化节点参数引入新的偏差，影响最终量化模型的精度。如果先对模型进行非结构化剪枝，再进行量化感知训练，经过非结构化剪枝后得到的稀疏浮点模型容易加重量化感知训练的不稳定性，影响最终量化模型的精度。

技术实现思路

[0004]为了提高模型压缩性能，本专利技术提出一种人脸识别模型压缩方法，以轻量化人脸识别网络MobileFaceNet为原始模型，基于bottleneck层的通道重要性指标指导模型的剪枝，可以保证模型结构上下通道数的一致性。并且基于单位向量欧氏距离对剪枝后的模型进行知识蒸馏，可以保持模型的精度要求。
[0005]根据本专利技术的第一方面，提供一种人脸识别模型压缩方法，包括：获取训练好的初始人脸识别模型，该初始人脸识别模型为MobileFaceNet网络；基于MobileFaceNet网络中bottleneck层的通道重要性指标对初始人脸识别模型进行剪枝，得到剪枝后的模型；将初始人脸识别模型作为教师模型，将剪枝后的模型作为学生模型，基于知识蒸馏方法得到目标人脸识别模型。
[0006]可选地，在上述人脸识别模型压缩方法中，MobileFaceNet网络包括多个bottleneck层，bottleneck层包括顺次连接的第一卷积层、第二卷积层和第三卷积层，第一卷积层为1*1升维卷积，第二卷积层为3*3可分离分组卷积，第三卷积层为1*1降维卷积。
[0007]可选地，在上述人脸识别模型压缩方法中，基于第一卷积层的激活层输出值与对应的梯度之间的乘积选取需要剪枝的通道；将需要剪枝的通道从第一卷积层、第二卷积层和第三卷积层中去除，得到剪枝后的bottleneck层；对每个bottleneck层基于第一卷积层的通道重要性进行剪枝，得到剪枝后的模型。
[0008]可选地，在上述人脸识别模型压缩方法中，可以对需要剪枝的通道的权重重要性归一化并排序，将不符合预设标准权重的通道剔除；对剔除通道后的模型进行微调；通过最小化剪枝前权重的代价函数与剪枝后权重的代价函数之间的差距，对模型进行迭代剪枝，直到剪枝后的模型精度达到预设阈值。
[0009]可选地，在上述人脸识别模型压缩方法中，获取训练数据集；将训练数据集分别输入教师模型和学生模型，获取剪枝前后模型的输出向量；计算剪枝前后模型输出向量之间的单位向量欧氏距离损失函数；通过最小化单位向量欧氏距离损失函数进行知识蒸馏，将教师模型中的知识提取到学生模型中，得到目标人脸识别模型。
[0010]可选地，在上述人脸识别模型压缩方法中，对教师模型输出向量和学生模型输出向量进行归一化处理，得到第一向量和第二向量；计算第一向量和第二向量之间的欧氏距离损失，欧氏距离损失通过下述公式计算：其中，N为训练数据集中的样本数量，F
T
为第一向量，F
S
为第二向量，为第i个样本在教师模型中的输出向量，为第i个样本在学生模型中的输出向量。
[0011]根据本专利技术的第二方面，提供了一种人脸识别方法，包括：获取待识别人脸图像；将待识别人脸图像输入目标人脸识别模型中进行身份验证，输出得到人脸识别结果，目标人脸识别模型基于如上的人脸识别模型压缩方法获得。
[0012]根据本专利技术的第三方面，提供一种计算设备，包括：至少一个处理器；和存储有程序指令的存储器，其中，程序指令被配置为适于由至少一个处理器执行，程序指令包括用于执行上述人脸识别模型压缩方法和人脸识别方法的指令。
[0013]根据本专利技术的第四方面，提供一种存储有程序指令的可读存储介质，当程序指令被计算设备读取并执行时，使得计算设备执行上述的人脸识别模型压缩方法和人脸识别方法。
[0014]根据本专利技术提供的人脸识别模型压缩方法，通过轻量化人脸识别网络MobileFaceNet中bottleneck层的通道的重要性指导模型结构化剪枝，可以保证模型前后通道数一致性，实现模型的快速有效剪枝；基于单位向量欧氏距离对剪枝后的模型进行知识蒸馏，可以保持模型的精度要求。因此本方案能够在保证人脸识别精度的同时提升人脸识别的速度。
[0015]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0016]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本专利技术一个实施例的计算设备100的结构框图；图2示出了根据本专利技术一个实施例的人脸识别模型压缩方法200的流程示意图；图3示出了MobileFaceNet网络的结构示意图；图4示出了根据本专利技术一个实施例的人脸识别方法400的流程示意图。
具体实施方式
[0017]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0018]由于终端设备算力和存储资源有限，对人脸识别模型的要求倾向于轻量级和高精度。轻量级模型相对于又深又宽的大模型具有参数量小、运算量小的特点，但同时要求其在识别精度上不能有太大的损失。
[0019]为了进一步降低模型计算量，本方案提供了一种人脸识别模型压缩方法，通过对轻量型网络MobileFaceNet进行泰勒剪枝和知识蒸馏，能够在保证人脸识别精度的同时提升人脸识别的速度。
[0020]图1示出了根据本专利技术一个实施例的计算设备100的结构图。如图1所示，在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。
[0021]取决于期望的配置，处理器104可以是任何类型的处理器，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸识别模型压缩方法，其特征在于，包括：获取训练好的初始人脸识别模型，所述初始人脸识别模型为MobileFaceNet网络；基于所述MobileFaceNet网络中bottleneck层的通道重要性指标对所述初始人脸识别模型进行剪枝，得到剪枝后的模型；将所述初始人脸识别模型作为教师模型，将所述剪枝后的模型作为学生模型，基于知识蒸馏方法得到目标人脸识别模型。2.根据权利要求1所述的人脸识别模型压缩方法，其特征在于，所述MobileFaceNet网络包括多个bottleneck层，所述bottleneck层包括顺次连接的第一卷积层、第二卷积层和第三卷积层，所述第一卷积层为1*1升维卷积，所述第二卷积层为3*3可分离分组卷积，所述第三卷积层为1*1降维卷积。3.根据权利要求2所述的人脸识别模型压缩方法，其特征在于，所述基于所述MobileFaceNet网络中bottleneck层的通道重要性指标对所述初始人脸识别模型进行剪枝，得到剪枝后的模型的步骤包括：基于第一卷积层的激活层输出值与对应的梯度之间的乘积选取需要剪枝的通道；将所述需要剪枝的通道从第一卷积层、第二卷积层和第三卷积层中去除，得到剪枝后的bottleneck层；对每个bottleneck层基于第一卷积层的通道重要性进行剪枝，得到剪枝后的模型。4.根据权利要求4所述的人脸识别模型压缩方法，其特征在于，所述对每个bottleneck层基于第一卷积层的通道重要性进行剪枝，得到剪枝后的模型的步骤包括：对需要剪枝的通道的权重重要性归一化并排序，将不符合预设标准权重的通道剔除；对剔除通道后的模型进行微调；通过最小化剪枝前权重的代价函数与剪枝后权重的代价函数之间的差距，对模型进行迭代剪枝，直到剪枝后的模型精度达到预设阈值。5.根据权利要求1所述的人脸识别模型压缩方法，其特征在于，所述将所述初始人脸识别模型作...

【专利技术属性】
技术研发人员：刘利非，李丽，王庆峰，
申请(专利权)人：上海锡鼎智能科技有限公司，
类型：发明
国别省市：