基于联合模型压缩的轻量化人脸表情识别框架构建方法技术

本发明专利技术涉及人脸表情识别技术领域，且公开了基于联合模型压缩的轻量化人脸表情识别框架构建方法，包括以下步骤：S1、数据预处理阶段，其目的是将原始图像数据转化为更合适模型训练和评估的形式，采用CK+、FER2013数据集，并将其划分为训练集和测试集两部分；S2、网络自蒸馏阶段，选用VGG

【技术实现步骤摘要】
基于联合模型压缩的轻量化人脸表情识别框架构建方法


[0001]本专利技术涉及人脸表情识别
，更具体的公开了基于联合模型压缩的轻量化人脸表情识别框架构建方法。

技术介绍

[0002]现有的人脸表情识别算法中，卷积神经网络可以利用卷积层的特征提取能力，并通过反向传播算法来更新神经网络权重，以最小化预测输出与真实输出之间的差距。一些常用的卷积神经网络模型在人脸表情识别任务中都取得了不错的效果。
[0003]人脸表情识别方法复杂的结构模型通常能够提高深度学习任务的学习性能，但是也因为模型参数量巨大带来了昂贵的内存空间和计算资源的消耗，导致了人脸表情识别技术很难在硬件设备上部署。特别是在对表情特征的分类任务中，需要多层的卷积神经网络去处理高纬度的图像数据。
[0004]本专利技术在对人脸表情识别模型轻量化的过程中，使用模型剪枝、量化和知识蒸馏等模型压缩技术对人脸表情识别模型进行优化。在模型剪枝这一阶段，现有的技术对权重参数的处理往往选择以下两种方法：第一种是通过多次实验结果预先设定一个阈值，在后续的训练过程中舍弃掉低于阈值的权重参数，第二种则是引入L1正则化损失函数惩罚某些通道的缩放系数，使它们趋近于0。然而，L1正则化是对所有参数进行同等的惩罚，无法区分对模型拟合的重要性。此外，传统的知识蒸馏方法仅仅关注整个模型的输出，而忽略了不同类别预测结果的差异，也不再适用于人脸表情识别任务。

技术实现思路

[0005]本专利技术主要解决的技术问题是提供基于联合模型压缩的轻量化人脸表情识别框架构建方法，能够解决现有的人脸表情识别算法模型结果复杂，很难在硬件设备上部署的问题。
[0006]为解决上述技术问题，根据本专利技术的一个方面，更具体的说是基于联合模型压缩的轻量化人脸表情识别框架构建方法，包括以下步骤：
[0007]S1、数据预处理阶段，其目的是将原始图像数据转化为更合适模型训练和评估的形式，采用CK+、FER2013数据集，并将其划分为训练集和测试集两部分；
[0008]S2、网络自蒸馏阶段，选用VGG
‑
16模型作为知识蒸馏的初始模型，该阶段采用样本匹配正则项来最小化目标概率分布和原模型预测结果之间的KL散度，以保持同一类样本的预测分布一致性；
[0009]S3、通道系数优化阶段，首先设定一个数组来存储L1惩罚项的总和，然后，对当前层所有通道系数的绝对值进行缩放和平移变换，以获得L1惩罚项，并将它们按通道进行求和后存入数组中，最后，按降序对数组中的数据进行排序，并确定通道系数裁剪的阈值；
[0010]S4、剪枝量化阶段，根据上一阶段得到的阈值以及预先设定好的剪枝比率，对模型进行剪枝处理，即将小于阈值的通道系数设置为0，并删除相应的连接生成剪枝模型，最后，
再对剪枝模型进行低比特量化，把模型的权重量化到“2”。
[0011]更进一步的，所述S1中，对于训练集图像，将其裁剪成长宽比44
×
44的大小，并应用随机镜像操作；对于测试集图像，对其四个角和中心进行切割，并对切割后的图像进行镜像操作，从而得到10张不同的图像。
[0012]更进一步的，所述S2中，引入了标准交叉熵损失函数对不同样本进行预测，并将两种损失函数加和作为整个网络自蒸馏阶段的损失函数。
[0013]更进一步的，所述S4中，由于剪枝可能会导致模型精度下降，因此需要对剪枝模型进行重新训练以达到收敛状态，而重新训练时无需再进行稀疏正则化。
[0014]更进一步的，所述方法还包括验证模型性能的环节，将测试数据中经过裁剪和随机镜像的10张图像送入到模型进行推理，并计算输出概率的平均值，其中，概率最大的分类即为对应的表情。
[0015]本专利技术基于联合模型压缩的轻量化人脸表情识别框架构建方法的有益效果为：传统的知识蒸馏方法仅仅关注整个模型的输出，而忽略了不同类别预测结果，因此对人脸表情图像识别任务并不敏感。本专利技术所使用的基于样本匹配正则化的自蒸馏方法是对单个网络的不同样本之间进行预测，即用自我模型的预测来蒸馏自己，它考虑了同一标签下不同样本之间预测分布的差异，可以显著提高模型的泛化能力和校准性能，从而提高人脸表情识别的性能。
[0016]在确定通道的剪枝系数时，本专利技术采用了一种非凸L1正则化函数，这种方法是对传统L1正则化方法的改进，通过对L1范数惩罚项的每个参数进行变换，将原来的凸函数转换为一个非凸函数。相较于传统L1正则化，这种非凸形式的约束更加灵活，并能更好地处理网络权重参数之间的相关性。因此，非凸L1正则化方法能够更好地反映不同参数对模型性能的重要性，并且在参数选择时能够更精确地控制惩罚程度。为了降低模型在终端设备上的存储难度，本专利技术在剪枝阶段后将网络参数量化到低比特。
[0017]综上，本专利技术设计了一种将人脸识别算法移植到终端的可行框架，实现了几种模型压缩技术之间的动态结合，发挥它们各自的优势，在保证模型精度的情况下，减小了人脸表情识别模型所占用的内存空间大小和计算资源消耗，有效地提高了模型在设备上的运行效率。
附图说明
[0018]下面结合附图和具体实施方法对本专利技术做进一步详细的说明。
[0019]图1为方法流程示意图。
具体实施方式
[0020]下文中将参考附图并结合实施例来详细说明本专利技术。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0021]实施例一
[0022]根据本专利技术的一个方面，如图1所示，提供了基于联合模型压缩的轻量化人脸表情识别框架构建方法，包括以下阶段：
[0023]数据预处理阶段，其目的是将原始图像数据转化为更合适模型训练和评估的形
式，采用CK+、FER2013数据集，并将其划分为训练集和测试集两部分，对于训练集图像，将其裁剪成长宽比44
×
44的大小，并应用随机镜像操作；对于测试集图像，对其四个角和中心进行切割，并对切割后的图像进行镜像操作，从而得到10张不同的图像。
[0024]网络自蒸馏阶段，选用VGG
‑
16模型作为知识蒸馏的初始模型，该阶段采用样本匹配正则项来最小化目标概率分布和原模型预测结果之间的KL散度，以保持同一类样本的预测分布一致性，同时，引入了标准交叉熵损失函数对不同样本进行预测，并将两种损失函数加和作为整个网络自蒸馏阶段的损失函数。
[0025]通道系数优化阶段，首先设定一个数组来存储L1惩罚项的总和，然后，对当前层所有通道系数的绝对值进行缩放和平移变换，以获得L1惩罚项，并将它们按通道进行求和后存入数组中，最后，按降序对数组中的数据进行排序，并确定通道系数裁剪的阈值。
[0026]剪枝量化阶段，根据上一阶段得到的阈值以及预先设定好的剪枝比率，对模型进行剪枝处理，即将小于阈值的通道系数设置为0，并删除相应的连接生成剪枝模型，由于剪枝可能会导致模型精度下降，因此需要对剪枝模型进行重新训练以达到收敛状态，而重新训练时无需再进行稀疏正则化，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于联合模型压缩的轻量化人脸表情识别框架构建方法，其特征在于，包括以下步骤：S1、数据预处理阶段，其目的是将原始图像数据转化为更合适模型训练和评估的形式，采用CK+、FER2013数据集，并将其划分为训练集和测试集两部分；S2、网络自蒸馏阶段，选用VGG
‑
16模型作为知识蒸馏的初始模型，该阶段采用样本匹配正则项来最小化目标概率分布和原模型预测结果之间的KL散度，以保持同一类样本的预测分布一致性；S3、通道系数优化阶段，首先设定一个数组来存储L1惩罚项的总和，然后，对当前层所有通道系数的绝对值进行缩放和平移变换，以获得L1惩罚项，并将它们按通道进行求和后存入数组中，最后，按降序对数组中的数据进行排序，并确定通道系数裁剪的阈值；S4、剪枝量化阶段，根据上一阶段得到的阈值以及预先设定好的剪枝比率，对模型进行剪枝处理，即将小于阈值的通道系数设置为0，并删除相应的连接生成剪枝模型，最后，再对剪枝模型进行低比特量化，把模型的权重量化到“2”。2.根据权利要求1所述的基于联合模型压缩...

【专利技术属性】
技术研发人员：樊春晓，李劲滔，宋光明，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：