一种基于卷积神经网络通道解耦的网络轻量化方法技术

本发明专利技术提供了一种基于卷积神经网络通道解耦的网络轻量化方法，包括：对数据集中的图像进行预处理；构建第一卷积神经网络模型和第二卷积神经网络模型；基于第一卷积神经网络模型，构建自监督预训练模型，基于预处理后的图像对自监督预训练模型进行训练，将训练后的自监督预训练模型知识蒸馏到第二卷积神经网络模型中，获得第三卷积神经网络模型；在第三卷积神经网络模型的通道后面加入可训练参数门阈值进行通道解耦，判断通道重要性，完成网络的轻量化。本发明专利技术在卷积网络中加入通道门阈值，在知识蒸馏实现模型压缩的基础上，进一步使网络轻量化，从而大幅度减少了模型的存储和计算开支。计算开支。计算开支。

【技术实现步骤摘要】
一种基于卷积神经网络通道解耦的网络轻量化方法


[0001]本专利技术属于深度学习
，尤其涉及一种基于卷积神经网络通道解耦的网络轻量化方法。

技术介绍

[0002]近些年，越来越多的模型帮助人们完成了各式各样的任务，但随着模型规模的增大，终端模型部署的难度也直线增长，模型压缩，网络轻量化即用于解决这一问题，从而给移动端部署减轻压力，减少其对计算机量和存储量的要求。
[0003]在监督学习的领域，剪枝、量化、知识蒸馏，各种方法层出不穷。然而，在自监督学习方面，模型的轻量化仍然是一大难题。近两年，针对自监督模型的轻量化方法发展缓慢，不仅因为其不能使用标签而带来的限制条件，而且比监督学习更加庞大的模型规模更是难题。

技术实现思路

[0004]为解决上述技术问题，本专利技术提出一种基于卷积神经网络通道解耦的网络轻量化方法，在卷积网络的基础上加入门阈值，并改善其结构，大幅度减少了模型的存储和计算开支。
[0005]为实现上述目的，本专利技术提供了一种基于卷积神经网络通道解耦的网络轻量化方法，包括如下步骤：
[0006]对数据集中的图像进行预处理；
[0007]构建第一卷积神经网络模型和第二卷积神经网络模型，其中，所述第二卷积神经网络模型的规模小于所述第一卷积神经网络模型；
[0008]基于所述第一卷积神经网络模型，构建自监督预训练模型，基于预处理后的所述图像对所述自监督预训练模型进行训练，将训练后的所述自监督预训练模型知识蒸馏到所述第二卷积神经网络模型中，获得第三卷积神经网络模型；
[0009]在所述第三卷积神经网络模型的通道后面加入可训练参数门阈值进行通道解耦，判断通道重要性，完成网络的轻量化。
[0010]可选地，所述预处理包括：对所述图像进行增量处理，对增量后的所述图像进行归一化处理；
[0011]所述增量处理包括：随机裁剪、随机水平翻转、随机颜色属性变化、随机灰度变换和随机高斯滤波。
[0012]可选地，所述自监督预训练模型，基于在所述第一卷积神经网络模型后连接两层全连接层构成。
[0013]可选地，基于预处理后的所述图像对所述自监督预训练模型进行训练包括：
[0014]将预处理后的所述图像输入至所述自监督预训练模型中，获取两组输出向量；
[0015]通过InfoNCE损失函数对两组所述输出向量进行处理，将相同图像得到的输出向
量距离拉近，不同图像得到的输出向量距离拉远。
[0016]可选地，将训练后的所述自监督预训练模型知识蒸馏到所述第二卷积神经网络模型中包括：
[0017]将所述自监督预训练模型作为第一教师网络模型，将所述第二卷积神经网络模型作为第一学生网络模型；
[0018]构建第一预设数值长度的第一队列，将所述第一预设数值的预处理后的所述图像输入至所述第一教师网络模型中，并将获得的输出向量加入到所述第一队列中，获得第一存储体；
[0019]将所述第一教师网络模型的梯度固定，所述第一学生网络模型的梯度打开，将预处理后的所述图像输入至所述第一教师网络模型和第一学生网络模型中，将所述第一教师网络模型和第一学生网络模型的输出向量依次与所述第一存储体进行内积，并分别进行SoftMax，最终得到的两组向量分别表示所述第一教师网络模型、所述第一学生网络模型与所述第一存储体的相似程度；
[0020]将两组向量的相似程度进行交叉熵损失函数处理，使两组向量的相似程度最近，完成所述知识蒸馏到所述第二卷积神经网络模型。
[0021]可选地，对所述第三卷积神经网络模型的通道后面加入可训练参数门阈值进行通道解耦包括：
[0022]将所述第三卷积神经网络模型作为第二教师网络模型，在所述第三卷积神经网络模型的每个通道后加入一个可训练参数门阈值，将加入所述可训练参数门阈值的第三卷积神经网络模作为第二学生网络模型；
[0023]将预处理后的所述图像输入至所述第二教师网络模型和所述第二学生网络模型，获取所述图像的门阀值，基于所述门阀值获得所述通道重要性。
[0024]可选地，判断所述通道重要性包括：
[0025]对每类图像的所述门阀值进行并集处理，获取每类图像所对应通道的门阀值，对所述第二学生网络模型中全部通道的门阀值进行排序，获得每类图像在所述第二学生网络模型中的第一通道重要性排名；
[0026]对每个通道不同类图像的所述第一通道重要性排名进行累加，并对累加后的所有通道的重要性排名再次排序，得到所述第二学生网络模型中第二通道重要性排名；
[0027]基于所述第二通道重要性排名，将所述第二学生网络模型中不重要通道的参数进行去除，完成所述通道的重要性的判断。
[0028]可选地，将预处理后的所述图像输入至所述第二教师网络模型和所述第二学生网络模型前还包括：
[0029]构建第二预设数值长度的第二队列，将所述第二预设数值的预处理后的所述图像输入至所述第二教师网络模型中，并将获得的输出向量加入到所述第二队列中，获得第二存储体；
[0030]在交叉熵的基础上加入L1损失函数构建损失函数，将预处理后的所述图像输入至所述第二教师网络模型和所述第二学生网络模型，经过L2
‑
Norm处理后，分别比较两组输出向量与所述第二存储体的相似程度，将两组相似程度进行所述损失函数处理，将所述第二教师网络模型知识蒸馏到所述第二学生网络模型中。
[0031]与现有技术相比，本专利技术具有如下优点和技术效果：
[0032]本专利技术通过自监督知识蒸馏，将大模型的知识迁移到小模型上，实现第一次的网络轻量化；通道门阈值机制实现的通道重要性分析，实现的网络进一步的轻量化；大幅度减少了模型的存储和计算开支；在解决自监督学习模型轻量化的同时，利用自监督学习的表征能力可以实现自网络分类、神经网络剪枝等多种功能。
附图说明
[0033]构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0034]图1为本专利技术实施例的网络轻量化方法流程示意图；
[0035]图2为本专利技术实施例的基于自监督对比学习模型预训练的示意图；
[0036]图3为本专利技术实施例的基于自监督知识蒸馏实现模型压缩的示意图；
[0037]图4为本专利技术实施例的基于通道解耦实现自监督网络模型通道重要性分离示意图；
[0038]图5为本专利技术实施例的门阈值结构示意图。
具体实施方式
[0039]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0040]需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0041]实施例
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络通道解耦的网络轻量化方法，其特征在于，包括：对数据集中的图像进行预处理；构建第一卷积神经网络模型和第二卷积神经网络模型，其中，所述第二卷积神经网络模型的参数量及复杂度小于所述第一卷积神经网络模型；基于所述第一卷积神经网络模型，构建自监督预训练模型，基于预处理后的所述图像对所述自监督预训练模型进行训练，将训练后的所述自监督预训练模型知识蒸馏到所述第二卷积神经网络模型中，获得第三卷积神经网络模型；在所述第三卷积神经网络模型的通道后面加入可训练参数门阈值进行通道解耦，判断通道重要性，完成网络的轻量化。2.根据权利要求1所述的基于卷积神经网络通道解耦的网络轻量化方法，其特征在于，所述预处理包括：对所述图像进行增量处理，对增量后的所述图像进行归一化处理；所述增量处理包括：随机裁剪、随机水平翻转、随机颜色属性变化、随机灰度变换和随机高斯滤波。3.根据权利要求1所述的基于卷积神经网络通道解耦的网络轻量化方法，其特征在于，所述自监督预训练模型，基于在所述第一卷积神经网络模型后连接两层全连接层构成。4.根据权利要求3所述的基于卷积神经网络通道解耦的网络轻量化方法，其特征在于，基于预处理后的所述图像对所述自监督预训练模型进行训练包括：将预处理后的所述图像输入至所述自监督预训练模型中，获取两组输出向量；通过InfoNCE损失函数对两组所述输出向量进行处理，将相同图像得到的输出向量距离拉近，不同图像得到的输出向量距离拉远。5.根据权利要求1所述的基于卷积神经网络通道解耦的网络轻量化方法，其特征在于，将训练后的所述自监督预训练模型知识蒸馏到所述第二卷积神经网络模型中包括：将所述自监督预训练模型作为第一教师网络模型，将所述第二卷积神经网络模型作为第一学生网络模型；构建第一预设数值长度的第一队列，将所述第一预设数值的预处理后的所述图像输入至所述第一教师网络模型中，并将获得的输出向量加入到所述第一队列中，获得第一存储体；将所述第一教师网络模型的梯度固定，所述第一学生网络模型的梯度打开，将预处理后的所述图像输入至所述第一教师网络模型和第一学生网络模型中，将所述第一教师网络模型和第一学生网络模型的输出向量依次与所述第一存储体进行内积，并...

【专利技术属性】
技术研发人员：袁全波，王慧娟，魏国晟，李建义，
申请(专利权)人：北华航天工业学院，
类型：发明
国别省市：