【技术实现步骤摘要】
本申请涉及计算机，特别涉及一种基于字典学习的神经网络模型压缩方法、装置及存储介质。
技术介绍
1、近年来，深度学习技术的迅猛发展已经在计算机视觉、自然语言处理以及其他领域取得了令人瞩目的成功。这些成功背后的深度神经网络模型通常拥有数百万到数十亿个参数，这使得它们变得庞大、计算资源密集、存储需求高。这种情况不仅导致了模型训练时间和计算资源的浪费，还在模型部署阶段引入了高昂的计算开销和内存占用。因此，模型压缩成为了一个备受关注的研究方向。
2、在模型压缩领域，有几种关键技术已经被广泛研究和应用，包括：①剪枝(pruning)：这项技术通过识别和去除神经网络中那些对模型性能贡献较小的参数和连接，从而减小模型的大小。这种方法通常是基于权重的重要性进行筛选，以剔除不必要的参数，从而减少模型大小。②量化(quantization)：深度神经网络通常使用浮点数表示参数，这在存储和计算上很昂贵。量化技术将模型参数从浮点数转化为较低位宽的整数，以减小模型的存储需求和计算开销。③知识蒸馏(knowledge distillation)：这种技术通过训练一个较小的模型来拟合一个较大模型的输出，从而传输大模型的"知识"给小模型。这有助于减小模型的大小，同时保持较大模型的性能水平。
3、尽管以上这些技术在减小模型规模和资源消耗方面取得了显著进展，但它们也存在一些不足之处。剪枝技术通常需要复杂的超参数调整，而且在剪枝过程中可能会引入不可逆的信息丢失，限制了模型的恢复能力。另外，量化技术有时会引入精度损失，从而降低模型性能，尤其在处理
4、因此，现有技术存在缺陷，有待改进与发展。
技术实现思路
1、本申请实施例提供一种基于字典学习的神经网络模型压缩方法、装置、存储介质及设备，能够在减小神经网络模型规模的同时保持高性能，提高模型的实时性和鲁棒性，并降低模型训练的成本。
2、本申请实施例提供一种基于字典学习的神经网络模型压缩方法，所述方法包括：
3、对预先训练好的卷积神经网络模型中的每一卷积层进行卷积核参数预处理，生成每一所述卷积层的卷积核参数矩阵；
4、将每一所述卷积核参数矩阵作为训练数据输入局部性敏感字典学习算法中，生成对应的每一所述卷积层的字典，其中，所述局部性敏感字典学习算法结合了字典学习和局部性敏感哈希的思想；
5、基于每一所述卷积层的所述字典对同一所述卷积层的所述卷积核参数矩阵中的卷积核进行筛选，以获取每一所述卷积层中贡献值最大的多个目标卷积核；
6、基于获取到的所有所述目标卷积核重新构建新的卷积神经网络模型，生成压缩后的神经网络模型，并对压缩后的所述神经网络模型进行再训练，其中，再训练所用的数据集与原始训练数据相同。
7、在本申请实施例所述的基于字典学习的神经网络模型压缩方法中，所述对预先训练好的卷积神经网络模型中的每一卷积层进行卷积核参数预处理，生成每一所述卷积层的卷积核参数矩阵，包括：
8、获取预先训练好的所述卷积神经网络模型，并对预先训练好的所述卷积神经网络模型中的每一所述卷积层进行卷积核参数提取操作，得到每一所述卷积层的多个卷积核参数；
9、将每一所述卷积层的每一所述卷积核参数展开成一维向量，得到每一所述卷积层的多个一维向量；
10、将每一所述卷积层的多个所述一维向量进行整合，生成每一所述卷积层的所述卷积核参数矩阵。
11、在本申请实施例所述的基于字典学习的神经网络模型压缩方法中，所述基于每一所述卷积层的所述字典对同一所述卷积层的所述卷积核参数矩阵中的卷积核进行筛选，以获取每一所述卷积层中贡献值最大的多个目标卷积核，包括：
12、获取每一所述卷积层的所述字典中的每一所述字典原子与同一所述卷积层的所述卷积核参数矩阵中的每一卷积核的相似度值，则同一个所述字典原子对应多个所述相似度值；
13、将每一所述卷积层的所述字典中同一个所述字典原子对应的多个所述相似度值作为一个相似度组，则每一所述卷积层对应得到多个所述相似度组；
14、确定每一所述相似度组中的最大相似度值对应的第一卷积核，则每一所述卷积层对应得到多个所述第一卷积核；
15、将每一所述卷积层对应得到的多个所述第一卷积核作为同一所述卷积层中贡献值最大的多个目标卷积核，则获取到每一所述卷积层中贡献值最大的多个目标卷积核。
16、在本申请实施例所述的基于字典学习的神经网络模型压缩方法中，所述获取每一所述卷积层的所述字典中的每一所述字典原子与同一所述卷积层的所述卷积核参数矩阵中的每一卷积核的相似度值，包括：
17、获取每一所述卷积层的所述字典中的每一所述字典原子与同一所述卷积层的所述卷积核参数矩阵中的每一卷积核的欧式距离；
18、基于所述欧式距离判断所述所述字典原子与所述卷积核的相似度值，其中，所述欧式距离越小，则所述相似度值越大。
19、在本申请实施例所述的基于字典学习的神经网络模型压缩方法中，所述将每一所述卷积层的所述字典中同一个所述字典原子对应的多个所述相似度值作为一个相似度组后，还包括：
20、对所述相似度组中的所有相似度值按照升序方式进行排序，并记录以及保存排序后的卷积核索引。
21、在本申请实施例所述的基于字典学习的神经网络模型压缩方法中，所述基于获取到的所有所述目标卷积核重新构建新的卷积神经网络模型，生成压缩后的神经网络模型，包括：
22、根据所述目标卷积核对应的所述卷积核索引将保留的所述目标卷积核对应的目标卷积核参数加载到新的卷积神经网络模型中，生成压缩后的神经网络模型。
23、在本申请实施例所述的基于字典学习的神经网络模型压缩方法中，预先训练好的所述卷积神经网络模型其类别包括vggnet模型、alexnet模型和lenet模型。
24、本申请实施例还提供一种基于字典学习的神经网络模型压缩装置，所述装置包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行以上任一实施例所述的基于字典学习的神经网络模型压缩方法。
25、本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行以上任一实施例所述的基于字典学习的神经网络模型压缩方法。
26、本申请实施例还提供一种电子设备，所述电子设备包括以上实施例所述的基于字典学习的神经网络模型压缩装置。
27、本申请实施例提供的基于字典学习的神经网络模型压缩方法，首先通过对预先训练好的卷积神经网络模型中的每个卷积层的卷积核参数进行字典学习，进一步优化卷积核的选择和组合，然后利用优化后的卷积核重新构建新的卷积神经网络模型，从而能够实现模型的高效压缩，最后对压缩后的神经网络模型进行再训练，本文档来自技高网...
【技术保护点】
1.一种基于字典学习的神经网络模型压缩方法，其特征在于，所述方法包括：
2.如权利要求1所述的基于字典学习的神经网络模型压缩方法，其特征在于，所述对预先训练好的卷积神经网络模型中的每一卷积层进行卷积核参数预处理，生成每一所述卷积层的卷积核参数矩阵，包括：
3.如权利要求1所述的基于字典学习的神经网络模型压缩方法，其特征在于，所述基于每一所述卷积层的所述字典对同一所述卷积层的所述卷积核参数矩阵中的卷积核进行筛选，以获取每一所述卷积层中贡献值最大的多个目标卷积核，包括：
4.如权利要求3所述的基于字典学习的神经网络模型压缩方法，其特征在于，所述获取每一所述卷积层的所述字典中的每一所述字典原子与同一所述卷积层的所述卷积核参数矩阵中的每一卷积核的相似度值，包括：
5.如权利要求3所述的基于字典学习的神经网络模型压缩方法，其特征在于，所述将每一所述卷积层的所述字典中同一个所述字典原子对应的多个所述相似度值作为一个相似度组后，还包括：
6.如权利要求5所述的基于字典学习的神经网络模型压缩方法，其特征在于，所述基于获取到的所有所述目标
7.如权利要求1所述的基于字典学习的神经网络模型压缩方法，其特征在于，预先训练好的所述卷积神经网络模型其类别包括VGGNet模型、AlexNet模型和LeNet模型。
8.一种基于字典学习的神经网络模型压缩装置，其特征在于，所述装置包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行权利要求1至7任一项所述的基于字典学习的神经网络模型压缩方法。
9.一种电子设备，其特征在于，所述电子设备包括权利要求8所述的基于字典学习的神经网络模型压缩装置。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1至7任一项所述的基于字典学习的神经网络模型压缩方法。
...【技术特征摘要】
1.一种基于字典学习的神经网络模型压缩方法，其特征在于，所述方法包括：
2.如权利要求1所述的基于字典学习的神经网络模型压缩方法，其特征在于，所述对预先训练好的卷积神经网络模型中的每一卷积层进行卷积核参数预处理，生成每一所述卷积层的卷积核参数矩阵，包括：
3.如权利要求1所述的基于字典学习的神经网络模型压缩方法，其特征在于，所述基于每一所述卷积层的所述字典对同一所述卷积层的所述卷积核参数矩阵中的卷积核进行筛选，以获取每一所述卷积层中贡献值最大的多个目标卷积核，包括：
4.如权利要求3所述的基于字典学习的神经网络模型压缩方法，其特征在于，所述获取每一所述卷积层的所述字典中的每一所述字典原子与同一所述卷积层的所述卷积核参数矩阵中的每一卷积核的相似度值，包括：
5.如权利要求3所述的基于字典学习的神经网络模型压缩方法，其特征在于，所述将每一所述卷积层的所述字典中同一个所述字典原子对应的多个所述相似度值作为一个相似度组后，还包括：
6.如权利要...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。