基于有效秩张量近似的残差网络压缩的图像分类方法技术

本发明专利技术公开了一种基于有效秩张量近似的残差网络压缩的图像分类方法，属于基于深度学习的图像处理技术领域。本发明专利技术首先设置训练数据集，接着设置包括特征提取网络和分类输出网络的图像分类网络，并其进行有效秩张量近似残差网络压缩训练处理，以获取训练好的图像分类器；对待分类图像进行图像预处理后输入图像分类器，基于其输出获取图像分类结果。本发明专利技术以基于所设置的高效低秩度量方式，在高压缩率下使得残差网络的精度损失较小，从而促进用于图像分类的残差网络在存储空间有限的设备上的应用。应用。应用。

【技术实现步骤摘要】
基于有效秩张量近似的残差网络压缩的图像分类方法


[0001]本专利技术属于基于深度学习的图像处理
，具体涉及一种基于有效秩张量近似的残差网络压缩的图像分类方法。

技术介绍

[0002]近年来，深度学习在图像分类任务上得巨大突破，其中备受关注的残差网络通过引入短路连接大幅提高了任务性能。在实际应用，为了更准确地提取图像特征，需要使用加宽、加深后的残差网络。如此大型的网络会具有大量的参数，而存储这些参数需要巨大的存储量，这阻碍着残差网络应用于一些资源受限的图像分类任务场景（如自动驾驶、医学诊断等）。于是，需要进行网络压缩，即用更少的参数来表示残差网络。其中，低秩近似是一种理论基础夯实且易于实施的方法。
[0003]利用低秩近似压缩残差网络的主要思想是，基于残差网络各层的权重张量的低秩性，对每个张量进行张量分解，用几个小型张量来近似表示原大型张量，从而实现参数个数的减少。其中，这些小型张量的尺寸大小与张量的秩正相关。然而，常规训练得到的权重张量的秩仍较大，因此，为了保证近似误差较小，不宜使用过小的秩进行张量分解，这也就导致了取得的压缩率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于有效秩张量近似的残差网络压缩的图像分类方法，其特征在于，包括下列步骤：步骤1，设置训练数据集，训练数据集的每个训练样本包括样本图像和样本标签；步骤2，设置图像分类网络，所述图像分类网络包括基于若干层残差网络层的特征提取网络和基于全连接层的分类输出网络；步骤3，基于预置的低秩训练优化目标对图像分类网络的网络参数进行残差网络压缩训练处理，获取轻量化特征提取网络和训练好的分类输出网络并作为目标对象的图像分类器；步骤4，对待分类图像进行图像预处理后输入图像分类器，基于其输出获取图像分类结果。2.如权利要求1所述的基于有效秩张量近似的残差网络压缩的图像分类方法，其特征在于，步骤3中，低秩训练优化目标具体为：；其中，表示图像分类网络的所有网络参数，N表示训练样本数，i表示训练样本编号，表示图像分类网络的损失函数，表示样本图像，表示样本图像的分类标签；表示图像分类网络的输出，表示低秩正则项，表示低秩正则项的系数，表示图像分类网络中的残差网络的所有待压缩网络层的参数，低秩正则项为残差网络中所有需要被压缩的网络层的权重张量的有效秩之和。3.如权利要求2所述的基于有效秩张量近似的残差网络压缩的图像分类方法，其特征在于，步骤3中，获取低秩正则项时，被压缩的网络层的权重张量的有效秩的具体获取方式包括两种，分别为：第一方式：仅基于输出通道维的低秩性的有效秩：对任意一层被压缩的网络层的权重张量，按照输出通道数维度展开得到矩阵，其中，k表示被压缩的网络层编号；基于矩阵的有效秩得到权重张量的有效秩：；其中，为的非零奇异值的个数，为矩阵的第i个奇异值的归一化值；第二方式：基于输出和输入通道维的低秩性的有效秩：对任意一层被压缩的网络层的权重张量，分别按照输出通道数维度和输入通道数维
度展开得到矩阵和矩阵；基于矩阵和矩阵的有效秩得到权重张量的有效秩：；其中，、分别为矩阵、的非零奇异值的个数，为矩阵的第i个奇异值的归一化值，为矩阵的个奇异值...

【专利技术属性】
技术研发人员：王忠荣，欧馨蔚，何飞，刘翼鹏，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：