【技术实现步骤摘要】
本说明书涉及神经网络的压缩领域，尤其涉及一种用于图像分类卷积神经网络的网络压缩方法及装置。
技术介绍
1、随着深度学习技术的发展，神经网络模型变得越来越复杂，参数数量和计算量也在不断增加，极大限制了在边缘设备上的部署。为此，研究人员常采用对神经网络模型进行压缩的方式，实现更高效的模型部署和应用。
2、目前，剪枝和量化是两种常用的压缩技术，通过减少模型参数的规模和降低神经网络模型的计算量，实现神经网络模型的压缩。但这两种方法也存在一定的缺点。首先，传统的结构化剪枝按照特定的模式（例如，通道、行或列）进行剪枝，导致神经网络模型出现稀疏连接，影响了模型精度。其次，量化通过将参数表示从较高的位宽降低到较低的位宽，导致信息损失，以及由于量化误差的累积，影响神经网络模型的性能。
3、基于此，本说明书提供一种用于图像分类卷积神经网络的网络压缩方法。
技术实现思路
1、本说明书提供了一种用于图像分类卷积神经网络的网络压缩方法，以部分的解决现有技术存在的上述问题。
2、本说明书采用下述技术方案：
3、本说明书提供了一种用于图像分类卷积神经网络的网络压缩方法，所述方法包括：
4、获取训练完成的图像分类卷积神经网络，以及输入图像；
5、将所述输入图像输入所述图像分类卷积神经网络，针对所述图像分类卷积神经网络的每一网络层，确定该网络层中各节点的参数，以及各节点输出的所述输入图像的激活特征；
6、根据各节点的参数，确定各节点
7、根据所述参数聚类结果以及所述激活特征聚类结果，确定所述各节点的综合聚类结果；
8、根据所述综合聚类结果，对该网络层中各节点进行剪枝，并确定该网络层的剪枝结果；
9、根据各网络层的剪枝结果，确定压缩后的图像分类卷积神经网络，所述压缩后的图像分类卷积神经网络部署于边缘设备，用于响应图像分类请求，根据所述图像分类请求携带的输入图像，输出分类结果。
10、可选的，根据各节点的参数，确定各节点中的核心参数，按照所述核心参数确定各节点的参数聚类结果，具体包括：
11、针对该网络层中每个节点，确定该节点的参数分别与该网络层中其他节点的参数的余弦距离；
12、若该节点的参数的预设邻域内的其他节点的参数的数量不小于预设数量，则确定该节点的参数为核心参数，并按照预设邻域内的其他节点的参数与所述核心参数的余弦距离从小到大的顺序，筛选出所述预设数量的其他节点的参数，并根据筛选出的其他节点的参数对应的余弦距离最大值，确定所述核心参数的核心距离；
13、针对所述核心参数的预设邻域内的每个其他节点的参数，将该其他节点的参数与所述核心参数的余弦距离以及所述核心参数的核心距离中的最大值，作为该其他节点的参数的初始可达距离；
14、针对该网络层中每个节点，确定该节点的参数与距离该节点的参数最近的核心参数对应的初始可达距离，作为该节点的参数的目标可达距离；
15、通过预设的聚类参数，根据该网络层中各节点的参数的目标可达距离，确定各节点的参数聚类结果。
16、可选的，根据各节点输出的激活特征，确定各节点中的核心激活特征，按照所述核心激活特征确定各节点的激活特征聚类结果，具体包括：
17、针对该网络层中每个节点，确定该节点输出的激活特征分别与该网络层中其他节点输出的激活特征的余弦距离；
18、若该节点输出的激活特征的预设邻域内的其他节点输出的激活特征的数量不小于预设数量，则确定该节点输出的激活特征为核心激活特征，并按照预设邻域内的其他节点输出的激活特征与所述核心激活特征的余弦距离从小到大的顺序，筛选出所述预设数量的其他节点输出的激活特征，并根据筛选出的其他节点输出的激活特征对应的余弦距离最大值，确定所述核心参数的核心距离；
19、针对所述核心激活特征的预设邻域内的每个其他节点输出的激活特征，将该其他节点输出的激活特征与所述核心激活特征的余弦距离以及所述核心激活特征的核心距离中的最大值，作为该其他节点输出的激活特征的初始可达距离；
20、针对该网络层中每个节点，确定该节点输出的激活特征与距离该节点输出的激活特征最近的核心激活特征对应的初始可达距离，作为该节点输出的激活特征的目标可达距离；
21、通过预设的聚类参数，根据各节点的激活特征的目标可达距离，确定各节点的激活特征聚类结果。
22、可选的，通过预设的聚类参数，根据该网络层中各节点的参数的目标可达距离，确定各节点的参数聚类结果，具体包括：
23、针对该网络层中每个节点，若该节点的参数的目标可达距离小于预设的聚类参数，则根据该节点的参数的目标可达距离，确定该节点对应的核心参数，将该节点与确定出的核心参数所属的节点，划分为一个聚类簇内的节点；
24、根据各节点基于参数的目标可达距离划分得到的聚类簇的数量，确定该网络层中各节点的参数聚类结果。
25、可选的，通过预设的聚类参数，根据各节点的激活特征的目标可达距离，确定各节点的激活特征聚类结果，具体包括：
26、针对该网络层中每个节点，若该节点输出的激活特征的目标可达距离小于预设的聚类参数，则根据该节点输出的激活特征的目标可达距离，确定该节点对应的核心激活特征，将该节点与确定出的核心激活特征所属的节点，划分为一个聚类簇内的节点；
27、根据各节点基于激活特征的目标可达距离划分得到的聚类簇的数量，确定该网络层中各节点的激活特征聚类结果。
28、可选的，根据所述综合聚类结果，对该网络层中各节点进行剪枝，并确定该网络层的剪枝结果，具体包括：
29、确定该网络层在所述图像分类卷积神经网络中的层数；
30、根据所述该网络层的层数、所述综合聚类结果以及该网络层的节点数量，确定该网络层的剪枝后的节点数量，其中，所述层数与所述剪枝后的节点数量为负相关；
31、根据剪枝后该网络层的节点数量，确定该网络层的剪枝结果。
32、可选的，确定压缩后的图像分类卷积神经网络，具体包括：
33、根据各网络层的剪枝结果，确定剪枝后的图像分类卷积神经网络；
34、将所述输入图像输入所述剪枝后的图像分类卷积神经网络，针对所述剪枝后的图像分类卷积神经网络的每一网络层，确定该网络层中各节点的网络权重；
35、确定用于当前量化的量化比特数；
36、根据所述量化比特数，对该网络层的网络权重进行量化，确定量化范围；
37、根据量化前后分别对应的网络权重，通过预设的激活函数，确定量化前后网络权重分别对应的所述激活函数的输出，并以量化前后网络权重分别对应的输出分布之间的相对熵最小化为目标，调整所述量化本文档来自技高网...
【技术保护点】
1.一种用于图像分类卷积神经网络的网络压缩方法，其特征在于，包括：
2.如权利要求1所述方法，其特征在于，根据各节点的参数，确定各节点中的核心参数，按照所述核心参数确定各节点的参数聚类结果，具体包括：
3.如权利要求1所述方法，其特征在于，根据各节点输出的激活特征，确定各节点中的核心激活特征，按照所述核心激活特征确定各节点的激活特征聚类结果，具体包括：
4.如权利要求2所述方法，其特征在于，通过预设的聚类参数，根据该网络层中各节点的参数的目标可达距离，确定各节点的参数聚类结果，具体包括：
5.如权利要求3所述方法，其特征在于，通过预设的聚类参数，根据各节点的激活特征的目标可达距离，确定各节点的激活特征聚类结果，具体包括：
6.如权利要求1所述方法，其特征在于，根据所述综合聚类结果，对该网络层中各节点进行剪枝，并确定该网络层的剪枝结果，具体包括：
7.如权利要求1所述方法，其特征在于，确定压缩后的图像分类卷积神经网络，具体包括：
8.如权利要求7所述方法，其特征在于，根据各网络层的量化结果，确定压缩
9.如权利要求7所述方法，其特征在于，根据各网络层的量化结果，确定压缩后图像分类卷积神经网络，具体包括：
10.如权利要求1所述方法，其特征在于，响应图像分类请求，通过所述压缩后的图像分类卷积神经网络，确定所述图像分类请求携带的输入图像的分类结果，具体包括：
11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~10任一项所述的方法。
12.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~10任一项所述的方法。
...【技术特征摘要】
1.一种用于图像分类卷积神经网络的网络压缩方法，其特征在于，包括：
2.如权利要求1所述方法，其特征在于，根据各节点的参数，确定各节点中的核心参数，按照所述核心参数确定各节点的参数聚类结果，具体包括：
3.如权利要求1所述方法，其特征在于，根据各节点输出的激活特征，确定各节点中的核心激活特征，按照所述核心激活特征确定各节点的激活特征聚类结果，具体包括：
4.如权利要求2所述方法，其特征在于，通过预设的聚类参数，根据该网络层中各节点的参数的目标可达距离，确定各节点的参数聚类结果，具体包括：
5.如权利要求3所述方法，其特征在于，通过预设的聚类参数，根据各节点的激活特征的目标可达距离，确定各节点的激活特征聚类结果，具体包括：
6.如权利要求1所述方法，其特征在于，根据所述综合聚类结果，对该网络层中各节点进行剪枝，并确定该网络层的剪枝结果，具体包括：
7...
【专利技术属性】
技术研发人员：常璟飞，吴运翔，蒋科，施林锋，王博，吴洵进，程稳，吕波，曾令仿，李勇，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。