【技术实现步骤摘要】
本申请涉及人工智能技术(artificial intelligence，ai)领域，尤其涉及一种模型剪枝方法及相关装置。
技术介绍
1、随着人工智能的飞速发展，深度学习在越来越多的任务上取得了惊人的效果。例如，基于深度学习的卷积神经网络在部分数据集上的分类准确率甚至超过了人类，极大地方便了人类生活。然而，随着深度学习的发展，基于深度学习的神经网络的参数量也变得越来越大。一般来说，参数量大的神经网络比参数量小的神经网络具有更强的能力。但是，神经网络的参数量变大会导致神经网络的计算量提升，进而导致神经网络的推理时延变长。
2、随着深度学习轻量化技术的发展，剪枝、量化、蒸馏以及低秩分解等技术广泛应用于减小神经网络的参数量。剪枝作为轻量化技术中的关键技术，应用最为广泛。剪枝可以将冗余的神经网络模型中的权重的值置为0，实现稀疏化模型，达到模型参数量和计算量下降的目的，极大节省了机器成本以及降低了推理时延。
3、一般来说，剪枝的方式可以分为结构化稀疏和任意稀疏两种方式。结构化稀疏是指对模型的权重按通道来进行剪枝；任意稀疏是指...
【技术保护点】
1.一种模型剪枝方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述多组元素中不同的组所包括的元素不相同。
3.根据权利要求1或2所述的方法，其特征在于，所述多组元素中每组元素所包括的元素的数量相同。
4.根据权利要求1-3任意一项所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述第二权重矩阵包括多个部分，所述多个部分中的每个部分包括被所述聚类方法确定为同一个类别的多个行；
6.根据权利要求5所述的方法，其特征在于，所述基于所述聚类方法对所...
【技术特征摘要】
1.一种模型剪枝方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述多组元素中不同的组所包括的元素不相同。
3.根据权利要求1或2所述的方法，其特征在于，所述多组元素中每组元素所包括的元素的数量相同。
4.根据权利要求1-3任意一项所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述第二权重矩阵包括多个部分，所述多个部分中的每个部分包括被所述聚类方法确定为同一个类别的多个行；
6.根据权利要求5所述的方法，其特征在于，所述基于所述聚类方法对所述未重新排序的行进行聚类，包括：
7.根据权利要求1-6任意一项所述的方法，其特征在于，所述聚类方法为平衡k均值聚类方法，所述平衡k均值聚类方法用于使得聚类得到的每个类别所对应的行的数量相同。
8.根据权利要求1-7任意一项所述的方法，其特征在于，所述待剪枝模型为卷积神经网络，所述第一权重矩阵用于表示所述卷积神经网络中第一卷积层的权重；
9.根据权利要求1-8任意一项所述的方法，其特征在于，所述去除所述第二权重矩阵中的一组或多组目标元素，包括：
10.根据权利要求1-9任意一项所述的方法，其特征在于，所述第一权重矩阵中不同的行用于表示对应于不同输入通道的权重。
11.一种基于模型的数据处理方法，其特征在于，包括：
12.根据权利要求11所述的方法，其特征在于，所述权重矩阵中值有效的元素包括至少一组元素，所述至少一组元素中的每组元素均包括同一列中相邻的多个元素。
13.根据权利要求12所述的方法，其特征在于，所述至少一组元素中不同的组所包括的元素不相同。
14.根据权利要求12或13所述的方法，其特征在于，所述至少一组元素中每组元素所包括的元素的数量相同。
15.根据权利要求11-14任意一项所述的方法，其特征在于，所述模型为卷积神经网络，所述权重矩阵用于表示所述卷积神经网络中的卷积核的权重；
16.一种模型剪枝装置，其特征在于，包括：
17.根据权利要求16所述的装置，其特征在于，所述多组元素中不同的组所包括的元素不相同。
18.根据权利要求16或17所述的装置，其特征在于，所述多组元素中每组元素所包括的元素的数量相同。
19.根据权利要求16-18任意一项所述的装置，其特征在于，所述处理模块，还用...
【专利技术属性】
技术研发人员：于献智，谭懿峻，赵亢，胡婷，姚骏，韩凯，王云鹤，舒晗，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。