【技术实现步骤摘要】
本申请涉及计算机领域，特别是涉及一种神经网络模型的压缩方法和相关装置。
技术介绍
1、神经网络模型使得很多人工智能任务的性能达到了一个前所未有的高度，不过，复杂的神经网络模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效地应用在各硬件平台的重要原因。
2、为此，可以通过模型压缩降低参数冗余，对神经网络模型进行精简，进而得到一个轻量且准确率相当的网络，压缩后的网络具有更小的结构和更少的参数，可以有效降低计算和存储开销，便于部署在受限的硬件环境中。
3、相关技术中提供的压缩方式可以是模型剪枝，从而剔除神经网络模型中 不重要的权重，使得神经网络模型减少参数量和计算量。然而这种方式中模型压缩率比较容易受到限制，从而导致模型压缩率可能不够，进而影响其在硬件平台的应用效果。
技术实现思路
1、为了解决上述技术问题，本申请提供了一种神经网络模型的压缩方法和相关装置，由于从每个参数维度进行压缩是依次进行的，并且后一次压缩是在前一次压缩得到的模型的基础上进行的，因...
【技术保护点】
1.一种神经网络模型的压缩方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述待压缩网络模型，从所述待压缩网络模型的多个参数维度依次进行压缩，包括：
3.根据权利要求2所述的方法，其特征在于，所述多个参数维度包括模型宽度、模型深度和通道数量中至少两种参数维度，其中，通道数量的优先级高于模型宽度的优先级，且模型宽度的优先级高于模型深度的优先级。
4.根据权利要求1所述的方法，其特征在于，所述多个参数维度包括模型宽度、模型深度和通道数量，所述对所述待压缩网络模型，从所述待压缩网络模型的多个参数维度依次进
【技术特征摘要】
1.一种神经网络模型的压缩方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述待压缩网络模型，从所述待压缩网络模型的多个参数维度依次进行压缩，包括：
3.根据权利要求2所述的方法，其特征在于，所述多个参数维度包括模型宽度、模型深度和通道数量中至少两种参数维度，其中，通道数量的优先级高于模型宽度的优先级，且模型宽度的优先级高于模型深度的优先级。
4.根据权利要求1所述的方法，其特征在于，所述多个参数维度包括模型宽度、模型深度和通道数量，所述对所述待压缩网络模型，从所述待压缩网络模型的多个参数维度依次进行压缩，包括：
5.根据权利要求4所述的方法，其特征在于，所述待压缩网络模型为转换器模型，所述转换器模型包括编码器，所述编码器包括多头注意力层和前馈网络层，所述对所述待压缩网络模型的通道数量进行压缩，得到第1个模型，包括：
6.根据权利要求5所述的方法，其特征在于，所述确定所述多头注意力层的每个通道的第一通道重要度，包括：
7.根据权利要求5所述的方法，其特征在于，所述确定所述前馈网络层的每个通道的第二通道重要度，包括：
8.根据权利要求4所述的方法，其特征在于，所述待压缩网络模型...
【专利技术属性】
技术研发人员：翟彬旭，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。