【技术实现步骤摘要】
压缩神经网络的方法、装置、设备和介质
本公开的各实现方式涉及人工智能领域，更具体地，涉及压缩神经网络的方法、装置、设备和介质。
技术介绍
近年来，随着人工智能技术的发展，神经网络开始被广泛应用于图像处理、语音识别等诸多
之中，并发挥了重要的作用。为了执行更加复杂的任务，神经网络所包含的层越来越多，其网络参数的规模和计算规模也愈加庞大。这使得神经网络在训练和使用时需要消耗大量的计算资源，这样的复杂神经网络难以被部署到计算资源和内存均受限的设备(例如移动设备和嵌入式系统)中。因此，如何在保证神经网络准确性的情况下压缩神经网络模型的体积，减少神经网络模型的计算量，已经成为当前的关注热点。
技术实现思路
本公开的实施例提供了一种压缩神经网络的方案。在本公开的第一方面，提供了一种压缩神经网络的方法。该方法包括：通过利用训练数据来训练神经网络，来确定多个辅助参数，多个辅助参数与神经网络的卷积层所包括的多个输出通道相对应；基于多个辅助参数和训练的迭代次数，确定与多个输出通道对应的多个裁剪参...
【技术保护点】
1.一种压缩神经网络的方法，包括：/n通过利用训练数据来训练所述神经网络，来确定多个辅助参数，所述多个辅助参数与所述神经网络的卷积层所包括的多个输出通道相对应；/n基于所述多个辅助参数和所述训练的迭代次数，确定与所述多个输出通道对应的多个裁剪参数，裁剪参数指示对应的输出通道是否将被裁剪；以及/n基于所述多个裁剪参数，裁剪所述多个输出通道中的至少一个输出通道。/n
【技术特征摘要】
1.一种压缩神经网络的方法，包括：
通过利用训练数据来训练所述神经网络，来确定多个辅助参数，所述多个辅助参数与所述神经网络的卷积层所包括的多个输出通道相对应；
基于所述多个辅助参数和所述训练的迭代次数，确定与所述多个输出通道对应的多个裁剪参数，裁剪参数指示对应的输出通道是否将被裁剪；以及
基于所述多个裁剪参数，裁剪所述多个输出通道中的至少一个输出通道。
2.根据权利要求1所述的方法，其中确定所述多个辅助参数包括：
基于所述训练数据，确定所述神经网络的至少一个目标函数；
通过组合所述至少一个目标函数中的至少一部分目标函数，确定用于训练所述神经网络的总目标函数；以及
通过使得所述总目标函数局部最小化，确定所述神经网络所述多个辅助参数。
3.根据权利要求2所述的方法，其中确定所述神经网络的至少一个目标函数包括：
基于与所述多个输出通道对应的多个训练辅助参数，对所述卷积层的输出进行加权；以及
基于经加权后的输出，确定所述神经网络的损失函数以作为第一目标函数。
4.根据权利要求2所述的方法，其中确定所述神经网络的至少一个目标函数包括：
基于与所述多个输出通道对应的多个训练辅助参数，确定模型压缩程度；以及
基于所述模型压缩程度与目标压缩程度，确定第二目标函数。
5.根据权利要求4所述的方法，其中模型压缩程度指示所述神经网络的浮点计算数。
6.根据权利要求2所述的方法，其中所述神经网络包括残差块，并且确定所述神经网络的至少一个目标函数包括：
基于与所述多个输出通道对应的多个训练辅助参数，确定所述残差块的输入通道的第一数目；
基于所述多个训练辅助参数，确定所述残差块的输出通道的第二数目；以及
基于所述第一数目和所述第二数目，确定第三目标函数。
7.根据权利要求1所述的方法，其中确定与所述多个输出通道对应的多个裁剪参数包括：
基于所述迭代次数，确定第一中间参数，所述第一中间参数指示所述训练的热度；
基于辅助参数和所述第一中间参数，确定第二中间参数，所述中间参数正比于所述辅助参数且反比于所述第一中间参数；以及
基于所述中间参数的S型函数，确定与所述辅助参数对应的裁剪参数。
8.根据权利要求1所述的方法，其中裁剪所述多个输出通道中的至少一个输出通道包括：
如果所述多个裁剪参数中的裁剪参数小于预定阈值，则裁剪与所述裁剪参数对应的输出通道。
9.根据权利要求1所述的方法，还包括：
将经裁剪的所述神经网络部署于目标计算设备，所述目标计算设备的计算资源数目小于阈值数目。
10.根据权利要求1所述的方法，其中所述训练数据为图像训练数据，所述神经网络是用于图像处理的神经网络。
11.一种压缩神经网络的装置，包括：
辅助参数确定模块，被配置为通过利用训练数据来训练所述神经网络，来确定多个辅助参数，所述多个辅助参数与所述神经网络的卷积层所包括的多个输出通道相对应；
裁剪参数确定模块，被配置为基于所述多个辅助参数和所述训练的迭代次数，确定与所述多个输出通道对应的多个裁剪参数，裁剪参数指示对应的输出通道是否将被裁剪；以及
裁剪模块，被配置为基于所...
【专利技术属性】
技术研发人员：刘宁，关玉烁，车正平，唐剑，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。