本申请提出了一种神经网络压缩方法、装置及电子设备，获取待压缩神经网络运行过程中多个卷积层各自的功耗信息，依据该功耗信息，确定这多个卷积层的层剪枝顺序，从而按照该层剪枝顺序，逐层对多个卷积层进行通道剪枝处理，得到满足网络压缩结束条件的目标神经网络。
【技术实现步骤摘要】
本申请主要涉及机器学习，更具体地说是涉及一种神经网络压缩方法、装置及电子设备。
技术介绍
1、目前，深度神经网络、卷积神经网络等机器学习(ml,machine learning)技术已被广泛应用于生活中各方面，终端设备对深度学习任务的部署需求也在与日俱增，这往往要求所使用的终端设备具有较高的计算能力和带宽能力，影响了适用范围。
2、为了降低对部署神经网络的电子设备的计算能力和带宽能力等方面的要求，目前是通过对神经网络包含的各卷积层进行通道剪枝，来降低神经网络的资源消耗，但其能减少的资源消耗量有限，无法满足终端对神经网络的部署需求。
技术实现思路
1、为了解决上述技术问题，本申请提供了以下技术方案：
2、一方面，本申请提出了一种神经网络压缩方法，所述方法包括：
3、获取待压缩神经网络运行过程中多个卷积层各自的功耗信息；所述卷积层包含多个通道；
4、依据所述功耗信息，确定所述多个卷积层的层剪枝顺序；
5、按照所述层剪枝顺序，逐层对所述多个卷积层进行通道剪枝处理，得到满足网络压缩结束条件的目标神经网络。
6、在一种可能的实现方式中，对任一所述卷积层进行通道剪枝处理的过程，包括：
7、将所述层剪枝顺序中当前的所述卷积层确定为待剪枝卷积层，对所述待剪枝卷积层包含的多个通道进行重要性排序，得到所述待剪枝卷积层的通道剪枝顺序；
8、依据所述通道剪枝顺序，对所述待剪枝卷积层进行通道剪枝处理；
>9、确定通道剪枝后的卷积层满足层压缩结束条件，触发所述层剪枝顺序中的下一所述卷积层的通道剪枝处理。10、在另一种可能的实现方式中，所述依据所述通道剪枝顺序，对所述待剪枝卷积层进行通道剪枝处理，包括：
11、依据针对所述待剪枝卷积层的压缩率，按照所述通道剪枝顺序，对所述待剪枝卷积层进行通道剪枝处理；
12、确定本次通道剪枝处理后的所述待剪枝卷积层不满足层压缩结束条件，依据针对所述待剪枝卷积层的新压缩率和通道剪枝顺序，继续对所述待剪枝卷积层进行通道剪枝处理。
13、在又一种可能的实现方式中，所述确定本次通道剪枝处理后的所述待剪枝卷积层不满足层压缩结束条件，依据针对所述待剪枝卷积层的新压缩率和通道剪枝顺序，继续对所述待剪枝卷积层进行通道剪枝处理，包括：
14、确定本次通道剪枝处理后得到的神经网络的准确率收敛，增大针对所述待剪枝卷积层的本次通道剪枝处理的压缩率，得到针对所述待剪枝卷积层的下一次通道剪枝处理的新压缩率；
15、对本次通道剪枝处理后的所述待剪枝卷积层中未被剪枝处理的多个通道进行重要性排序，得到所述待剪枝卷积层的新通道剪枝顺序；
16、依据所述新压缩率，按照所述新通道剪枝顺序，继续对所述待剪枝卷积层进行通道剪枝处理，直至得到的神经网络的准确率和压缩率都收敛。
17、在其他可能的实现方式中，所述确定本次通道剪枝处理后的所述待剪枝卷积层不满足层压缩结束条件，依据针对所述待剪枝卷积层的新压缩率和通道剪枝顺序，继续对所述待剪枝卷积层进行通道剪枝处理，包括：
18、确定本次通道剪枝处理后得到的神经网络的准确率不收敛，减小针对所述待剪枝卷积层的本次通道剪枝处理的压缩率，得到针对所述待剪枝卷积层的下一次通道剪枝处理的新压缩率；所述新压缩率大于上一次通道剪枝处理的压缩率；
19、依据所述新压缩率，按照所述上一次通道剪枝处理后的所述待剪枝卷积层的通道剪枝顺序，继续对所述待剪枝卷积层进行通道剪枝处理，直至得到的神经网络的准确率和压缩率都收敛。
20、在其他可能的实现方式中，所述按照所述层剪枝顺序，逐层对所述多个卷积层进行通道剪枝处理，得到满足网络压缩结束条件的目标神经网络，包括：
21、按照所述层剪枝顺序，逐层对所述多个卷积层进行通道剪枝处理；
22、在完成所述多个卷积层的通道剪枝处理，确定得到的神经网络不满足网络压缩结束条件，依据针对所述神经网络的新压缩率，继续对所述神经网络中的各所述卷积层进行通道剪枝处理，得到满足所述网络压缩结束条件的目标神经网络。
23、在其他可能的实现方式中，所述依据针对所述神经网络的新压缩率，继续对所述神经网络中的各所述卷积层进行通道剪枝处理，包括：
24、确定得到的神经网络的准确率收敛，增大针对所述神经网络的本次通道剪枝处理的压缩率，按照得到的针对所述神经网络的新压缩率，对本次通道剪枝处理后得到的神经网络中的各所述卷积层进行通道剪枝处理；
25、确定得到的神经网络的准确率不收敛，减小针对所述神经网络的本次通道剪枝处理的压缩率，按照得到的针对所述神经网络的新压缩率，对上一次通道剪枝处理后得到的神经网络中的各所述卷积层进行通道剪枝处理。
26、在其他可能的实现方式中，所述获取待压缩神经网络运行过程中多个卷积层各自的功耗信息，包括：
27、在处理设备部署的待压缩神经网络运行过程中，由所述处理设备统计所述待压缩神经网络包含的多个卷积层各自的功耗信息；或者，
28、在处理设备部署的待压缩神经网络运行过程中，由处理设备获取针对所述待压缩神经网络中每个卷积层执行的各硬件动作的功耗信息，确定对应所述卷积层的功耗信息。
29、另一方面，本申请还提出了一种神经网络压缩装置，所述装置包括：
30、功耗信息获取模块，用于获取待压缩神经网络运行过程中多个卷积层各自的功耗信息；所述卷积层包含多个通道；
31、剪枝顺序确定模块，用于依据所述功耗信息，确定所述多个卷积层的层剪枝顺序；
32、剪枝模块，用于按照所述层剪枝顺序，逐层对所述多个卷积层进行通道剪枝处理，得到满足网络压缩结束条件的目标神经网络。
33、又一方面，本申请还提出了一种电子设备，所述电子设备包括：数据连接端口和处理设备，其中：
34、所述处理设备上部署有待压缩神经网络，用于加载执行多个计算机指令，实现以下步骤：
35、获取待压缩神经网络运行过程中多个卷积层各自的功耗信息；所述卷积层包含多个通道；
36、依据所述功耗信息，确定所述多个卷积层的层剪枝顺序；
37、按照所述层剪枝顺序，逐层对所述多个卷积层进行通道剪枝处理，得到满足网络压缩结束条件的目标神经网络。
本文档来自技高网...
【技术保护点】
1.一种神经网络压缩方法，所述方法包括：
2.根据权利要求1所述的方法，对任一所述卷积层进行通道剪枝处理的过程，包括：
3.根据权利要求2所述的方法，所述依据所述通道剪枝顺序，对所述待剪枝卷积层进行通道剪枝处理，包括：
4.根据权利要求3所述的方法，所述确定本次通道剪枝处理后的所述待剪枝卷积层不满足层压缩结束条件，依据针对所述待剪枝卷积层的新压缩率和通道剪枝顺序，继续对所述待剪枝卷积层进行通道剪枝处理，包括：
5.根据权利要求3所述的方法，所述确定本次通道剪枝处理后的所述待剪枝卷积层不满足层压缩结束条件，依据针对所述待剪枝卷积层的新压缩率和通道剪枝顺序，继续对所述待剪枝卷积层进行通道剪枝处理，包括：
6.根据权利要求1-5任一项所述的方法，所述按照所述层剪枝顺序，逐层对所述多个卷积层进行通道剪枝处理，得到满足网络压缩结束条件的目标神经网络，包括：
7.根据权利要求6所述的方法，所述依据针对所述神经网络的新压缩率，继续对所述神经网络中的各所述卷积层进行通道剪枝处理，包括：
8.根据权利要求1-5任一项所述的方法，所述获取待压缩神经网络运行过程中多个卷积层各自的功耗信息，包括：
9.一种神经网络压缩装置，所述装置包括：
10.一种电子设备，所述电子设备包括：数据连接端口和处理设备，其中：
...
【技术特征摘要】
1.一种神经网络压缩方法，所述方法包括：
2.根据权利要求1所述的方法，对任一所述卷积层进行通道剪枝处理的过程，包括：
3.根据权利要求2所述的方法，所述依据所述通道剪枝顺序，对所述待剪枝卷积层进行通道剪枝处理，包括：
4.根据权利要求3所述的方法，所述确定本次通道剪枝处理后的所述待剪枝卷积层不满足层压缩结束条件，依据针对所述待剪枝卷积层的新压缩率和通道剪枝顺序，继续对所述待剪枝卷积层进行通道剪枝处理，包括：
5.根据权利要求3所述的方法，所述确定本次通道剪枝处理后的所述待剪枝卷积层不满足层压缩结束条件，依据针对所述待剪枝卷积层的新压缩率和通道剪枝顺...
【专利技术属性】
技术研发人员：魏亚东，
申请(专利权)人：鼎道智芯上海半导体有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。