敏感度分析和强化学习的神经网络剪枝方法、系统及装置制造方法及图纸

本发明专利技术公开了一种敏感度分析和强化学习的神经网络剪枝方法、系统及装置，包括：设定稀疏度阈值步骤，选择低敏感度的权重进行剪枝；获取裁剪办法和精度步骤，根据上述的敏感度权重确定需要进行随机剪枝的权重；对被选定的每一个权重进行随机裁剪，将多次随机裁剪的剪枝办法和精度放入缓冲区；训练强化学习步骤，利用缓冲区中的数据训练强化学习代理，训练后生成的裁剪办法和精度放入缓冲区；重复进行，直到网络精度达到预设值。本发明专利技术选择低敏感度的权重进行剪枝，设定各权重的稀疏度阈值保证被裁剪的权重采用当前稀疏度进程裁剪后，网络下降的精度保持在预设范围以内。在保证网络精度的情况下，最大化的提升了神经网络的压缩率。

【技术实现步骤摘要】
敏感度分析和强化学习的神经网络剪枝方法、系统及装置
本申请涉及深度学习压缩
，具体而言，涉及一种基于敏感度分析和强化学习的神经网络剪枝方法。
技术介绍
剪枝(prune)是卷积神经网络(CNN)的一种压缩技术，它主要用来减少卷积神经网络(CNN)计算量。剪枝算法通常情况下是通过裁剪掉神经网络权重(weight)中不重要的张量(tensor)来达到降低整个神经网络的计算量的目的。神经网络权重(weight)中哪些张量(tensor)不重要是由其稀疏度(sparsity)判定的。稀疏度(sparsity)用来衡量张量(tensor)中0的个数与张量的大小来表示。所以裁剪掉权重(weight)中稀疏度(sparsity)较高的张量(tensor)，就可以达到压缩卷积神经网络(CNN)的目的。卷积神经网络(CNN)压缩的准则是在减少计算量的同时保证网路的精度。文献1中提到了一种敏感度分析(sensitivityanalyse)解决了裁剪掉权重(weight)中稀疏度大于多少的张量(tensor)的问题。就是先独立的裁剪掉每个权重的本文档来自技高网...

【技术保护点】
1.一种敏感度分析和强化学习的神经网络剪枝方法，其特征在于，包括：/n设定稀疏度阈值步骤，选择低敏感度的权重进行剪枝；/n获取裁剪办法和精度步骤，根据上述的敏感度权重确定需要进行随机剪枝的权重；对被选定的每一个权重进行随机裁剪，将多次随机裁剪的剪枝办法和精度放入缓冲区；/n训练强化学习步骤，利用缓冲区中的数据训练强化学习代理，训练后生成的裁剪办法和精度放入缓冲区；重复进行，直到网络精度达到预设值。/n

【技术特征摘要】
1.一种敏感度分析和强化学习的神经网络剪枝方法，其特征在于，包括：
设定稀疏度阈值步骤，选择低敏感度的权重进行剪枝；
获取裁剪办法和精度步骤，根据上述的敏感度权重确定需要进行随机剪枝的权重；对被选定的每一个权重进行随机裁剪，将多次随机裁剪的剪枝办法和精度放入缓冲区；
训练强化学习步骤，利用缓冲区中的数据训练强化学习代理，训练后生成的裁剪办法和精度放入缓冲区；重复进行，直到网络精度达到预设值。


2.根据权利要求1所述的敏感度分析和强化学习的神经网络剪枝方法，其特征在于，设定稀疏度阈值步骤，选择低敏感度的权重进行剪枝，即：设定各权重的稀疏度阈值，采用当前稀疏度阈值裁剪后，网络下降的精度保持在预设范围内。


3.根据权利要求2所述的敏感度分析和强化学习的神经网络剪枝方法，其特征在于，获取裁剪办法和精度步骤，对被选定的每一个权重进行随机裁剪，保证其稀疏度小于稀疏度阈值。


4.根据权利要求3所述的敏感度分析和强化学习的神经网络剪枝方法，其特征在于，训练强化学习步骤，利用缓冲区中的数据训练强化学习代理，利用训练后生成的代理，当前选定的权重进行预测，确定对应的裁剪办法，然后利用生成的裁剪办法对各网络权重进行裁剪，最后对裁剪后的网络进行多次微调，记录最终的网络精度，并将训练后的裁剪办法和精度放入缓冲区。


5.根据权利要求1所述的敏感度分析和强化学习的神经网络剪枝方法，其特征在于，网络下降的精度保持在20％以内。


6.一种敏感度分析和强化学习的神经网络剪枝系统，其特征在于，
设定稀疏度阈值模块，用于选择低敏感度的权重进行剪枝；
获取裁剪办法和精度模块，用于根据上述的敏感度权重...

【专利技术属性】
技术研发人员：陈海波，关翔，
申请(专利权)人：深兰人工智能深圳有限公司，
类型：发明
国别省市：广东;44