【技术实现步骤摘要】
本专利技术涉及计算机视觉、自然语言处理，具体涉及带动量驱动的自适应权重剪枝方法、装置及电子设备。
技术介绍
1、近年来，深度学习模型在计算机视觉、自然语言处理等领域取得了显著的成功。然而，大规模深度神经网络的训练和部署需要大量的存储和计算资源，这限制了它们在嵌入式设备和边缘计算环境中的应用。
2、为了解决这一问题，研究者们提出了各种模型稀疏化方法，其中权重剪枝是一种常见的策略。
3、参数剪枝(weight pruning)是常用的cnn模型稀疏化方法，但是在基于权重衰减的模型稀疏化方法中，通常会出现模型剪枝引起的不稳定性和需要手动调整权重衰减参数的问题。
技术实现思路
1、针对现有技术存在的不足，本专利技术提出带动量驱动的自适应权重剪枝方法、装置及电子设备，能够提高模型的稳定性，且能够自动调整权重衰减参数。
2、第一方面，本专利技术提供了带动量驱动的自适应权重剪枝方法，包括根据cnn模型，使用权重衰减项，获取新的权重衰减参数；根据所述新的权重衰减参数，使用动量驱动算法，获取新的权重；根据所述新的权重，使用动态剪枝条件，获取剪枝权重。
3、进一步的，根据cnn模型，使用自适应权重衰减项，获取新的权重衰减参数，包括：
4、根据cnn模型的损失函数，使用自适应权重衰减项，获取模型参数的稀疏性；
5、根据模型参数的稀疏性，使用自适应权重衰减项的模型损失函数，获取新的权重衰减参数。
6、进一步的，根据cnn模
7、通过计算获取模型参数的稀疏性；
8、λi是模型第i个权重的权重衰减系数，用于控制正则化项的强度；n是模型参数的数量；αi是与权重相关的自适应权重衰减因子，根据每个权重的自适应权重衰减因子来调整正则化项的强度；ò是一个小的正数，用于防止分母为零；||θ||2是模型权重的l2范数。
9、进一步的，根据模型参数的稀疏性，使用自适应权重衰减项的模型损失函数，获取新的权重衰减参数，包括：
10、通过计算获取新的权重衰减参数；
11、其中，是自适应权重衰减项。
12、进一步的，根据所述新的权重衰减参数，使用动量驱动算法，获取新的权重，包括：
13、通过计算获取新的权重；
14、其中，νi是权重wi的动量项，β是动量系数，gi是权重wi的梯度，λi·wi是在原带动量的随机梯度下降算法中引入的权重衰减项，λi是自适应权重衰减参数，wi是权重，η是学习率。
15、进一步的，根据所述新的权重，使用动态剪枝条件，获取剪枝权重，包括：
16、通过计算获取剪枝权重；
17、其中，γ是一个超参数，αi是自适应权重衰减因子。
18、第二方面，提供了一种用于带动量驱动的自适应权重剪枝方法的装置，包括：
19、新的权重衰减参数模块，被配置为根据cnn模型，使用权重衰减项，获取新的权重衰减参数；
20、新的权重模块，被配置为根据所述新的权重衰减参数，使用动量驱动算法，获取新的权重；
21、剪枝权重模块，被配置根据所述新的权重，使用动态剪枝条件，获取剪枝权重。
22、第三方面，提供了一种用于带动量驱动的自适应权重剪枝方法的装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在运行所述程序指令时，执行如权利要求1至6任一项所述的用于带动量驱动的自适应权重剪枝的cnn模型稀疏化的方法。
23、第四方面，提供了一种电子设备，包括权利要求7或8所述的用于带动量驱动的自适应权重剪枝方法的装置。
24、采用上述技术方案的专利技术，具有如下优点：
25、1.提高了模型的稳定性，且能够自动调整权重衰减参数，通过引入自适应权重衰减项和动量驱动的权重更新规则，自适应权重剪枝方法降低了训练过程中的震荡，提高了模型的稳定性，使得剪枝后的模型更容易收敛。
26、2.自适应剪枝：自适应权重剪枝方法引入了动态剪枝条件，根据权重的情况自适应地调整剪枝的强度，从而更加智能地稀疏化模型，减小模型规模，降低计算成本。
本文档来自技高网...【技术保护点】
1.带动量驱动的自适应权重剪枝方法，其特征在于，包括：
2.根据权利要求1所述的带动量驱动的自适应权重剪枝方法，其特征在于，根据CNN模型，使用自适应权重衰减项，获取新的权重衰减参数，包括：
3.根据权利要求2所述的带动量驱动的自适应权重剪枝方法，其特征在于，根据CNN模型的损失函数，使用自适应权重衰减项，获取模型参数的稀疏性，包括：
4.根据权利要求2所述的带动量驱动的自适应权重剪枝方法，其特征在于，根据模型参数的稀疏性，使用自适应权重衰减项的模型损失函数，获取新的权重衰减参数，包括：
5.根据权利要求1所述的带动量驱动的自适应权重剪枝方法，其特征在于，根据所述新的权重衰减参数，使用动量驱动算法，获取新的权重，包括：
6.根据权利要求1所述的带动量驱动的自适应权重剪枝方法，其特征在于，根据所述新的权重，使用动态剪枝条件，获取剪枝权重，包括：
7.一种用于带动量驱动的自适应权重剪枝方法的装置，其特征在于，包括：
8.一种用于带动量驱动的自适应权重剪枝方法的装置，包括处理器和存储有程序指令的存储器，
9.一种电子设备，其特征在于，包括权利要求7或8所述的用于带动量驱动的自适应权重剪枝方法的装置。
...【技术特征摘要】
1.带动量驱动的自适应权重剪枝方法，其特征在于，包括：
2.根据权利要求1所述的带动量驱动的自适应权重剪枝方法，其特征在于，根据cnn模型，使用自适应权重衰减项，获取新的权重衰减参数，包括：
3.根据权利要求2所述的带动量驱动的自适应权重剪枝方法，其特征在于，根据cnn模型的损失函数，使用自适应权重衰减项，获取模型参数的稀疏性，包括：
4.根据权利要求2所述的带动量驱动的自适应权重剪枝方法，其特征在于，根据模型参数的稀疏性，使用自适应权重衰减项的模型损失函数，获取新的权重衰减参数，包括：
5.根据权利要求1所述的带动量驱动的自适应权重剪枝方法，其特征在于，根...
【专利技术属性】
技术研发人员：吴娟，肖万霖，李永华，
申请(专利权)人：重庆电子工程职业学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。