【技术实现步骤摘要】
本专利技术提出基于自适应批正则化的迭代式神经网络压缩方法，属于利用神经网络进行图像数据处理领域(g06t 1/40)领域。
技术介绍
1、信息化时代以来，尤其是进入21世纪后，快节奏开始全方位渗透人们生活，甚至逐渐成为一种常态，为了达到更高效率，人们往往需要更高强度的工作，长久以来就会对人的身心造成不利影响。科学技术的持续发展为人们提供各种各样的便利，将人们从繁琐的体力劳动中解放出来。人工智能、物联网等技术的不断发展使得人们的生活方式和居住环境得到极大改善，能帮助人们有效安排时间、节约各种资源，其中必不可少的关键技术就是神经网络模型。神经网络模型是一种受到生物神经系统启发的计算模型，具有强大的模式识别和学习能力。它们已经在各个领域得到广泛应用，从自然语言处理到计算机视觉，再到自动驾驶技术。这些模型不仅能够处理大规模的数据，还能够自动化执行复杂的任务，从而为人们带来了前所未有的便利和效率。
2、然而，现有的对神经网络模型的使用，往往需要凭借算力强大的gpu进行大规模长时间的训练，这使得在算力相对薄弱的边缘移动设备上应用先进的人工智能算法受到限制，网络模型压缩技术应运而生，现有的模型压缩算法大致可以分为三类。第一类是设计更加高效的神经网络模型结构，通过优化模型的整体结构和内部设计，或者通过自动机器学习、神经结构搜索等技术发掘更加适用的神经网络结构。这类方法能够解决之前模型太过复杂的问题，引入高效的计算手段，实现快速有效的特征提取，然而需要大量设计和验证。第二类低比特量化，通过将模型中的参数保存类型由浮点数类型变为半精度浮
3、传统剪枝方法在剪枝后往往不会关注批正则化等网络层参数的更改，而网络结构改变后批正则化层的参数也应相应更新，此外，一次性减去大量参数会导致模型原本的优良结构被破坏，从而极大的降低模型性能。因此本专利技术旨在利用自适应批正则化方法和迭代剪枝方法克服传统剪枝方法中性能损耗大的问题，便于充分发挥人工智能模型的潜力，推动信息化时代的发展。
技术实现思路
1、本专利技术的目的是针对传统剪枝方法压缩神经网络模型时存在的不足，以及自适应批正则化方法和迭代剪枝设计对改善这一问题的潜力，设计一种基于自适应批正则化的迭代式神经网络压缩方法，为神经网络的边缘部署提供实际性的解决方案。
2、本专利技术的基于自适应批正则化的迭代式神经网络压缩方法由两部分组成：基于自适应批正则化的模型剪枝算法及基于迭代式设计的模型剪枝算法。包括如下步骤：
3、步骤1、针对神经网络中不同模块设计相应的剪枝策略。其中，模块包含神经网络中最常出现的卷积模块和深度可分离卷积模块。对于卷积模块和深度可分离卷积模块，当前层过滤器通道数的改变会导致当前层输出通道数的改变和下一层输入通道数的改变。
4、步骤2、对神经网络进行剪枝产生候选子网络。这一步需要根据设定的剪枝比例p％、剪枝步长prune_step和总轮次steps，计算单步剪枝比例p_step％，对网络中每一层的参数进行随机剪枝，并统计剪枝后的整体计算量，保留剪枝后模型的计算量为剪枝前的(100-p_step)±2％子网络作为候选子网络。重复这一过程n次，产生n个候选子网络。
5、
6、步骤3、选出最优候选子网络。
7、步骤3.1、利用自适应批正则化更新批正则化层的参数。自适应批正则化，指将网络除批正则化层参数之外的所有可训练参数冻结，使用少量输入对神经网络的批正则化参数进行更新。对所有n个候选子网络进行批正则化层参数的更新。
8、步骤3.2、评估候选子网络的性能。使用评测集对候选子网络的性能进行评估，选出精确度最高的候选自网络作为最优候选子网络。
9、步骤4、对最优候选子网络进行粗粒度微调。选取粗粒度微调学习率lr_c，使用sgd优化器和原网络训练时使用的损失函数对网络进行微调，微调步数达到设定的剪枝步长prune_step时停止粗粒度微调。若当前轮次未达到总轮次steps时，重复步骤2至步骤4。
10、步骤5、对最优候选子网络进行细粒度微调。选取细粒度微调学习率lr_x，使用sgd优化器和原网络训练时使用的损失函数对网络进行微调，微调步数达到设定的细粒度微调步数finetune-steps时得到最终压缩后的神经网络。
11、本专利技术的积极效果，使用自适应批正则化技术和迭代式剪枝技术，显著改善了传统剪枝方法带来的性能损失问题，且整个过程只需设定总轮次、剪枝步长、微调步长、剪枝比例、粗粒度微调学习率和细粒度微调学习率即可完成模型压缩过程，无需人为干预，且具有可迁移性，对于神经网络的边缘设备部署有重要借鉴意义。
本文档来自技高网...【技术保护点】
1.基于自适应批正则化的迭代式神经网络压缩方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，步骤2中产生候选子网络的方式为对各层进行随机剪枝，首先需要按照设定的剪枝比例p％、剪枝步长prune_step和总轮次steps，计算单步剪枝比例p_step％参数，计算公式为：
3.如权利要求1所述的方法，其特征在于，步骤3中所述选出最优候选子网络的步骤包括：
4.如权利要求1所述的方法，其特征在于，步骤4和步骤5中所述对最优候选子网络进行粗粒度微调和细粒度微调过程中：
5.如权利要求4所述的方法，其特征在于：
【技术特征摘要】
1.基于自适应批正则化的迭代式神经网络压缩方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，步骤2中产生候选子网络的方式为对各层进行随机剪枝，首先需要按照设定的剪枝比例p％、剪枝步长prune_step和总轮次steps，计算单步剪枝比例p_step％参...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。