基于SokeTPU的模型压缩方法技术

本发明专利技术公开了基于Soke TPU的模型压缩方法，包括以下步骤：步骤一，初始化网络；步骤二，稀疏训练；步骤三，模型压缩；步骤四，模型精度恢复；步骤五，模型转换及编译；步骤六，模型部署；所述步骤三中，模型压缩具体为：根据BN层权重直方图，将剪枝阈值调整为所有的BN层权重中最大值中的最小值之后，将所有的BN值从小到大排序，根据剪枝率n，将n个小于这个阈值的权重去掉；本发明专利技术基于Soke TPU对YOLOv5s模型进行基于通道的剪枝操作，通过对YOLOv5s模型的压缩，使其减少对Soke TPU的资源消耗，加速推理，更高效地利用Soke TPU的算力，使得处理同样的数据时，Soke TPU推理速度更快。TPU推理速度更快。TPU推理速度更快。

【技术实现步骤摘要】
基于Soke TPU的模型压缩方法


[0001]本专利技术涉及计算机
，具体为基于Soke TPU的模型压缩方法。

技术介绍

[0002]近年来，随着万物互联时代的快速到来和无线网络的普及，网络边缘的设备数量和产生的数据都快速增长。在这种情形下，以云计算模型为核心的集中式处理模式将无法高效处理边缘设备产生的数据。集中式处理模型将所有数据通过网络传输到云计算中心，利用云计算中心超强的计算能力来集中式解决计算和存储问题，这使得云服务能够创造出较高的经济效益。但是在万物互联的背景下，传统云计算有四个不足：实时性不足，带宽不足，能耗较大，不利于数据安全和隐私。为了解决以上问题，面向边缘设备所产生海量数据计算的边缘计算模型应运而生。边缘计算是在网络边缘执行计算的一种新型计算模型，它具备低时延、低功耗、隐私性强的特点。而在大型的模型中，总是不可避免的存在大量的权重冗余，这种冗余甚至有可能降低模型的准确率。为了减少模型运行时对资源的消耗，并使模型能运行到更轻量级的边缘计算设备Soke TPU上，因此需要一种能够对模型进行压缩的方法。

技术实现思路

[0003]本专利技术的目的在于提供基于Soke TPU的模型压缩方法，以解决上述
技术介绍
中提出的问题。
[0004]为实现上述目的，本专利技术提供如下技术方案：基于Soke TPU的模型压缩方法，包括以下步骤：步骤一，初始化网络；步骤二，稀疏训练；步骤三，模型压缩；步骤四，模型精度恢复；步骤五，模型转换及编译；步骤六，模型部署；
[0005]其中在上述步骤一中，首先进行非稀疏训练，将得到的模型精度值作为一个基准值，使用自建的鸟类数据集作为训练集与验证集，并设置训练时的epoch，batch以及input size；
[0006]其中在上述步骤二中，设置稀疏训练时的epoch，batch以及input size之后，再分别设置若干个稀疏率值，稀疏训练完成后查看各个稀疏率值对应的BN层权重直方图，选择稀疏训练效果最好的一个稀疏率值；
[0007]其中在上述步骤三中，通过裁剪模型中卷积层的通道数，实现模型压缩；
[0008]其中在上述步骤四中，完成步骤三的剪枝操作后，使用已经剪枝过的模型作为初始权重，进行Finetune恢复模型精度；
[0009]其中在上述步骤五中，将步骤四中完成微调的模型进行格式转换，然后使用编译工具链进行编译；
[0010]其中在上述步骤六中，对步骤四中编译后的模型进行部署。
[0011]优选的，所述步骤一中，所采用的模型为目标识别模型YOLOv5s。
[0012]优选的，所述步骤三中，模型压缩具体为：根据BN层权重直方图，将剪枝阈值调整
为所有的BN层权重中最大值中的最小值之后，将所有的BN值从小到大排序，根据剪枝率n，将n个小于这个阈值的权重去掉。
[0013]优选的，所述步骤五中，格式转换是将pt格式的模型转换为onnx格式。
[0014]优选的，所述步骤五中，编译工具链为Soke TPU的AI编译工具链DETVM。
[0015]优选的，所述步骤六中，模型部署采用Soke TPU的AI推理框架Dengine实现。
[0016]与现有技术相比，本专利技术的有益效果是：本专利技术基于Soke TPU对YOLOv5s模型进行基于通道的剪枝操作，通过对YOLOv5s模型的压缩，使其减少对Soke TPU的资源消耗，加速推理，更高效地利用Soke TPU的算力，使得处理同样的数据时，Soke TPU推理速度更快。
附图说明
[0017]图1为本专利技术的方法流程图；
[0018]图2为模型初始化训练精度结果示意图；
[0019]图3为初始化模型的验证效果图；
[0020]图4为不同稀疏率下的BN层权重直方图；
[0021]注：图2中，box_loss是预测框与标定框的误差，用于监测检测框的回归，数值越小，检测框的位置越准确；obj_loss通过计算网格的置信度，监督网格中是否存在物体；cls_class是检测分类框的误差，由于使用到的数据集中只有一类需要识别的物体，所以值为0。
具体实施方式
[0022]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0023]请参阅图1
‑
4，表1
‑
2，本专利技术提供的一种实施例：基于Soke TPU的模型压缩方法，包括以下步骤：步骤一，初始化网络；步骤二，稀疏训练；步骤三，模型压缩；步骤四，模型精度恢复；步骤五，模型转换及编译；步骤六，模型部署；
[0024]其中在上述步骤一中，首先进行非稀疏训练，将得到的模型精度值作为一个基准值，使用自建的鸟类数据集作为训练集与验证集，并设置训练时的epoch，batch以及input size；其中，所采用的模型为目标识别模型YOLOv5s；
[0025]其中在上述步骤二中，设置稀疏训练时的epoch，batch以及input size之后，再分别设置若干个稀疏率值，稀疏训练完成后查看各个稀疏率值对应的BN层权重直方图，选择稀疏训练效果最好的一个稀疏率值；
[0026]其中在上述步骤三中，通过裁剪模型中卷积层的通道数，实现模型压缩，具体为：根据BN层权重直方图，将剪枝阈值调整为所有的BN层权重中最大值中的最小值之后，将所有的BN值从小到大排序，根据剪枝率n，将n个小于这个阈值的权重去掉；
[0027]其中在上述步骤四中，完成步骤三的剪枝操作后，使用已经剪枝过的模型作为初始权重，进行Finetune恢复模型精度；
[0028]其中在上述步骤五中，将步骤四中完成微调的模型进行格式转换，将pt格式的模
型转换为onnx格式，然后使用Soke TPU的AI编译工具链DETVM进行编译；
[0029]其中在上述步骤六中，采用Soke TPU的AI推理框架Dengine对步骤四中编译后的模型进行部署。
[0030]表1模型剪枝前后BN层参数对比表
[0031][0032]表2模型剪枝前后大小对比表
[0033][0034]基于上述，本专利技术的优点在于，本专利技术通过裁剪YOLOv5s中卷积层的通道数，达到
模型压缩的目的，经过压缩后的YOLOv5s模型能够在Soke TPU上消耗更少的资源而加快推理速度，更高效地利用Soke TPU的算力，为基于Soke TPU的边缘计算提供了一种新的模型处理方法。
[0035]对于本领域技术人员而言，显然本专利技术不限于上述示范性实施例的细节，而且在不背离本专利技术的精神或基本特征的情况下，能够以其他的具体形式实现本专利技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本专利技术的范围本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于Soke TPU的模型压缩方法，包括以下步骤：步骤一，初始化网络；步骤二，稀疏训练；步骤三，模型压缩；步骤四，模型精度恢复；步骤五，模型转换及编译；步骤六，模型部署；其特征在于：其中在上述步骤一中，首先进行非稀疏训练，将得到的模型精度值作为一个基准值，使用自建的鸟类数据集作为训练集与验证集，并设置训练时的epoch，batch以及input size；其中在上述步骤二中，设置稀疏训练时的epoch，batch以及input size之后，再分别设置若干个稀疏率值，稀疏训练完成后查看各个稀疏率值对应的BN层权重直方图，选择稀疏训练效果最好的一个稀疏率值；其中在上述步骤三中，通过裁剪模型中卷积层的通道数，实现模型压缩；其中在上述步骤四中，完成步骤三的剪枝操作后，使用已经剪枝过的模型作为初始权重，进行Finetune恢复模型精度；其中在上述步骤五中，将步骤四中完成微调的模型进行格式转换，然后使用编译工具链进行编译；其中在上述步骤六中，...

【专利技术属性】
技术研发人员：朱博源，窦思远，杨冬立，
申请(专利权)人：广东松科智能科技有限公司，
类型：发明
国别省市：