模型轻量化方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种模型轻量化方法、装置、电子设备及计算机可读存储介质，属于人工智能领域。具体实现方案包括：获取原始图像分类模型，对所述原始图像分类模型的结构进行分析，得到精简后的第一网络结构；根据所述第一网络结构，构建搜索空间；在所述搜索空间内进行网络结构搜索，获得目标网络结构。根据本申请中的方案，在获得大型图像分类模型之后，可以基于精简分析后的网络结构，构建网络结构搜索空间，并搜索得到目标网络结构，从而实现网络结构轻量化，使得轻量化后的模型结构可以应用于资源受限的端侧设备。资源受限的端侧设备。资源受限的端侧设备。

【技术实现步骤摘要】
模型轻量化方法、装置、电子设备及计算机可读存储介质


[0001]本专利技术属于人工智能领域，具体涉及一种模型轻量化方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]随着设备智能化程度的提高，考虑到数据隐私性及检测时效性要求，目前用于图像分类的图像分类模型常被要求部署在端侧设备上。但是，由于端侧设备对计算资源、存储资源及能耗的要求都较高，而现有图像分类模型往往具有较深的网络层次和大规模的网络参数，造成现有图像分类模型无法部署在资源受限的端侧设备上。

技术实现思路

[0003]本专利技术实施例的目的是提供一种模型轻量化方法、装置、电子设备及计算机可读存储介质，以解决现有图像分类模型无法部署在资源受限的端侧设备上的问题。
[0004]为了解决上述技术问题，本专利技术是这样实现的：
[0005]第一方面，本专利技术实施例提供了一种模型轻量化方法，包括：
[0006]获取原始图像分类模型；
[0007]对所述原始图像分类模型的结构进行分析，得到精简后的第一网络结构；/>[0008]根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型轻量化方法，其特征在于，包括：获取原始图像分类模型；对所述原始图像分类模型的结构进行分析，得到精简后的第一网络结构；根据所述第一网络结构，构建搜索空间；在所述搜索空间内进行网络结构搜索，获得目标网络结构。2.根据权利要求1所述的方法，其特征在于，所述对所述原始图像分类模型的结构进行分析，得到精简后的第一网络结构，包括：确定所述原始图像分类模型中的各个目标层结构对所述原始图像分类模型的影响程度值；选取影响程度值大于预设阈值的目标层结构构成所述第一网络结构。3.根据权利要求2所述的方法，其特征在于，所述确定所述原始图像分类模型中的各个目标层结构对所述原始图像分类模型的影响程度值，包括：分别针对每个目标层结构，执行以下过程：获取所述原始图像分类模型的第一输出结果，和获取第一模型的第二输出结果；其中，所述第一模型是将所述原始图像分类模型中的所述目标层结构的参数随机赋值后的模型；计算所述第一输出结果和所述第二输出结果之间的互信息；根据所述互信息，确定所述影响程度值；其中，所述互信息越小，所述影响程度值越大。4.根据权利要求3所述的方法，其特征在于，所述根据所述互信息，确定所述影响程度值，包括：对所述互信息进行标准化，得到标准化互信息；根据所述标准化互信息，确定所述影响程度值。5.根据权利要求1所述的方法，其特征在于，所述在所述搜索空间内进行网络结构搜索，获得目标网络结构，包括：利用如下的目标函数，在所述搜索空间内进行网络结构搜索，直至找到符合要求的目标网络结构；其中，m表示目标网络结构，ACC(m)表示目标网络结构训练后得到的预测准确率，LAT(m)表示目标网络结构训练后得到的推理时延，T表示预设的目标推理时延；α为预设值，取值为[0，1]。6.根据权利要求5所述的方法，其特征在于，所述目标网络结构是利用知识蒸馏方法训练的，所使用的损失函数为：L＝βL
soft
×
(1-β)L
hard
其中，L
...

【专利技术属性】
技术研发人员：孔德群，王晔，王亚琦，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：