一种模型部署方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供的一种模型部署方法、装置、电子设备及存储介质，其中方法包括：对获取到的初始模型进行优化编译，得到目标模型参数；根据所述目标模型参数确定目标指标；在所述目标指标不符合预设标准的情况下，根据所述预设标准以及预设维度对所述目标模型参数进行缩减；根据缩减后的目标模型参数对所述初始模型进行部署，得到目标模型。通过在模型部署前，依据预设标准、预设维度对模型优化编译得到的模型参数进行缩减，再依据缩减后的模型参数进行模型部署，减少了模型的数据量，克服了存储资源有限给模型部署带来的限制，提高了模型部署的效率。

A model deployment method, device, electronic equipment and storage medium

【技术实现步骤摘要】
一种模型部署方法、装置、电子设备及存储介质
本专利技术属于信息
，特别是涉及一种模型部署方法、装置、电子设备及存储介质。
技术介绍
随着深度学习技术的日益发展，深度学习模型已经广泛应用到人们生产生活的方方面面。目前，对深度学习模型进行优化加速的方法是应用深度学习推理优化框架，首先通过网络优化编译器对深度学习推理模型进行优化编译，生成模型的中间表达文件，然后将中间表达文件导入深度学习推理优化框架的模型加速器进行部署，但对于一些维度敏感的深度学习模型，在进行优化时，如果只应用一份固定中间表达文件会导致误差过大，因此通常需要准备多份不同维度的中间表达文件。但是这种方式中的中间表达文件的数据量会成倍增加，提高了模型部署的存储资源要求，由于一些场景或设备中的存储资源有限，例如边缘端，就会因为存储资源不足限制模型的正常部署，而且过多的中间表达文件也意味着较长的模型导入时间，降低了模型部署效率。
技术实现思路
有鉴于此，本专利技术提供一种模型部署方法、装置、电子设备及存储介质，以便解决现有技术中在模型部署时，由于中间本文档来自技高网...

【技术保护点】
1.一种模型部署方法，其特征在于，包括：/n对获取到的初始模型进行优化编译，得到目标模型参数；/n根据所述目标模型参数确定目标指标；/n在所述目标指标不符合预设标准的情况下，根据所述预设标准以及预设维度对所述目标模型参数进行缩减；/n根据缩减后的目标模型参数对所述初始模型进行部署，得到目标模型。/n

【技术特征摘要】
1.一种模型部署方法，其特征在于，包括：
对获取到的初始模型进行优化编译，得到目标模型参数；
根据所述目标模型参数确定目标指标；
在所述目标指标不符合预设标准的情况下，根据所述预设标准以及预设维度对所述目标模型参数进行缩减；
根据缩减后的目标模型参数对所述初始模型进行部署，得到目标模型。


2.根据权利要求1所述的方法，其特征在于，所述目标指标包括：目标误差，所述根据所述目标模型参数确定目标指标的步骤，包括：
根据所述目标模型参数对所述初始模型进行调整；
将测试数据输入调整后的初始模型，得到目标预测结果；
根据所述目标预测结果与标准预测结果进行比对，获得目标误差；
所述在所述目标指标不符合预设标准的情况下，根据所述预设标准以及预设维度对所述目标模型参数进行缩减的步骤，包括：
在所述目标误差小于容许误差阈值的情况下，根据所述容许误差阈值及预设维度对所述目标模型参数进行缩减。


3.根据权利要求1所述的方法，其特征在于，所述目标指标还包括：目标数据量，所述根据所述目标模型参数确定目标指标的步骤，包括：
确定所述目标模型参数的目标数据量；
所述在所述目标指标不符合预设标准的情况下，根据所述预设标准以及预设维度对所述目标模型参数进行缩减的步骤，包括：
在所述目标数据量大于数据量阈值的情况下，根据预设维度及数据量阈值对所述目标模型参数进行缩减。


4.根据权利要求1至3中任一所述的方法，其特征在于，所述预设维度包括：至少两个维度值，所述目标模型参数包括：所述至少两个维度值对应的目标模型子参数，所述根据所述预设标准以及预设维度对所述目标模型参数进行缩减的步骤，包括：
根据所述至少两个维度值确定至少一个中间维度值；
将所述目标模型子参数的维度值缩减至最邻近的中间维度值，以对所述目标模型参数进行缩减。


5.根据权利要求4中所述的方法，其特征在于，所述维度值包括：尺寸，所述根据所述至少两个维度值确定至少一个中间维度值的步骤，包括：
在所述初始模型为...

【专利技术属性】
技术研发人员：陈可，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11