【技术实现步骤摘要】
本专利技术属于深度学习模型优化压缩以及工具链，尤其涉及一种基于torchscript模型的混合精度量化方法、装置、设备及存储介质。
技术介绍
1、随着深度学习快速发展，其在语音、图像和自然语言处理等领域得到了广泛应用，大量基于神经网络模型的技术推陈出新，同时也增生了大量的ai芯片厂商，然而，由于神经网络模型本身具有层数多、参数量多、计算量大的特点，在将这些模型进行芯片部署时，仍面临着计算资源不足、储存空间不足、内存消耗过多等问题，为此必须对神经网络模型进行优化压缩，或者采用定点运算来减小浮点运算产生的高功耗问题，以保证其能在嵌入式终端设备上顺利落地。
2、传统基于pytorch模型量化压缩方案基本步骤如下：首先，对模型进行权重量化，统计每一个网络层的权重绝对值最大值wmax，将其最大值映射到127，即根据公式flw＝int(log2(127/wmax))计算整数flw，这样，一个层数为n的网络最终会统计出n个flw，随后，根据公式得到权重的8比特量化值，接着，选取校准数据集对模型进行输出量化，使用该校准数据集进行神经网络前向...
【技术保护点】
1.一种基于TorchScript模型的混合精度量化方法，其特征在于，所述方法包括下述步骤：
2.如权利要求1所述的方法，其特征在于，所述采用预设的模型输入量化策略对输入所述TorchScript映射模型的原始输入值进行量化的步骤，包括：
3.如权利要求1所述的方法，其特征在于，所述采用预设的模型权重量化策略对所述TorchScript映射模型的当前网络层的第一权重进行量化的步骤，包括：
4.如权利要求1所述的方法，其特征在于，所述并采用预设的模型输出量化策略对所述待量化输出值进行量化，得到目标输出值的步骤包括：
5.如...
【技术特征摘要】
1.一种基于torchscript模型的混合精度量化方法，其特征在于，所述方法包括下述步骤：
2.如权利要求1所述的方法，其特征在于，所述采用预设的模型输入量化策略对输入所述torchscript映射模型的原始输入值进行量化的步骤，包括：
3.如权利要求1所述的方法，其特征在于，所述采用预设的模型权重量化策略对所述torchscript映射模型的当前网络层的第一权重进行量化的步骤，包括：
4.如权利要求1所述的方法，其特征在于，所述并采用预设的模型输出量化策略对所述待量化输出值进行量化，得到目标输出值的步骤包括：
5.如权利要求1所述的方法，其特征在于，所述得到对所述pytorch模型压缩后的torc...
【专利技术属性】
技术研发人员：张鹏，王春燕，
申请(专利权)人：珠海亿智电子科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。