混合精度网络量化方法及装置制造方法及图纸

本申请实施例提供一种混合精度网络量化方法及装置，方法包括：对深度神经网络的各层进行量化位宽初始化操作，作为初代种群，其中，种群由分别表征量化策略的多个个体组成；根据预设突变率和随机父代确定种群再生方式并执行种群再生操作，通过非支配排序确定经过所述种群再生操作后要保留的个体；通过帕累托前沿优化策略对所述要保留的个体进行混合精度网络量化，得到每个保留的父代结果；本申请能够有效加快深度神经网络推理时间并降低功耗。有效加快深度神经网络推理时间并降低功耗。有效加快深度神经网络推理时间并降低功耗。

【技术实现步骤摘要】
混合精度网络量化方法及装置


[0001]本申请涉及存内计算领域，具体涉及一种混合精度网络量化方法及装置。

技术介绍

[0002]深度神经网络(DNN)在计算机视觉和自然语言处理等领域取得了巨大进展。然而，DNN由于其密集的计算和海量数据移动，通常会导致高功耗。需要降低复杂性以适应这些边缘设备。DNN量化已被证明是一种有效的方法，它可以显著加快推理时间并降低功耗。
[0003]在量化算法蓬勃发展的同时，硬件也在快速发展。存内计算(CIM)作为解决数据移动瓶颈的潜在硬件解决方案，越来越受到人们的关注。它通过在存内计算阵列中执行计算来减少内存和处理器之间的数据移动。然而，CIM不适用于高精度计算，因为表示高精度数据，需要在一行/一列中包含多个位单元，以提供足够的数据精度，从而导致巨大的资源占用。另一方面，由于存储器阵列在模拟模式下执行矩阵向量乘法(MVM)，因此通常需要额外的模数转换器(ADC)和数字到模拟转换器(DAC)来实现数据转换，会消耗相当大的成本面积和能量。因此，CIM需要额外的量化来突破模拟
‑
>数字接口的有限分辨本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种混合精度网络量化方法，其特征在于，所述方法包括：对深度神经网络的各层进行量化位宽初始化操作，作为初代种群，其中，种群由分别表征量化策略的多个个体组成；根据预设突变率和随机父代确定种群再生方式并执行种群再生操作，通过非支配排序确定经过所述种群再生操作后要保留的个体；通过帕累托前沿优化策略对所述要保留的个体进行混合精度网络量化，得到每个保留的父代结果。2.根据权利要求1所述的混合精度网络量化方法，其特征在于，所述对深度神经网络的各层进行种群量化位宽初始化操作，包括：对深度神经网络的各层初始化三个量化位宽，其中，所述三个量化位宽分别对应输入、权重和输出；根据各层初始化的三个量化位宽构建初始化种群。3.根据权利要求1所述的混合精度网络量化方法，其特征在于，所述根据预设突变率和随机父代确定种群再生方式并执行种群再生操作，包括：若随机父代对应的随机数字超过预设突变率，则采用交叉方式进行种群再生；若随机父代对应的随机数字未超过预设突变率，则采用突变方式进行种群再生。4.根据权利要求1所述的混合精度网络量化方法，其特征在于，所述通过非支配排序确定经过所述种群再生操作后要保留的个体，包括：根据模型精确度、模型参数量大小、模型计算量大小以及电路功耗确定非支配排序的参考指标；根据所述参考指标通过非支配排序确定经过所述种群再生操作后要保留的个体。5.一种混合精度网络量化装置，其特征在于，包括：种群初始化模块，用于对深度神经网络的各层进行种群量化位宽初始化操作，其中，种群由分别表征量化策略的多个个体组成；种群再生模块，用于根据预设突变率和随机父代确定种群再生方式并执行种群再生操作，通过非支配排序确定经过所述种...

【专利技术属性】
技术研发人员：郭浩，孙思凡，白金宇，康旺，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：