权重精度配置方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了权重精度配置方法、装置、设备及存储介质。该方法包括：从至少两个小于目标识别率阈值的候选识别率阈值中确定当前识别率阈值，基于当前识别率阈值对神经网络中各层对应的权重精度进行降低调整，训练经过降低调整的神经网络以调节各层的权重参数值，其中，训练目标为提高经过降低调整的神经网络的识别率，根据当前识别率和目标识别率阈值的关系，确定各层的权重精度的最终配置结果。通过采用上述技术方案，可以在保证神经网络的识别率的情况下，提高承载神经网络的人工智能芯片中的资源利用率，提高芯片性能，降低芯片功耗。

【技术实现步骤摘要】
权重精度配置方法、装置、设备及存储介质
本专利技术实施例涉及人工智能
，尤其涉及权重精度配置方法、装置、设备及存储介质。
技术介绍
随着大数据信息网络和智能移动设备的蓬勃发展，产生了海量非结构化信息，伴生了对这些信息高效能处理需求的急剧增长。近年来，深度学习技术发展迅速，在图像识别、语音识别以及自然语言处理等诸多领域取得了很高的准确率。但如今的深度学习研究绝大多数仍是基于传统的冯诺依曼计算机实现的，而冯诺依曼计算机由于处理器和存储器分离，在处理大型复杂问题时不仅能耗高、效率低，而且面向数值计算的特性使其在处理非形式化问题时软件编程复杂度高，甚至无法实现。随着脑科学的发展，由于大脑相比传统的冯诺依曼计算机具有超低功耗以及高容错性等特点，且在处理非结构化信息和智能任务方面具有显著优势，借鉴大脑的计算模式构建新型的人工智能系统和人工智能芯片已经成为一个新兴的发展方向，因此，借鉴人脑发展的人工智能技术应运而生。人工智能技术中的神经网络由大量神经元构成，神经网络中通过信息的分布式存储和并行协同处理，定义基本的学习规则即可模拟出大脑的自适应学本文档来自技高网...

【技术保护点】
1.一种权重精度配置方法，其特征在于，包括：/n从至少两个候选识别率阈值中确定当前识别率阈值，其中，所述至少两个候选识别率阈值小于目标识别率阈值；/n基于当前识别率阈值对神经网络中各层对应的权重精度进行降低调整；/n训练经过所述降低调整的神经网络以调节各层的权重参数值，其中，训练目标为提高经过所述降低调整的神经网络的识别率；/n根据当前识别率和所述目标识别率阈值的关系，确定各层的权重精度的最终配置结果。/n

【技术特征摘要】
1.一种权重精度配置方法，其特征在于，包括：
从至少两个候选识别率阈值中确定当前识别率阈值，其中，所述至少两个候选识别率阈值小于目标识别率阈值；
基于当前识别率阈值对神经网络中各层对应的权重精度进行降低调整；
训练经过所述降低调整的神经网络以调节各层的权重参数值，其中，训练目标为提高经过所述降低调整的神经网络的识别率；
根据当前识别率和所述目标识别率阈值的关系，确定各层的权重精度的最终配置结果。


2.根据权利要求1所述的方法，其特征在于，所述至少两个候选识别率阈值中，数值大的候选识别率阈值优先被确定为当前识别率阈值；
所述根据当前识别率和所述目标识别率阈值的关系，确定各层的权重精度的最终配置结果，包括：
判断经过训练的神经网络的当前识别率是否能够达到所述目标识别率阈值，若能够达到，则重新确定当前识别率阈值，并继续基于当前识别率阈值对神经网络中各层对应的权重精度进行降低调整，直到经过训练的神经网络的当前识别率无法达到所述目标识别率阈值，并将上一次降低调整后的各层对应的权重精度确定为最终配置结果。


3.根据权利要求1所述的方法，其特征在于，所述至少两个候选识别率阈值中，数值小的候选识别率阈值优先被确定为当前识别率阈值；
所述根据当前识别率和所述目标识别率阈值的关系，确定各层的权重精度的最终配置结果，包括：
判断经过训练的神经网络的当前识别率是否能够达到所述目标识别率阈值，若不能达到，则重新确定当前识别率阈值，并基于当前识别率阈值对神经网络中各层对应的权重精度重新进行降低调整或基于当前识别率阈值对神经网络中各层对应的权重精度进行升高调整，直到经过训练的神经网络的当前识别率能够达到所述目标识别率阈值，并将本次降低调整或本次升高调整后的各层对应的权重精度确定为最终配置结果。


4.根据权利要求1所述的方法，其特征在于，所述基于当前识别率阈值对神经网络中各层对应的权重精度进行降低调整，包括：
确定神经网络中的当前目标层，其中，所述神经网络中的所有层被按照对识别率的影响程度进行排序，影响程度低的层优先被确定为目标层；
降低当前目标层对应的权重精度，并判断所述神经网络的当前识别率是否小于当前识别率阈值，若小于，则将当前目标层对应的权重精度锁定为本次降低前的权重精度；
在满足目标层切换条件的情况下，重新确定当前目标层。


5.根据权利要求4所述的方法，其特征在于，在判断所述神经网络的当前识别率是否小于当前识别率阈值之后，还包括：
若大于或等于，则继续降低当前目标层对应的权重精度，并继续判断所述神经网络的当前识别率是否小于当前识别率阈值；
并且，所述目标层切换条件包括：所述神经网络的当前识别率小于当前识别率阈值；所述影响程度低的层优先被确定为目标层包括：在对应的权重精度未被锁定的层中，影响程度低的层优先被确定为目标层。


6.根据权利要求4所述的方法，其特征在于，针对所述神经网络中的所有层对应的权重精度进行多轮降低操作，每轮降低操作中，每层对应的权重精度被降低最多一次；
在判断所述神经网络的当前识别率是否小于当前识别率阈值之后，还包括：
若大于或等于，则暂存降低后的权重精度；
并且，所述目标层切换条件包括：当前目标层对应的权重精度在本轮降低操作中已被降低一次。


7.根据权利要求1所述的方法，其特征在于，所述基于...

【专利技术属性】
技术研发人员：祝夭龙，何伟，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：北京;11