用于神经网络数据量化的方法、装置和计算机可读存储介质制造方法及图纸

本披露公开了用于神经网络数据量化的方法、量化装置和计算机可读存储介质，其中量化装置可以包括在组合处理装置中，该组合处理装置还可以包括通用互联接口和其他处理装置。所述量化装置与其他处理装置进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与设备和其他处理装置连接，用于该设备和其他处理装置的数据。本披露的方案针对神经网络数据进行划分，被划分到同一区间内的多组神经网络数据可以进行统一的量化操作，从而达到加快处理速度的目的。

【技术实现步骤摘要】
用于神经网络数据量化的方法、装置和计算机可读存储介质
本披露一般地涉及人工智能领域。更具体地，本披露涉及一种用于用于对神经网络数据进行量化的方法、装置、集成电路和计算机可读存储介质。
技术介绍
深度学习已被人工智能领域广泛的使用,在包括图像分类、目标检测、自然语言处理等任务上被证实效果十分理想。随着深度学习的模型预测越来越准确，网络越来越深，神经网络消耗的内存大小成为问题，尤其是在移动设备上。模型大小不仅是内存容量问题，也是内存带宽问题。模型在每次预测时需要使用模型的权重，图像相关的应用程序通常需要实时处理大量数据，这意味着内存、CPU和电池的快速消耗。为了节省能耗，神经网络的学习、训练或使用通常会采取量化的手段。所谓量化就是将神经网络中信息量较大的浮点数转换为信息量较小的浮点数或定点数，而如何有效的转换将影响神经网络的速度及精准度。
技术实现思路
为了至少解决在上述
技术介绍
部分所描述的问题，对神经网络数据进行分别或统一的量化操作，从而达到减少运算量和加快处理速度的目的，本披露提出如下的技术方案及其多个实施例本文档来自技高网...

【技术保护点】
1.一种用于对神经网络数据进行量化的方法，包括：/n获取针对于多组神经网络数据中的每组神经网络数据的量化相关值，以得到与所述多组神经网络数据对应的多个量化相关值；/n根据所述多个量化相关值中的最大值与最小值的比值，确定用于划分所述多组神经网络数据的多个区间；/n将与所述多个量化相关值对应的所述多组神经网络数据中的每组划分到相应的所述多个区间之一；以及/n对于划分到同一区间内的一组或多组神经网络数据执行统一的量化操作。/n

【技术特征摘要】
1.一种用于对神经网络数据进行量化的方法，包括：
获取针对于多组神经网络数据中的每组神经网络数据的量化相关值，以得到与所述多组神经网络数据对应的多个量化相关值；
根据所述多个量化相关值中的最大值与最小值的比值，确定用于划分所述多组神经网络数据的多个区间；
将与所述多个量化相关值对应的所述多组神经网络数据中的每组划分到相应的所述多个区间之一；以及
对于划分到同一区间内的一组或多组神经网络数据执行统一的量化操作。


2.根据权利要求1所述的方法，其中每组神经网络数据的所述量化相关值是最大值或绝对值最大值。


3.根据权利要求1所述的方法，其中划分到相应的所述多个区间之一包括：
根据所述多个量化相关值中的每个与所述最小值或最大值的比值，将与所述多个量化相关值对应的所述多组神经网络数据中的每组划分到相应的所述多个区间之一。


4.根据权利要求1所述的方法，进一步包括：
在获取所述量化相关值前，根据所述神经网络的目标层的输出通道来将所述神经网络数据划分成所述多组神经网络数据。


5.根据权利要求4所述的方法，其中所述目标层是所述神经网络的卷积层或全连接层。


6.根据权利要求1所述的方法，其中所述神经网络数据包括所述神经网络的神经元、权值、偏置和梯度中的至少一种数据。


7.根据权利要求1-6的任意一项所述的方法，其中所述量化操作包括将高精度数据格式表示的神经网络数据量化成低精度数据格式表示的神经网络数据。


8.根据权利要求7所述的方法，其中对于划分到同一区间内的一组或多组神经网络数据执行统一的量化操作包括：
根据所述一组或多组神经网络数据中的绝对值最大值和低精度数据格式数据的位宽来确定量化参数；以及
使用所述量化参数来对所述一组或多组神经网络数据执行所述统一的量化操作。


9.一种用于对神经网络数据进行量化的设备，包括：
至少一个处理器；
至少一个存储器，其存储有计算机程序代码，当所述计算机程序代码由所述至少一个处理器执行时，使得所述设备执行根据权利要求1-8的任意一项所述的方法。


10.一种计算机可读存储介质，其上存储有用于对神经网络数据进行量化的计算机程序代码，...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：中科寒武纪科技股份有限公司，
类型：发明
国别省市：北京;11