数据处理装置、方法、电子设备和存储介质制造方法及图纸

本公开提供了一种数据处理装置，涉及人工智能技术领域，尤其涉及芯片技术领域和数据量化技术领域。该装置包括：存储单元，配置为存储与待执行操作相关的至少一个待处理数据；处理单元，配置为：读取至少一个待处理数据；按照初始量化策略，对至少一个待处理数据进行量化，得到至少一个量化数据，其中，量化数据包括至少一个定点数值；根据至少一个量化数据和至少一个待处理数据，分别执行待执行操作，得到量化结果和原始结果；根据量化结果和原始结果，确定噪声值；根据噪声值和原始结果，确定信噪比；以及根据信噪比，确定初始量化策略的评估结果。本公开还提供了一种数据处理方法、电子设备和存储介质。设备和存储介质。设备和存储介质。

【技术实现步骤摘要】
数据处理装置、方法、电子设备和存储介质


[0001]本公开涉及人工智能
，尤其涉及芯片
和数据量化
更具体地，本公开提供了一种数据处理装置、方法、电子设备和存储介质。

技术介绍

[0002]随着人工智能技术的发展，在利用浮点数进行运算时，可以将浮点数量化为定点数，以提高硬件设备的算力。

技术实现思路

[0003]本公开提供了一种数据处理装置、方法、设备以及存储介质。
[0004]根据本公开的一方面，提供了一种数据处理装置，该装置包括：存储单元，配置为存储与待执行操作相关的至少一个待处理数据，其中，待处理数据包括至少一个原始浮点数值；处理单元，配置为：读取至少一个待处理数据；按照初始量化策略，对至少一个待处理数据进行量化，得到至少一个量化数据，其中，量化数据包括至少一个定点数值；根据至少一个量化数据和至少一个待处理数据，分别执行待执行操作，得到量化结果和原始结果；根据量化结果和原始结果，确定噪声值；根据噪声值和原始结果，确定信噪比；以及根据信噪比，确定初始量化策略的评估结果。
[0005]根据本公开的另一方面，提供了一种数据处理方法，该方法包括：读取至少一个待处理数据，其中，至少一个待处理数据与待执行操作相关，待处理数据包括至少一个原始浮点数值；按照初始量化策略，对至少一个待处理数据进行量化，得到至少一个量化数据，其中，量化数据包括至少一个定点数值；根据至少一个量化数据和至少一个待处理数据，分别执行待执行操作，得到量化结果和原始结果；根据量化结果和原始结果，确定噪声值；根据噪声值和原始结果，确定信噪比；以及根据信噪比，确定初始量化策略的评估结果。
[0006]根据本公开的另一方面，提供一种电子设备，包括本公开提供的数据处理装置。
[0007]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
[0008]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
[0009]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据本公开提供的方法。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0012]图1是根据本公开的一个实施例的数据处理装置的示意框图；
[0013]图2是根据本公开的一个实施例的确定信噪比阈值的示意图；
[0014]图3是根据本公开的一个实施例的确定信噪比阈值的示意图；
[0015]图4是根据本公开的一个实施例的电子设备的示意图；
[0016]图5是根据本公开的一个实施例的数据处理方法的流程图；以及
[0017]图6是根据本公开的一个实施例的可以应用数据处理方法的电子设备的框图。
具体实施方式
[0018]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0019]深度学习是人工智能领域的研究热点。在自动驾驶、智能机器人、模式识别、预测估计、生物、医疗、经济等领域，深度学习技术的应用已相当广泛，可以解决许多现代计算机算法中难以解决的问题。
[0020]量化处理广泛应用在以矩阵计算、脉动阵列为主要计算单元的人工智能芯片上。量化处理是将浮点数替换为硬件实现更友好的定点数，并以一定的计算精度损失来换取更高的算力。这非常适合容错率高同时算力要求也高的人工智能计算(例如深度学习)场景。然而，在人工智能芯片上应用量化处理时，难以准确地评估不同量化策略带来的误差是否在一个合理范围内。
[0021]在一些实施例中，可以根据待处理数据的分布情况和待运行算子的计算流程，确定量化策略的误差。例如，按照量化策略，可以对待处理数据进行量化，得到量化数据。利用待运行算子处理量化数据，得到量化输出结果。可以利用待运行算子处理待处理数据，得到原始输出结果。确定原始输出结果和量化输出结果之间的绝对误差或相对误差，以确定量化策略的误差。然而，输出结果例如可以为矩阵。在确定绝对误差或相对误差时，需要确定矩阵中每个元素的误差，可能放大了量化策略的精度范围。此外，量化策略可能会导致较大的系统误差，导致个别元素的误差大幅增加。
[0022]在一些实施例中，可以将量化输出结果和原始输出结果对齐，以确定量化策略的误差。然而，将两个结果对齐，可能会导致精确的原始输出结果的参考价值降低。对齐处理可以增加算子开发的复杂度，可以导致算子开发周期增加，也可以导致原始输出结果的可靠性下降。此外，对齐处理也难以避免量化处理带来的系统误差，导致开发人员难以准确评估量化策略的误差。
[0023]为了准确地评估量化策略，本公开提供了数据处理装置，下面将进行说明。
[0024]图1是根据本公开的一个实施例的数据处理装置的示意框图。
[0025]如图1所示，装置100可以包括存储单元110和处理单元120。
[0026]存储单元110，可以配置为存储与待执行操作相关的至少一个待处理数据。
[0027]在本公开实施例中，待处理数据可以包括至少一个原始浮点数值。待处理数据例如可以为待处理矩阵。待处理矩阵可以包括至少一个原始浮点数值。原始浮点数值例如可以为32位浮点数(Float32，FP32)。
[0028]在本公开实施例中，待执行操作可以包括与深度学习相关的各种操作。例如，待执行操作可以包括矩阵乘操作、卷积操作、相加操作等各种操作。又例如，待执行操作可以包括多个子操作。
[0029]处理单元120，可以配置为：读取至少一个待处理数据。按照初始量化策略，对至少一个待处理数据进行量化，得到至少一个量化数据。根据至少一个量化数据和至少一个待处理数据，分别执行待执行操作，得到量化结果和原始结果。根据量化结果和原始结果，确定噪声值。根据噪声值和原始结果，确定信噪比。根据信噪比，确定初始量化策略的评估结果。
[0030]在本公开实施例中，处理单元可以从存储单元读取待处理数据。
[0031]在本公开实施例中，量化数据可以包括至少一个定点数值。初始量化策略可以指示与待处理数据对应的量化数据中定点数值的数据类型。例如，在原始浮点数值为32位浮点数的情况下，初始量化策略可以指示量化数据中定点数值为16位整型(int16)数据。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理装置，包括：存储单元，配置为存储与待执行操作相关的至少一个待处理数据，其中，所述待处理数据包括至少一个原始浮点数值；处理单元，配置为：读取至少一个所述待处理数据；按照初始量化策略，对所述至少一个待处理数据进行量化，得到至少一个量化数据，其中，所述量化数据包括至少一个定点数值；根据所述至少一个量化数据和所述至少一个待处理数据，分别执行所述待执行操作，得到量化结果和原始结果；根据所述量化结果和所述原始结果，确定噪声值；根据所述噪声值和所述原始结果，确定信噪比；以及根据所述信噪比，确定所述初始量化策略的评估结果。2.根据权利要求1所述的装置，其中，所述处理单元还配置为执行以下操作以根据所述量化结果和所述原始结果，确定噪声值：对所述量化结果进行反量化，得到反量化结果；以及根据所述反量化结果和所述原始结果，确定所述噪声值。3.根据权利要求2所述的装置，其中，所述原始结果包括至少一个原始结果浮点数值，所述反量化结果包括与至少一个原始结果浮点数值对应的至少一个反量化结果浮点数值，所述处理单元还配置为执行以下操作以根据所述反量化结果和所述原始结果，确定所述噪声值：根据至少一个所述原始结果浮点数值以及与至少一个所述原始结果浮点数值对应的至少一个反量化结果浮点数值，确定所述噪声值。4.根据权利要求1所述的装置，其中，所述处理单元还配置为执行以下操作以根据所述噪声值和所述原始结果，确定信噪比包括：根据所述原始结果浮点数值的数目和至少一个所述原始结果浮点数值，确定信号值；以及根据所述信号值和所述噪声值，确定所述信噪比。5.根据权利要求1所述的装置，其中，所述处理单元还配置为执行以下操作以根据所述至少一个量化数据和所述至少一个待处理数据，分别执行所述待执行操作，得到量化结果和原始结果：根据所述至少一个量化数据，执行所述待执行操作，得到所述量化结果；以及根据所述至少一个待处理数据，执行所述待执行操作，得到所述原始结果。6.根据权利要求1所述的装置，其中，所述评估结果为处理精度评估结果，所述处理单元还配置为执行以下操作以根据所述信噪比，确定所述初始量化策略的评估结果：响应于确定所述信噪比大于或等于与所述初始量化策略对应的信噪比阈值，确定所述处理精度评估结果为评估通过。7.根据权利要求1所述的装置，其中，所述初始量化策略为多个，所述处理单元还配置为：
根据多个所述初始量化策略各自的评估结果和与所述待处理操作相关的处理效率信息，从多个所述初始量化策略中确定目标量化策略。8.根据权利要求1所述的装置，其中，所述初始量化策略用于指示所述定点数值的数据类型。9.一种电子设备，包括如权利要求1至8任一项所述的数据处理装置。10.一种数据处理方法，包括：读取至少一个所述待处理数据，其中，所述至少一个待处理数据与待执行操作相关，所述待处理数据包括至少一个原始浮点数值；按...

【专利技术属性】
技术研发人员：郑临风，李宇鹏，杨振宇，韩志华，欧阳剑，
申请(专利权)人：昆仑芯北京科技有限公司，
类型：发明
国别省市：