【技术实现步骤摘要】
本披露一般涉及人工智能。更具体地，本披露涉及一种用于神经网络模型中浮点量化操作的装置、方法、设备、计算装置、板卡和计算机可读存储介质。
技术介绍
1、当前，随着人工智能的快速发展，深度神经网络(deep neural network，“dnn”)在许多领域取得了显著成就，例如图像分类、目标检测、语音识别和机器翻译。在过去的几十年间，dnn网络模型的规模和计算成本不断扩大，如何对模型进行压缩，以便在资源受限和效率要求较高的平台上进行实时推理成了研究热点。量化作为一种模型压缩技术，实现了较大的压缩比，并且有利于硬件的实现，相较于其他的模型压缩方法有很好的应用前景。
2、在上述的量化操作中，训练后量化(post-training quantization，“ptq”)过程是指对训练好的网络模型直接量化后进行模型推理。相较于对训练好的网络模型进行微调的量化感知训练(quantizationaware training，“qat”)过程，ptq具有时间和算力成本低、应用方便和数据依赖小的优势，但可能存在精度损失的问题。ptq量化过程通常分为均匀量化(即int型)与非均匀量化(即fp型)，均匀量化作为非均匀量化的一种特殊形式(指数位为0)，其存在数据的表示范围固定、不够灵活的缺陷，而非均匀量化有多种数据表征，表示数据范围较均匀量化更宽，对不同数据范围的应用更灵活。
3、然而，已有非均匀ptq量化过程往往仅依靠实验结果对网络的所有层选择相同的量化格式。然而，不同数据分布的最优浮点量化格式是不同的，若使用单一格式进行量化
4、有鉴于此，亟需提供一种用于神经网络模型中浮点量化操作的方案，以便较好地表示神经网络中的数据分布，提高浮点量化效率，并且减少浮点量化过程中的精度损失。
技术实现思路
1、为了至少解决如上所提到的一个或多个技术问题，本披露在多个方面中提出了一种用于神经网络模型中浮点量化操作的方案。
2、在第一方面中，本披露提供一种用于神经网络模型中浮点量化操作的装置，包括：数据获取电路，其用于获取所述神经网络模型中待进行浮点量化操作的数据；混合拟合电路，其用于使用混合分布对所述待进行浮点量化操作的数据执行混合拟合操作，以获得对应的混合拟合分布；格式确定电路，其用于根据所述混合拟合分布确定与进行浮点量化操作相关的最优量化浮点格式；以及量化电路，其用于根据所述最优量化浮点格式对所述待进行浮点量化操作的数据执行浮点量化。
3、在第二方面中，本披露还提供一种用于神经网络模型中浮点量化操作的方法，包括：获取所述神经网络模型中待进行浮点量化操作的数据；使用混合分布对所述待进行浮点量化操作的数据执行混合拟合操作，以获得对应的混合拟合分布；根据所述混合拟合分布确定与进行浮点量化操作相关的最优量化浮点格式；以及根据所述最优量化浮点格式对所述待进行浮点量化操作的数据执行浮点量化。
4、在第三方面中，本披露还提供一种用于神经网络模型中浮点量化操作的设备，包括：处理器；以及存储器，其存储有用于神经网络模型中浮点量化操作的程序指令，当所述程序指令由所述处理器执行时，使得所述设备实现前述第二方面中的实施例。
5、在第四方面中，本披露还提供一种计算装置，包括前述第三方面中所述的设备。
6、在第五方面中，本披露还提供一种板卡，包括前述第四方面中所述的计算装置。
7、在第六方面中，本披露还提供一种计算机可读存储介质，其上存储有用于神经网络模型中浮点量化操作的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现前述第二方面中所述的方法。
8、通过如上所提供的用于神经网络模型中浮点量化操作的方案，本披露实施例通过使用混合分布对神经网络模型中的待进行浮点量化操作的数据执行混合拟合操作，并基于混合拟合分布确定最优量化浮点格式，以对进行浮点量化操作的数据执行浮点量化。基于此，通过混合拟合操作能够较好地表示神经网络中的数据分布，并且通过混合拟合分布确定最优量化浮点格式而无需迭代，从而极大地提高了浮点量化效率，减少了浮点量化过程中的精度损失。进一步地，本披露实施例通过采用量化误差求取极值的方式，动态求解最优量化浮点格式的解析解，以实现通过自适应的混合浮点格式完成非均匀ptq过程。此外，本披露实施例还针对神经网络模型各层的数据部分，在最优量化浮点格式或常规浮点格式间选择用于浮点量化操作的量化浮点格式，以使得浮点格式的选择更加灵活和丰富，并提高了量化后神经网络模型的精度。
本文档来自技高网...【技术保护点】
1.一种用于神经网络模型中浮点量化操作的装置，包括：
2.根据权利要求1所述的装置，其中所述混合分布包括均匀分布和高斯分布的组合，其中所述混合拟合电路用于：
3.根据权利要求1所述的装置，其中所述均匀分布的均匀分布参数由所述待进行浮点量化操作的数据中的绝对值最大值来确定，并且所述高斯分布的高斯分布参数由所述待进行浮点量化操作的数据的标准差来确定。
4.根据权利要求3所述的装置，其中所述混合分布还包括混合系数，其用于表征待进行浮点量化操作的数据中分别服从所述均匀分布和高斯分布的数据占比。
5.根据权利要求1所述的装置，其中在确定与进行浮点量化操作相关的最优量化浮点格式中，所述格式确定电路还用于：
6.根据权利要求5所述的装置，其中在根据所述混合拟合分布确定拟合均方误差中，所述格式确定电路还用于：
7.根据权利要求6所述的装置，其中所述最优量化浮点格式包括指数位数和尾数位数，并且所述最优量化浮点格式满足以下等式：
8.根据权利要求1所述的装置，其中所述神经网络模型包括多个层，并且所述装置还包括：>
9.根据权利要求8所述的装置，还包括：
10.根据权利要求9所述的装置，其中在所述单一拟合分布与所述混合拟合分布的比较，在所述最优量化浮点格式或常规浮点格式间选择适用于所述神经网络模型各层中的待进行浮点量化操作的量化浮点格式中，所述量化选择电路还用于：
11.根据权利要求10所述的装置，其中在根据所述比较结果来选择所述最优量化浮点格式或者常规浮点格式中，所述量化选择电路还用于：
12.根据权利要求1-11的任意一项所述的装置，其中所述数据包括神经网络模型中的权重参数。
13.一种用于神经网络模型中浮点量化操作的方法，包括：
14.根据权利要求13所述的方法，其中所述混合分布包括均匀分布和高斯分布的组合，并且使用混合分布对所述待进行浮点量化操作的数据执行混合拟合操作，以获得对应的混合拟合分布包括：
15.根据权利要求13所述的方法，其中所述均匀分布的均匀分布参数由所述待进行浮点量化操作的数据中的绝对值最大值来确定，并且所述高斯分布的高斯分布参数由所述待进行浮点量化操作的数据的标准差来确定。
16.根据权利要求15所述的方法，其中所述混合分布还包括混合系数，其用于表征待进行浮点量化操作的数据中分别服从所述均匀分布和高斯分布的数据占比。
17.根据权利要求13所述的方法，其中根据所述混合拟合分布确定与进行浮点量化操作相关的最优量化浮点格式包括：
18.根据权利要求17所述的方法，其中根据所述混合拟合分布确定对应的拟合均方误差包括：
19.根据权利要求17所述的方法，其中所述最优量化浮点格式包括指数位数和尾数位数，并且所述最优量化浮点格式满足以下等式：
20.根据权利要求13所述的方法，其中所述神经网络模型包括多个层，并且所述方法还包括：
21.根据权利要求20所述的方法，还包括：
22.根据权利要求21所述的方法，其中基于所述神经网络模型各层的所述单一拟合分布与所述神经网络模型各层的所述混合拟合分布的比较，在所述最优量化浮点格式或常规浮点格式间选择适用于所述神经网络模型各层中的待进行浮点量化操作的量化浮点格式包括：
23.根据权利要求22所述的方法，其中根据比较结果来选择所述最优量化浮点格式或者所述常规浮点格式所述浮点量化操作的量化浮点格式包括：
24.根据权利要求13-23的任意一项所述的方法，其中所述数据包括神经网络模型中的权重参数。
25.一种用于神经网络模型中浮点量化操作的设备，包括：
26.一种计算装置，包括根据权利要求25所述的设备。
27.一种板卡，包括根据权利要求26所述的计算装置。
28.一种计算机可读存储介质，其上存储有用于神经网络模型中浮点量化操作的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如权利要求13-24任意一项所述的方法。
...【技术特征摘要】
1.一种用于神经网络模型中浮点量化操作的装置，包括：
2.根据权利要求1所述的装置，其中所述混合分布包括均匀分布和高斯分布的组合，其中所述混合拟合电路用于：
3.根据权利要求1所述的装置，其中所述均匀分布的均匀分布参数由所述待进行浮点量化操作的数据中的绝对值最大值来确定，并且所述高斯分布的高斯分布参数由所述待进行浮点量化操作的数据的标准差来确定。
4.根据权利要求3所述的装置，其中所述混合分布还包括混合系数，其用于表征待进行浮点量化操作的数据中分别服从所述均匀分布和高斯分布的数据占比。
5.根据权利要求1所述的装置，其中在确定与进行浮点量化操作相关的最优量化浮点格式中，所述格式确定电路还用于：
6.根据权利要求5所述的装置，其中在根据所述混合拟合分布确定拟合均方误差中，所述格式确定电路还用于：
7.根据权利要求6所述的装置，其中所述最优量化浮点格式包括指数位数和尾数位数，并且所述最优量化浮点格式满足以下等式：
8.根据权利要求1所述的装置，其中所述神经网络模型包括多个层，并且所述装置还包括：
9.根据权利要求8所述的装置，还包括：
10.根据权利要求9所述的装置，其中在所述单一拟合分布与所述混合拟合分布的比较，在所述最优量化浮点格式或常规浮点格式间选择适用于所述神经网络模型各层中的待进行浮点量化操作的量化浮点格式中，所述量化选择电路还用于：
11.根据权利要求10所述的装置，其中在根据所述比较结果来选择所述最优量化浮点格式或者常规浮点格式中，所述量化选择电路还用于：
12.根据权利要求1-11的任意一项所述的装置，其中所述数据包括神经网络模型中的权重参数。
13.一种用于神经网络模型中浮点量化操作的方法，包括：
14.根据权利要求13所述的方法，其中所述混合分布包括均匀分布和高斯分布的组合，并且使用混合分布对所述待进行浮点量化操作的数据执行混合拟合操作，以获得对应的混合拟合分布包括：<...
【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：寒武纪西安集成电路有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。