【技术实现步骤摘要】
一种自适应量化方法及装置、设备、介质
本申请涉及机器学习
，尤其涉及一种自适应量化方法及装置、设备、介质。
技术介绍
卷积神经网络在计算机视觉、语音处理、机器学习、图像识别、人脸识别等众多领域取得了巨大的突破，显著地提高了相应的机器算法在图像分类、目标检测和语音识别等多种任务中的性能，并且在互联网、视频监控等行业中得到了广泛应用。大容量、高复杂度的卷积神经网络能够更全面地对数据进行学习，从而更准确地识别数据，当然，随着网络层数与参数数量的增加，计算和存储代价也会大幅增长。在现有技术中，使用卷积神经网络对数据进行处理时，通常直接使用浮点数进行计算，但是，这种方式计算速度慢，且硬件功耗大。
技术实现思路
本申请实施例提供一种自适应量化方法及装置、设备、介质，用以解决现有技术中的如下技术问题：使用卷积神经网络对数据进行处理时，通常直接使用浮点数进行卷积计算，但是，这种方式计算速度慢，且硬件功耗大。本申请实施例采用下述技术方案：一种自适应量化方法，包括：分别对多个原始输入张量进行第一量化处理，得到定点数形式的输入张量，以及计算该定点数形式的输入张量的量化偏移；计算多个原始输入张量对应的综合的量化偏移，以及自适应量化系数；根据所述自适应量化系数和所述综合的量化偏移，对所述定点数形式的输入张量及其量化偏移进行第二量化处理，得到量化结果。可选地，所述分别对多个原始输入张量进行第一量化处理，得到定点数形式的输入张量，以及计算该定点数形式的输入张...
【技术保护点】
1.一种自适应量化方法，其特征在于，包括：/n分别对多个原始输入张量进行第一量化处理，得到定点数形式的输入张量，以及计算该定点数形式的输入张量的量化偏移；/n计算多个原始输入张量对应的综合的量化偏移，以及自适应量化系数；/n根据所述自适应量化系数和所述综合的量化偏移，对所述定点数形式的输入张量及其量化偏移进行第二量化处理，得到量化结果。/n
【技术特征摘要】
1.一种自适应量化方法，其特征在于，包括：
分别对多个原始输入张量进行第一量化处理，得到定点数形式的输入张量，以及计算该定点数形式的输入张量的量化偏移；
计算多个原始输入张量对应的综合的量化偏移，以及自适应量化系数；
根据所述自适应量化系数和所述综合的量化偏移，对所述定点数形式的输入张量及其量化偏移进行第二量化处理，得到量化结果。
2.如权利要求1所述的方法，其特征在于，所述分别对多个原始输入张量进行第一量化处理，得到定点数形式的输入张量，以及计算该定点数形式的输入张量的量化偏移，具体包括：
针对多个原始输入张量中的每个原始输入张量，执行：确定该原始输入张量的最值，根据该最值，对该原始输入张量进行第一量化处理，得到定点数形式的输入张量，以及计算该定点数形式的输入张量的量化偏移。
3.如权利要求2所述的方法，其特征在于，所述计算多个原始输入张量对应的综合的量化偏移，以及自适应量化系数，具体包括：
根据所述多个原始输入张量分别的最值，确定综合的最值；
根据所述综合的最值，计算综合的量化缩放系数和量化偏移；
根据所述综合的量化缩放系数和所述第一量化处理过程中使用的量化缩放系数，计算自适应量化系数。
4.如权利要求1所述的方法，其特征在于，所述多个原始输入张量来自同一个算数逻辑单元ALU，所述方法是针对多个不同的ALU中的每个ALU执行的。
5.如权利要求2所述的方法，其特征在于，所述根据该最值，对该原始输入张量进行第一量化处理，具体包括：
根据该最值中的最小值和指定的量化值域的最小值，利用第一函数，对该原始输入张量进行第一量化处理；
所述第一函数包含相应的量化缩放系数，以及浮点数转定点数的转换逻辑。
6.如权利要求5所述的方法，其特征在于，所述计算该定点数形式的输入张量的量化偏移，具体包括：
根据该最值中的最小值和所述指定的量化值域的最小值，利用第二函数，计算该定点数形式的输入张量的量化偏移；
所述第二函数包含所述相应的量化缩放系数，以及浮点数转定点数的转换逻辑。
7.如权利要求5或者6所述的方法，其特征在于，所述相应的量化缩放系数根据该最值和/或所述指定的量化值域的最值计算得到。
8.如权利要求3所述的方法，其特征在于，所述根据所述综合的最值，计算综合的量化缩放系数和量化偏移，具体包括：
根据所述综合的最值和指定的量化值域的最值，计算综合的量化缩放系数和量化偏移。
9.如权利要求3所述的方法，其特征在于，所述根据所述综合的量化缩放系数和所述第一量化处理过程中使用的量化缩放系数，计算自适应量化系数，具体包括：
利用对数坐标系，对所述综合的量化缩放系数与所述第一量化处理过程中使用的量化缩放系数之间的比例关系进行转换；
根据所述转换后的比例关系，计算一个或者多个自适应量化系数；
其中，在所述计算的过程中，使用了浮点数转定点数的转换逻辑和/或用于保留精度的系数。
10.如权利要求7所述的方法，其特征在于，所述相应的量化缩放系数按照公式计算得到；
其中，表示原始输入张量Xi相应的量化缩放系数，Qlow表示所述指定的量化值域的最小值，Qhigh表示所述指定的量化值域的最大值，Xmini表示Xi的最小值，Xmaxi表示Xi的最大值。
11.如权利要求5所述的方法，其特征在于，所述第一函数表示为：
其中，表示所述第一量化处理后的原始输入张量Xi，Xmini表示Xi的最小值，表示Xi相应的量化缩放系数，Qlow表示所述指定的量化值域的最小值，round表示将浮点数四舍五入为定点数的函数。
12.如权利要求6所述的方法，其特征在于，所述第二函数表示为：
其中，表示为所述第一量化处理后的Xi计算的量化偏移，Xmini表示Xi的最小值，表示Xi相应的量化缩放系数，Qlow表示所述量化值域的最小值，round表示将浮点数四舍五入为定点数的函数。
13.如权利要求9所述的方法，其特征在于，所述多个自适应量化系数包括第一自适应量化系数和第二自适应量化系数；
所述第一自适应量化系数是通过利用对数坐标系，对所述比例关系进行转换，再使用所述保留精度的系数进行精度调整，计算得到的，和/或
所述第二自适应量化系数是通过利用指数坐标系，根据所述比例关系和所述第一自适应量化系数，进行反向转换，计算得到的。
14.如权利要求13所述的方法，其特征在于，所述第一量化处理是根据N进制数的指定位数进行量化的，按照如下公式，计算所述第一自适应量化系数shifti：
其中，表示原始输入张量Xi相应的量化缩放系数，Sy表示所述综合的量化缩放系数，α表示所期望保留精度的N进制位数，ceil表示向上取最小整数的函数。
15.如权利要求13所述的方法，其特征在于，所述第一量化处理是根据N进制数的指定位数进行量化的，按照如下公式，计算所述第二自适应量化系数ri：
其中，表示原始输入张量Xi相应的量化缩放系数，Sy表示所述综合的量化缩放系数，shifti表示所述第一自适应量化系数，round表示将浮点数四舍五入为定点数的函数。
16.如权利要求13～15中任一项所述的方法，其特征在于，所述第一量化处理是根据N进制数的指定位数进行量化的，所述根据所述自适应量化系数和所述综合的量化偏移，对所述定点数形式的输入张量及其量化偏移进行第二量化处理，得到量化结果，具体包括：
按照如下公式，对所述定点数形式的输入张量及其量化偏移进行第二量化处理，得到量化结果
其中，shifti表示所述第一自适应量化系数，ri表示所述第二自适应量化系数，表示所述第一量化处理后的原始输入张量Xi，表示为所述第一量化处理后的Xi计算的量化偏移，By表示所述综合的量化偏移。
17.一种自适应量化装置，其特征在于，包括：
第一量化模块，分别对多个原始输入张量进行第一量化处理，得到定点数形式的输入张量，以及计算该定点数形式的输入张量的量化偏移；
自适应量化系数计算模块，计算多个原始输入张量对应的综合的量化偏移，以及自适应量化系数；
第二量化模块，根据所述自适应量化系数和所述综合的量化偏移，对所述定点数形式的输入张量及其量化偏移进行第二量化处理，得到量化结果。
18.如权利要求17所述的装置，其特征在于，所述第一量化模块分别对多个原始输入张量进行第一量化处理，得到定点数形式的输入张量，以及计算该定点数形式的输入张量的量化偏移，具体包括：
所述第一量化模块针对多个原始输入张量中的每个原始输入张量，执行：确定该原始输入张量的最值，根据该最值，对该原始...
【专利技术属性】
技术研发人员：郭晖，张楠赓，
申请(专利权)人：北京嘉楠捷思信息技术有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。