一种浮点数据反量化及量化的方法和设备技术

本发明专利技术提供了一种浮点数据反量化及量化的方法和设备，该方法包括以下步骤：将存储器中的INT8数据转换成浮点数据；提取浮点数据中的指数得到指数矩阵并将指数矩阵中的最大值存储到数据存储器；响应于指数矩阵中的值不均为0，基于最大值得到移位矩阵；基于移位矩阵计算得到用于卷积计算的尾数矩阵；基于尾数矩阵进行卷积乘累加计算得到格式为FINT32的结果；将格式为FINT32的结果转换成格式为fp32的数据以用于卷积输入通道的累加计算。通过使用本发明专利技术的方法，能够在卷积计算时保持数据的高精度，同时减少复杂运算，能够有效保证计算的高精度，同时由于复杂计算的简化，减少了FPGA硬件资源的消耗，提高计算速度。

A method and equipment for de quantization and quantization of floating point data

【技术实现步骤摘要】
一种浮点数据反量化及量化的方法和设备
本领域涉及计算机领域，并且更具体地涉及一种浮点数据反量化及量化的方法和设备。
技术介绍
随着数据的爆炸性增长以及人工智能的蓬勃发展，卷积神经网络广泛应用于各种人工智能应用中。在人工智能应用中，以计算机视觉相关应用最多，例如图像分类、人脸识别等，这些应用的共同特点是对精度的要求较高。因此在对网络模型进行训练时，为了获取高的精度，一般都使用浮点数据类型，例如单精度(IEEE标准单精度浮点数据格式，以下称fp32)、双精度(double)及半精度(以下称bfp16等)。然而，在推理时，为了获取低延时及高吞吐量，往往采用量化后的整型数据，常用的数据类型有INT16、INT8等。CNN的基本组成是固定的，分别为输入层、卷积层、激活层、池化层和全连接层。其中计算量最大的部分是卷积层，其主要的功能就是完成图像(feature)与卷积核(filter)之间的卷积运算。卷积层的结构参数主要有以下几种：卷积核尺寸(KernelSize)：定义了卷积操作的感受野。在二维卷积中，通常设置为3，即卷积核大小为本文档来自技高网...

【技术保护点】
1.一种浮点数据反量化及量化的方法，其特征在于，包括以下步骤：/n将存储器中的INT8数据转换成浮点数据；/n提取所述浮点数据中的指数得到指数矩阵并将所述指数矩阵中的最大值存储到数据存储器；/n响应于所述指数矩阵中的值不均为0，基于所述最大值得到移位矩阵；/n基于所述移位矩阵计算得到用于卷积计算的尾数矩阵；/n基于所述尾数矩阵进行卷积乘累加计算得到格式为FINT32的结果；/n将所述格式为所述FINT32的结果转换成格式为所述fp32的数据以用于卷积输入通道的累加计算。/n

【技术特征摘要】
1.一种浮点数据反量化及量化的方法，其特征在于，包括以下步骤：
将存储器中的INT8数据转换成浮点数据；
提取所述浮点数据中的指数得到指数矩阵并将所述指数矩阵中的最大值存储到数据存储器；
响应于所述指数矩阵中的值不均为0，基于所述最大值得到移位矩阵；
基于所述移位矩阵计算得到用于卷积计算的尾数矩阵；
基于所述尾数矩阵进行卷积乘累加计算得到格式为FINT32的结果；
将所述格式为所述FINT32的结果转换成格式为所述fp32的数据以用于卷积输入通道的累加计算。


2.根据权利要求1所述的方法，其特征在于，将存储器中的INT8数据转换成浮点数据包括：
从所述存储器中读取格式均为INT8的feature数据和filter数据，通过查找表的方式将格式为所述INT8的所述feature数据和filter数据转换为格式为fp32的浮点数据。


3.根据权利要求1所述的方法，其特征在于，还包括：
响应于所述指数矩阵中的值为0，得到尾数结果为8`b0。


4.根据权利要求1所述的方法，其特征在于，基于所述最大值得到移位矩阵包括：
用所述最大值减去所述指数矩阵得到移位矩阵。


5.根据权利要求1所述的方法，其特征在于，基于所述移位矩阵计算得到用于卷积计算的尾数矩阵包括：
取量化后的格式为所述fp32的所述浮点数据的尾数部分，前面加1`b1；
按照所述移位矩阵右移，然后取高7bit后，在前面添加1bit的符号位以得到用于计算的所述尾数矩阵。


6.根据权利要求1所述的方法，其特征在于，将所述格式为所述FINT32的结果转换成格式为所述fp32的数据包括：
将格式为所述FINT32的数据的符号位保留作为最终数据的符号位，在FINT[23:0]这些bit中，从高位向低位寻找第一个“1”并记下索引，所述索引后的8bit即为新的尾数的高8bit，如果所述索...

【专利技术属性】
技术研发人员：刘海威，张新，赵雅倩，董刚，杨宏斌，尹文枫，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32