算术设备制造技术

根据实施方式的算术设备包括：第一运算单元，该第一运算单元计算用于使浮点运算的动态范围移位的共享指数偏差值；第二运算单元，该第二运算单元通过对第一数据集和第二数据集执行对应于大量元素的算术运算，计算大于第一位数的第二位数的积之和算术结果，所述第一数据集由共享指数偏差值和第一位数的浮点数的激活值形成，所述第二数据集由共享指数偏差值和第一位数的浮点数的权重形成；以及量化器，该量化器通过将积之和算术结果的位数从第二位数量化至第一位数来更新激活值。位数量化至第一位数来更新激活值。位数量化至第一位数来更新激活值。

【技术实现步骤摘要】
算术设备


[0001]本文中讨论的实施方式与算术设备有关。

技术介绍

[0002]通过扩大深度神经网络(DNN)的规模并增加其的深度，已经提高了DNN的识别率。然而，DNN的运算量根据其扩大的规模和增加的深度而增加，并且DNN的训练时间与运算量的增加成比例地增加。
[0003]为了缩短DNN的训练时间，在一些情况下，使用8位浮点(FP8)或16位浮点(FP16)的低精度运算(LPO)来训练DNN。例如，当使用FP8的算术运算时，可以使单指令多数据(SIMD)算术运算的并行度是32位浮点(FP32)的算术运算的4倍，使得运算时间可以缩短为1/4。与FP8或FP16的LPO相比，在一些情况下，FP32的算术运算被称为全精度运算(FPO)。例如，在一些情况下，如在将FP32改变为FP8的情况下，通过减少数据的位数将DNN的算术运算从FPO改变为LPO被称为量化。此外，在一些情况下，包括FPO和LPO两者的DNN的算术运算被称为混合精度运算(MPO)。使用MPO(混合精度训练)(MPT)训练DNN，针对其中通过量化降低识别率的层执行FPO，使得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种算术设备，包括：第一运算单元，所述第一运算单元计算用于使浮点运算的动态范围移位的共享指数偏差值；第二运算单元，所述第二运算单元通过对第一数据集和第二数据集执行对应于大量元素的积之和算术运算，计算大于第一位数的第二位数的积之和算术结果，所述第一数据集由共享指数偏差值和第一位数的浮点数的激活值形成，所述第二数据集由共享指...

【专利技术属性】
技术研发人员：桥本铁太郎，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：