【技术实现步骤摘要】
转数方法、存储介质、装置及板卡
[0001]本专利技术一般地涉及计算机领域。更具体地，本专利技术涉及将输入数据由第一数据类型转换成第二数据类型的方法、计算机可读存储介质、装置及板卡。
技术介绍
[0002]近年来深度学习在众多领域的亮眼表现使其成为如今机器学习的主流，但其巨大的计算量仍为人诟病。为了平衡算力需求与精度，模型压缩成为了业界研究的热点之一。
[0003]其中一种模型压缩的方式称为量化。神经网络需要大量的数据参与运算，在一些情况下这些数据的精度可以不用太高，量化指的是在不需要高精度的操作时，将高精度数据类型的数据转换成低精度的数据类型，以节省运算时的资源耗费，这过程又称为转数。而量化最核心的挑战在于降低精度的同时维持模型的准确度，也就是在压缩率与准确率之间要达成平衡。特别是转数后的数据会在模型中不停地被运算、存储、再量化，往往数据迭代的次数越多，重复转数后会使得精度越来越差，以至于神经网络模型的计算能力不尽理想。
[0004]因此，一种在多次迭代过程中维持精度的转数方案是迫切需要的。
专利技...
【技术保护点】
【技术特征摘要】
1.一种将输入数据由第一数据类型转换成第二数据类型的方法，所述第一数据类型包括第一指数位及第一尾数位，所述第二数据类型包括第二指数位及第二尾数位，所述方法包括：判断所述第一指数位与所述第二指数位的位数是否相同；如是，执行下列步骤：决定所述第一尾数位中，所述第一尾数位与所述第二尾数位的位数差个数的比较数据；生成随机数据，所述随机数据具有所述位数差个数的位数；判断所述比较数据是否大于所述随机数据；以及如所述比较数据大于所述随机数据，对所述第二尾数位进位。2.根据权利要求1所述的方法，其中如所述第一指数位与所述第二指数位的位数相同，还包括：将所述第二指数位的数值设定为所述第一指数位的数值。3.根据权利要求2所述的方法，其中在所述进位步骤中，如果在进位前所述第一尾数位对应于所述第二尾数位的所有位的数值均为1时，执行下列步骤：设定所述第二尾数位的所有位为进位后的数值；以及将所述第二指数位的数值加一。4.根据权利要求1所述的方法，其中所述第一数据类型的规格化数的取值范围介于2
第一区间数
至2
第一上限
间，所述第一数据类型的非规格化数的取值范围介于2
第一下限
至2
第一区间数
间，所述第二数据类型的规格化数的取值范围介于2
第二区间数
至2
第二上限
间，所述第二数据类型的非规格化数的取值范围介于2
第二下限
至2
第二区间数
间，如所述第一指数位与所述第二指数位的位数不相同，所述方法还包括：识别所述输入数据的数值区间；基于所述数值区间设定所述第二尾数位；以及基于所述数值区间设定所述第二指数位。5.根据权利要求4所述的方法，其中在所述识别步骤中，当所述输入数据的数值落在[2
第二上限
,2
第一上限
)时，在所述设定所述第二尾数位的步骤中将所述第二尾数位的全部数值设定为0。6.根据权利要求5所述的方法，其中在所述设定所述第二指数位的步骤中，所述第二指数位的全部数值被设定为1。7.根据权利要求4所述的方法，其中在所述识别步骤中，当所述输入数据的数值落在[2
第二区间数
,2
第二上限
)时，所述设定所述第二尾数位的步骤包括：决定所述第一尾数位与所述第二尾数位的位数差个数的比较数据；将所述第二尾数位设定为所述第一尾数位中自最高位数据向低位数据截取到的连续数据，所截取的位数等于所述第二尾数位的位数；生成随机数据，所述随机数据具有所述位数差个数的位数；判断所述比较数据是否大于所述随机数据；以及如所述比较数据大于所述随机数据，对所述第二尾数位进位。8.根据权利要求7所述的方法，其中在所述设定所述第二指数位的步骤中，所述第二指
数位的数值＝所述第一指数位的数值
‑
所述第一上限+所述第二上限。9.根据权利要求4所述的方法，其中在所述识别步骤中，当所述输入数据的数值落在[2
第二下限
,2
第二区间数
)时，所述设定所述第二尾数位的步骤包括：决定所述第一尾数位与所述第二尾数位的位数差个数的比较数据；设定所述第二尾数位自最高位起算特定数量的位的数值为0；设定所述第二尾数位自最高位起算第(特定数量+1)个位的数值为1；以及设定所述第二尾数位自第(特定数量+2)个位起算(特定数量
‑
1)个位的数值为所述第一尾数自最高位起算(特定数量
‑
1)个位的数值。10.根据权利要求9所述的方法，其中所述比较数据为所述第一尾数位中，自起始位起的连续位数差个数的位元，所述起始位为自最高位起算所述第二尾数位的位数
‑
(第二区间数
‑
所述第一指数位的数值+1)。11.根据权利...
【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：中科寒武纪科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。