权重处理方法及装置、数据处理方法及装置制造方法及图纸

技术编号:45053801 阅读:40 留言:0更新日期:2025-04-22 17:37
本申请提供一种权重处理方法及装置、数据处理方法及装置,权重处理方法包括:将神经网络模型的初始权重量化为第一编码,所述第一编码内的目标数值的数量小于预设值;将所述第一编码转换成目标权重,所述目标权重用于表征各个目标数值在第一编码内的比特位置。

【技术实现步骤摘要】

本申请涉及数据处理,特别是涉及到一种权重处理方法及装置、数据处理方法及装置


技术介绍

1、根据统计,在主流的深度神经网络中,乘法运算占到网络运算量的80%以上,是网络中最主要的运算操作。乘法运算较为复杂,由移位操作,‘与’操作和加法操作组成。在进行神经网络模型的训练或推理过程中,需要对模型执行多次乘法运算,由于乘法运算的复杂性,导致模型训练或推理过程的耗时较长。


技术实现思路

1、有鉴于此,本申请提供一种权重处理方法包括:

2、将神经网络模型的初始权重量化为第一编码,所述第一编码内的目标数值的数量小于预设值;

3、将所述第一编码转换成目标权重,所述目标权重用于表征各个目标数值在第一编码内的比特位置。

4、上述的方法,所述第一编码的各个比特位中首位为符号位,其余比特位为数值位;数值位中目标数值的数量小于预设值,所述第一编码的数值大小对应所述初始权重的数值大小;

5、所述将所述第一编码转换成目标权重,包括:

6、如果所述第一编码的数值位不包含所述目标数本文档来自技高网...

【技术保护点】

1.一种权重处理方法,包括:

2.根据权利要求1所述的方法,所述第一编码的各个比特位中首位为符号位,其余比特位为数值位;数值位中目标数值的数量小于预设值,所述第一编码的数值大小对应所述初始权重的数值大小;

3.一种数据处理方法,包括:

4.根据权利要求3所述的方法,所述目标权重包括数值序列;其中,所述数值序列至少包括符号位;所述数值序列的首位为符号位,用于表征所述初始权重的符号位;其他位为数值位,所述数值位包括和所述多个目标数值对应且按序排列的多组有效位置序列,每组有效位置序列的数值表征对应的目标数值所在第一编码内的比特位置;所述第一编码的各个比特位中...

【技术特征摘要】

1.一种权重处理方法,包括:

2.根据权利要求1所述的方法,所述第一编码的各个比特位中首位为符号位,其余比特位为数值位;数值位中目标数值的数量小于预设值,所述第一编码的数值大小对应所述初始权重的数值大小;

3.一种数据处理方法,包括:

4.根据权利要求3所述的方法,所述目标权重包括数值序列;其中,所述数值序列至少包括符号位;所述数值序列的首位为符号位,用于表征所述初始权重的符号位;其他位为数值位,所述数值位包括和所述多个目标数值对应且按序排列的多组有效位置序列,每组有效位置序列的数值表征对应的目标数值所在第一编码内的比特位置;所述第一编码的各个比特位中首位为符号位,其余比特位中...

【专利技术属性】
技术研发人员:陈勇廖仁亿傅智铭
申请(专利权)人:鼎道智芯上海半导体有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1