System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 权重更新方法、存算一体系统、电子设备及存储介质技术方案_技高网
当前位置: 首页 > 专利查询>清华大学专利>正文

权重更新方法、存算一体系统、电子设备及存储介质技术方案

技术编号:40950032 阅读:2 留言:0更新日期:2024-04-18 20:24
一种权重更新方法、存算一体系统、电子设备及存储介质。该权重更新方法包括:获取目标权重矩阵;接收被映射为目标权重矩阵的存算一体阵列执行前向计算后得到的计算结果,并对计算结果进行反解处理以得到反解权重矩阵;基于目标权重矩阵和反解权重矩阵得到更新权重矩阵,其中,更新权重矩阵用于对被映射为目标权重矩阵的存算一体阵列进行权重更新。该权重更新方法通过对前向计算的计算结果进行反解处理,获取融合了前向计算中的非理想因素的反解权重矩阵,基于反解权重矩阵和目标权重矩阵得到用于指导实际权重更新的更新权重矩阵,能够有效提高权重更新的效率,提高计算精度,降低时间和功耗开销。

【技术实现步骤摘要】

本公开的实施例涉及一种权重更新方法、存算一体系统、电子设备及存储介质


技术介绍

1、存算一体技术近年来不断发展,作为一种新型计算策略,存算一体技术可以直接在存储器上进行计算,能够有效减少数据在存储单元和计算单元之间的搬运时间和能耗,突破了冯诺依曼架构中存储墙的瓶颈,具有高能效优势,并且可以将矩阵向量乘运算的复杂度简化为o(1),从而实现在阵列中天然地进行并行计算,具有高算力优势。


技术实现思路

1、本公开至少一实施例提供一种权重更新方法,所述权重更新方法包括:获取目标权重矩阵;接收被映射为所述目标权重矩阵的存算一体阵列执行前向计算后得到的计算结果,并对所述计算结果进行反解处理以得到反解权重矩阵;基于所述目标权重矩阵和所述反解权重矩阵得到更新权重矩阵,其中,所述更新权重矩阵用于对被映射为所述目标权重矩阵的所述存算一体阵列进行权重更新。

2、例如,本公开至少一实施例提供的权重更新方法,还包括:接收第一权重矩阵,其中,所述第一权重矩阵通过对被映射为所述目标权重矩阵的所述存算一体阵列的各个存算一体器件所存储的值执行读取操作得到。

3、例如,在本公开至少一实施例提供的权重更新方法中,所述基于所述目标权重矩阵和所述反解权重矩阵得到更新权重矩阵,包括:将所述反解权重矩阵与所述目标权重矩阵相减以得到所述第二权重矩阵;将所述第一权重矩阵与所述第二权重矩阵相减以得到所述更新权重矩阵。

4、例如,在本公开至少一实施例提供的权重更新方法中,所述基于所述目标权重矩阵和所述反解权重矩阵得到更新权重矩阵,包括:将所述反解权重矩阵与所述目标权重矩阵相减以得到多个偏离权重值;保留大于或等于阈值的偏离权重值以得到所述第二权重矩阵;将所述第一权重矩阵与所述第二权重矩阵相减以得到所述更新权重矩阵。

5、例如,本公开至少一实施例提供的权重更新方法,还包括:根据所述更新权重矩阵确定所述存算一体阵列中需要更新的存算一体器件;对所述需要更新的存算一体器件进行权重更新操作。

6、例如,在本公开至少一实施例提供的权重更新方法中,所述接收被映射为所述目标权重矩阵的存算一体阵列执行前向计算后得到的计算结果,并对所述计算结果进行反解处理以得到反解权重矩阵,包括:获取输入数据;将所述输入数据加载到被映射为所述目标权重矩阵的所述存算一体阵列上,以通过所述存算一体阵列执行所述前向计算;接收所述存算一体阵列执行所述前向计算后得到的输出数据;根据所述输入数据和所述输出数据进行反解处理以得到所述反解权重矩阵。

7、例如,在本公开至少一实施例提供的权重更新方法中,所述输入数据是满秩矩阵。

8、本公开至少一实施例还提供一种存算一体系统,所述存算一体系统包括存算一体阵列和处理器,所述处理器配置为:获取目标权重矩阵;接收被映射为所述目标权重矩阵的存算一体阵列执行前向计算后得到的计算结果,并对所述计算结果进行反解处理以得到反解权重矩阵;基于所述目标权重矩阵和所述反解权重矩阵得到更新权重矩阵,其中,所述更新权重矩阵用于对被映射为所述目标权重矩阵的所述存算一体阵列进行权重更新。

9、例如,本公开至少一实施例提供的存算一体系统,还包括:读取电路,配置为对被映射为所述目标权重矩阵的所述存算一体阵列的各个存算一体器件所存储的值执行读取操作,得到第一权重矩阵,其中,所述处理器还配置为接收所述第一权重矩阵。

10、例如,本公开至少一实施例提供的存算一体系统,还包括:编程电路,配置为将所述目标权重矩阵映射到所述存算一体阵列上,以及在得到所述更新权重矩阵后,将所述更新权重矩阵映射到所述存算一体阵列上以进行所述权重更新。

11、例如,在本公开至少一实施例提供的存算一体系统中,所述编程电路包括:输入寄存器,配置为从所述处理器接收输入数据;数模转换电路,配置为将所述输入数据从数字信号转换为模拟电压信号;模数转换电路,配置为将所述输出数据从模拟电流信号转换为数字信号;输出寄存器,配置为输出所述数字信号到所述处理器。

12、例如,在本公开至少一实施例提供的存算一体系统中,所述模数转换电路包括:第一通道,配置为对流经所述存算一体阵列的每列存算一体器件的电流进行采样操作;第二通道,配置为对采样得到的电流进行量化操作,其中,所述第一通道对流经当前列存算一体器件的电流的采样操作与所述第二通道对采样前一列存算一体器件得到的电流的量化操作并行进行。

13、本公开至少一实施例还提供一种电子设备,包括:存储器,非瞬时性地存储有计算机可执行指令;处理器,配置为运行所述计算机可执行指令,其中,所述计算机可执行指令被所述处理器运行时实现本公开任一实施例所述的权重更新方法。

14、本公开至少一实施例还提供一种非瞬时性计算机可读存储介质,其中,所述非瞬时性计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令被处理器执行时实现本公开任一实施例所述的权重更新方法。

本文档来自技高网...

【技术保护点】

1.一种权重更新方法,包括:

2.根据权利要求1所述的权重更新方法,还包括:

3.根据权利要求2所述的权重更新方法,其中,所述基于所述目标权重矩阵和所述反解权重矩阵得到更新权重矩阵,包括:

4.根据权利要求2所述的权重更新方法,其中,所述基于所述目标权重矩阵和所述反解权重矩阵得到更新权重矩阵,包括:

5.根据权利要求1-4任一所述的权重更新方法,还包括:

6.根据权利要求1-4任一所述的权重更新方法,其中,所述接收被映射为所述目标权重矩阵的存算一体阵列执行前向计算后得到的计算结果,并对所述计算结果进行反解处理以得到反解权重矩阵,包括:

7.根据权利要求6所述的权重更新方法,其中,所述输入数据是满秩矩阵。

8.一种存算一体系统,包括存算一体阵列和处理器,所述处理器配置为:

9.根据权利要求8所述的存算一体系统,还包括:

10.根据权利要求9所述的存算一体系统,还包括:

11.根据权利要求10所述的存算一体系统,其中,所述编程电路包括:

12.根据权利要求11所述的存算一体系统,其中,所述模数转换电路包括:

13.一种电子设备,包括:

14.一种非瞬时性计算机可读存储介质,其中,所述非瞬时性计算机可读存储介质存储有计算机可执行指令,

...

【技术特征摘要】

1.一种权重更新方法,包括:

2.根据权利要求1所述的权重更新方法,还包括:

3.根据权利要求2所述的权重更新方法,其中,所述基于所述目标权重矩阵和所述反解权重矩阵得到更新权重矩阵,包括:

4.根据权利要求2所述的权重更新方法,其中,所述基于所述目标权重矩阵和所述反解权重矩阵得到更新权重矩阵,包括:

5.根据权利要求1-4任一所述的权重更新方法,还包括:

6.根据权利要求1-4任一所述的权重更新方法,其中,所述接收被映射为所述目标权重矩阵的存算一体阵列执行前向计算后得到的计算结果,并对所述计算结果进行反解处理以得到反解权重矩阵,包括:...

【专利技术属性】
技术研发人员:吴华强卫松涛姚鹏伍冬揭路高滨钱鹤
申请(专利权)人:清华大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1