一种基于哈希的稀疏矩阵向量乘法优化方法及装置制造方法及图纸

技术编号:45083121 阅读:29 留言:0更新日期:2025-04-25 18:21
本发明专利技术提出一种基于哈希的稀疏矩阵向量乘法优化方法,其特征在于,包括:依据神经网络硬件加速器的硬件结构,对待矩阵向量乘的稀疏矩阵进行划分,得到多个稀疏矩阵块,对该多个稀疏矩阵块进行线性哈希映射,得到待划分矩阵;根据该待划分矩阵的规模及该硬件结构,划分该待划分矩阵,得到多个子矩阵块,并划分该子矩阵块内的并行执行部分和竞争执行部分;神经网络硬件加速器通过对该子矩阵块间竞争执行计算任务,块内并行执行计算任务,得到多个子矩阵计算结果,并通过查找哈希表还原写入的原本顺序;根据该原本顺序合并该多个子矩阵计算结果,得到矩阵向量乘的最终结果。

【技术实现步骤摘要】

本专利技术涉及计算数据处理领域、并行程序任务分配,并特别涉及一种基于哈希的稀疏矩阵向量乘法优化方法、装置、电子设备、计算机可读存储介质和计算机程序产品。


技术介绍

1、在计算稀疏矩阵向量乘法中,由于稀疏矩阵存在大量零元素,因此绝大多数计算资源被浪费了,且由于稀疏矩阵规模庞大,对应的向量同样需要占用大量存储,导致其难以完整存储在一些边缘设备的高带宽存储上,在计算过程中需频繁访问低带宽存储,造成大量访存开销。

2、现有技术1为此提出基于每个线程在处理相同数目非零元素时具有相同时间开销的假设提出csr5存储格式,将稀疏矩阵中的非零元素逐行填充进固定大小的矩阵块中,实现每个并行单元处理相同数目的非零元素,具有相同的计算量,并引入如图1中bit-flag等数组辅助线程间并行。该方法在小规模的稀疏矩阵上取得了较好的效果,但并未考虑到实际应用中稀疏矩阵具有大规模的特点,当输入为大规模的稀疏矩阵,同一时刻同一线程束内各线程处理的元素可能位于不同带宽的存储上,这会导致访存时间不同从而破坏上述假设,导致同一线程束内各线程的实际运行速度受限于访问低带宽存储的线程。<本文档来自技高网...

【技术保护点】

1.一种基于哈希的稀疏矩阵向量乘法优化方法,其特征在于,包括:

2.如权利要求1所述的基于哈希的稀疏矩阵向量乘法优化方法,其特征在于,该初始步骤包括:

3.如权利要求1所述的基于哈希的稀疏矩阵向量乘法优化方法,其特征在于,该划分步骤包括:

4.如权利要求2所述的基于哈希的稀疏矩阵向量乘法优化方法,其特征在于,该执行步骤包括:

5.一种基于哈希的稀疏矩阵向量乘法优化装置,其特征在于,包括:

6.如权利要求5所述的基于哈希的稀疏矩阵向量乘法优化装置,其特征在于,该初始模块包括:

7.如权利要求5所述的基于哈希的稀疏矩阵向...

【技术特征摘要】

1.一种基于哈希的稀疏矩阵向量乘法优化方法,其特征在于,包括:

2.如权利要求1所述的基于哈希的稀疏矩阵向量乘法优化方法,其特征在于,该初始步骤包括:

3.如权利要求1所述的基于哈希的稀疏矩阵向量乘法优化方法,其特征在于,该划分步骤包括:

4.如权利要求2所述的基于哈希的稀疏矩阵向量乘法优化方法,其特征在于,该执行步骤包括:

5.一种基于哈希的稀疏矩阵向量乘法优化装置,其特征在于,包括:

6.如权利要求5所述的基于哈希的稀疏矩阵向量乘法优化装置,其特征在于,该初始模块包括:

7.如权利要求5所述的基于哈希的稀疏矩阵向量乘...

【专利技术属性】
技术研发人员:刁博宇闫晨刘杭达徐勇军
申请(专利权)人:中国科学院计算技术研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1