一种用于稀疏矩阵向量乘设计的神经网络模型制造技术

技术编号:42919313 阅读:29 留言:0更新日期:2024-10-11 15:47
本发明专利技术提供了一种用于稀疏矩阵向量乘设计的神经网络模型,用于为稀疏矩阵向量乘程序设计相关的多个决策阶段分别提供用于决策的策略和价值,所述神经网络包括:特征提取器,用于从稀疏矩阵在前一阶段的阶段表达中提取阶段特征,所述阶段表达包括层次映射、非零元的绝对位置和相对位置,所述层次映射指示稀疏矩阵的非零元在计算硬件中的分配信息;策略网络,用于根据所述阶段特征确定当前阶段的策略,所述策略为预测的当前阶段采取各动作的概率。价值网络,用于根据所述阶段特征确定价值,所述价值为前一阶段的阶段表达对应状态的期望价值。

【技术实现步骤摘要】

本专利技术涉及计算,具体来说涉及稀疏矩阵向量乘领域,更具体地说,涉及一种用于稀疏矩阵向量乘设计的神经网络模型


技术介绍

1、在矩阵中,若数值为0的元素(以下简称零元)远远多于非0的元素(简称非零元),并且非零元分布没有规律时,则称该矩阵为稀疏矩阵(sparse matrix)。一些文献中,将零元的数目占大多数的矩阵称为稀疏矩阵;与之相反,若非零元的数目占大多数时,则称该矩阵为稠密矩阵。

2、稀疏矩阵向量乘法(sparse matrix-vector multiplication,简称spmv)是许多算法中的基石操作。在处理稀疏矩阵时,会采用与所选存储格式对齐的专用算法来有效执行此操作。在稀疏矩阵向量乘中,只有非零元参与计算,这避免了与零元进行不必要的乘法和加法操作。忽略零元的运算导致了显著的时间节省,特别是对于非常大的矩阵。几十年来,人们进行了大量努力来提升稀疏矩阵向量乘法的性能。这些努力包括提出新的稀疏矩阵格式、采用多种程序内核性能优化技术,以及应用自动性能调优(自动调优)。

3、目前工作对于稀疏矩阵向量乘程序设计的特征提取的限本文档来自技高网...

【技术保护点】

1.一种用于稀疏矩阵向量乘设计的神经网络模型,用于为稀疏矩阵向量乘程序设计相关的多个决策阶段分别提供用于决策的策略和价值,所述神经网络模型包括:

2.根据权利要求1所述的神经网络模型,其特征在于,所述层次映射包括:

3.根据权利要求2所述的神经网络模型,其特征在于,特征提取器包括:

4.根据权利要求1-3之一所述的神经网络模型,其特征在于,所有决策阶段是共用的同一个神经网络,其中,策略网络设置多个策略头,每个策略头对应一个决策阶段,在预测一个阶段的策略时,其他阶段对应的策略头输出的策略会被屏蔽。

5.一种基于强化学习的稀疏矩阵向量乘的程序设...

【技术特征摘要】

1.一种用于稀疏矩阵向量乘设计的神经网络模型,用于为稀疏矩阵向量乘程序设计相关的多个决策阶段分别提供用于决策的策略和价值,所述神经网络模型包括:

2.根据权利要求1所述的神经网络模型,其特征在于,所述层次映射包括:

3.根据权利要求2所述的神经网络模型,其特征在于,特征提取器包括:

4.根据权利要求1-3之一所述的神经网络模型,其特征在于,所有决策阶段是共用的同一个神经网络,其中,策略网络设置多个策略头,每个策略头对应一个决策阶段,在预测一个阶段的策略时,其他阶段对应的策略头输出的策略会被屏蔽。

5.一种基于强化学习的稀疏矩阵向量乘的程序设计系统,用于为在具有层次化结构的计算硬件构建程序,所述系统包括:

6....

【专利技术属性】
技术研发人员:王耀宇谭光明肖俊敏
申请(专利权)人:中国科学院计算技术研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1