神经网络数据处理方法、装置及可读介质制造方法及图纸

技术编号:46476173 阅读:5 留言:0更新日期:2025-09-23 22:34
本公开提供一种神经网络数据处理方法,包括:对第一权重数据进行预处理,得到第二权重数据,并锁存第二权重数据;对激活数据进行承载,激活数据为压缩后的激活矩阵中的数据;将第二权重数据和激活数据相乘,得到各第一计算结果,并缓存第一计算结果;对第一计算结果求和得到第二计算结果;根据第二计算结果生成非零位图,并将非零位图写入存储空间;本公开实施例提供了一种支持稀疏矩阵的完整数据处理方案,能够在实际工程中应用,并提高资源利用率。本公开还提供一种神经网络数据处理装置和可读介质。

【技术实现步骤摘要】

本公开涉及通信,具体涉及一种神经网络数据处理方法、装置及可读介质


技术介绍

1、在深度学习和人工智能领域,矩阵相乘加速技术已成为加速神经网络训练和推理的关键。然而,随着模型复杂度的增加,对计算资源的需求也在不断上升。传统的矩阵加速设计主要针对密集型矩阵运算,但许多现代神经网络模型特别是那些用于自然语言处理和计算机视觉的模型,其内部权重和激活值呈现出高度的稀疏性。这种稀疏性如果得到有效利用,可以显著减少计算量和能耗。

2、相关技术中,矩阵加速技术在处理稀疏数据时通常效率不高,因此,开发一种新型的矩阵加速,能够同时支持激活稀疏和权重稀疏,不仅是提高计算效率的关键,也是降低能耗和提升深度学习模型可扩展性的重要步骤。这种改进的矩阵加速将能够更加智能地处理稀疏矩阵,自动适应不同类型的数据稀疏性,从而在保持高计算性能的同时,实现能源的有效利用。相关技术中,处理稀疏数据的方案存在以下问题:未能提供一套完整的工程实现流程,只提供了一种分发网络与汇聚网络的实现方式,其未针对一种具体的数据压缩格式提供相应的格式转换与封装方法,故在实际工程使用中存在一定的局限性。本文档来自技高网...

【技术保护点】

1.一种神经网络数据处理方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述第一权重数据为压缩后的权重矩阵中的非零数据,所述权重矩阵为m*k矩阵,所述对第一权重数据进行预处理,得到第二权重数据,包括:

3.如权利要求2所述的方法,其特征在于,所述对所述时钟周期的目标第一权重数据进行预处理,包括:

4.如权利要求1所述的方法,其特征在于,所述激活矩阵按列压缩,且所述压缩后的激活矩阵为k*n矩阵,所述对激活数据进行承载,包括:

5.如权利要求4所述的方法,其特征在于,所述每个时钟周期按行获取n个所述激活数据进行承载,包括:...

【技术特征摘要】

1.一种神经网络数据处理方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述第一权重数据为压缩后的权重矩阵中的非零数据,所述权重矩阵为m*k矩阵,所述对第一权重数据进行预处理,得到第二权重数据,包括:

3.如权利要求2所述的方法,其特征在于,所述对所述时钟周期的目标第一权重数据进行预处理,包括:

4.如权利要求1所述的方法,其特征在于,所述激活矩阵按列压缩,且所述压缩后的激活矩阵为k*n矩阵,所述对激活数据进行承载,包括:

5.如权利要求4所述的方法,其特征在于,所述每个时钟周期按行获取n个所述激活数据进行承载,包括:

6.如权利要求5所述的方法,其特征在于,所述根据时钟周期,按照各所述目标缓存存储激活...

【专利技术属性】
技术研发人员:朱方徐科钟乔相岩
申请(专利权)人:深圳市中兴微电子技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1