【技术实现步骤摘要】
本专利技术涉及稀疏化，特别涉及一种基于可转置结构化稀疏模式的张量计算架构及方法。
技术介绍
1、深度学习是许多领域的关键技术，如图像分类、视频理解、自然语言处理、推荐系统等。近年来，从卷积神经网络(cnn)到大语言模型(llm)，深度学习模型的计算和存储需求正在急剧增加。稀疏化方法(例如，权重剪枝和稀疏注意力)是降低延迟和能耗的一种重要方法。然而，它们在算法准确性和硬件开销之间很难找到最佳的权衡。现有工作试图通过结构化稀疏来减轻稀疏化对硬件的复杂开销，但由此产生的精度损失很大。具体来说，在模型准确性和硬件效率之间找到一个良好的平衡点并非易事。
2、现有的稀疏模式大致分为非结构化稀疏和结构化稀疏模式。一方面，非结构化稀疏模式能提供较好的准确性，但引入了显著的硬件复杂性开销。例如，基于非结构化稀疏的架构在处理随机分布的非零元素时，面积开销增加了80％以上。另一方面，现有工作试图通过n:m结构化稀疏来减轻硬件复杂性开销，即在规约维度中，每连续m个元素中最多保留n个元素(其余元素为零)。然而，现有的结构化稀疏模式仍然会导致相当大的准...
【技术保护点】
1.一种基于可转置结构化稀疏模式的张量计算架构，其特征在于，包括：
2.根据权利要求1所述的基于可转置结构化稀疏模式的张量计算架构，其特征在于，所述存储格式转换单元包括：
3.根据权利要求1所述的基于可转置结构化稀疏模式的张量计算架构，其特征在于，所述自适应编解码单元包括：
4.根据权利要求1所述的基于可转置结构化稀疏模式的张量计算架构，其特征在于，还包括：
5.一种基于可转置结构化稀疏模式的张量计算方法，其特征在于，采用权利要求1-4中任一项所述的基于可转置结构化稀疏模式的张量计算架构，其特征在于，包括以下步骤：>
6.根据权利...
【技术特征摘要】
1.一种基于可转置结构化稀疏模式的张量计算架构，其特征在于，包括：
2.根据权利要求1所述的基于可转置结构化稀疏模式的张量计算架构，其特征在于，所述存储格式转换单元包括：
3.根据权利要求1所述的基于可转置结构化稀疏模式的张量计算架构，其特征在于，所述自适应编解码单元包括：
4.根据权利要求1所述的基于可转置结构化稀疏模式的张量计算架构，其特征在于，还包括：
5.一种基于可转置结构化稀疏模式的张量计算方法，其特征在于，采用权利要求1-4中任一项所述的基于可转置结构化稀疏模式的张量计算架构，其特征在于，包括以下步骤：
6.根据权利要求5所述的基于可转置结构化稀疏模式的张量计算方法，其特征在...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。