一种分体式编码张量计算架构及其应用制造技术

本发明专利技术涉及神经网络设计领域，公开了一种分体式编码张量计算架构及应用，该架构具体包括张量计算单元微架构模块和集中式编码器模块，其中，集中式编码器模块用于对被乘数进行编码，并将编码结果广播或脉动到整个张量计算单元微架构模块中，张量计算单元微架构模块用于接收编码结果，并执行乘法操作中的部分积压缩和累加以生成最终乘法运算结果。本发明专利技术解决了传统AI加速器中编码器冗余和数据流复杂的问题，显著提升了面积效率和能效，尤其适用于深度学习推理、边缘计算和高性能计算场景，有着切实意义上的实用价值。

【技术实现步骤摘要】

本专利技术涉及神经网络设计，具体涉及一种分体式编码张量计算架构及其应用。

技术介绍

1、随着人工智能技术的飞速发展，其应用场景已经广泛渗透到日常生活和工业生产的各个领域，如搜索引擎、自动驾驶、图像识别、自然语言处理等。这些应用的核心在于处理和分析大规模数据，而张量计算(尤其是矩阵乘法)是实现这些功能的基础。例如，在深度学习中，神经网络的前向传播和反向传播过程都依赖于大量的矩阵乘法运算。随着模型规模的不断扩大(如大型语言模型llms)，对计算资源的需求也急剧增加。传统的通用处理器(如cpu)在处理这些大规模张量计算时效率低下，难以满足实时性和能效的要求。因此，开发专用的硬件加速器以提升张量计算的性能成为必然选择。

2、一方面在现有的tcu(tensor computing unit)微架构中，每个pe(processelement)都包含独立的编码器逻辑，导致在大规模矩阵乘法操作中，相同的被乘数会被重复编码多次，造成计算资源的浪费。从硬件电路的角度，由于每个pe都包含编码器逻辑，导致芯片面积和功耗增加。尤其是在大规模乘法器阵列中，重复的编码逻辑不本文档来自技高网...

【技术保护点】

1.一种分体式编码张量计算架构，其特征在于，包括张量计算单元微架构模块和集中式编码器模块，其中，

2.根据权利要求1所述的一种分体式编码张量计算架构，其特征在于，所述张量计算单元微架构模块采用包括2D-Matrix、1D/2DArray、SystolicArray和3D-Cube微架构中的一种。

3.根据权利要求2所述的一种分体式编码张量计算架构，其特征在于，所述核心计算单元由部分积压缩器和全加器组成，配置成用于分步执行：

4.根据权利要求3所述的一种分体式编码张量计算架构，其特征在于，所述张量计算单元微架构模块采用2D-Matrix或1D/2D Ar...

【技术特征摘要】

1.一种分体式编码张量计算架构，其特征在于，包括张量计算单元微架构模块和集中式编码器模块，其中，

2.根据权利要求1所述的一种分体式编码张量计算架构，其特征在于，所述张量计算单元微架构模块采用包括2d-matrix、1d/2darray、systolicarray和3d-cube微架构中的一种。

3.根据权利要求2所述的一种分体式编码张量计算架构，其特征在于，所述核心计算单元由部分积压缩器和全加器组成，配置成用于分步执行：

4.根据权利要求3所述的一种分体式编码张量计算架构，其特征在于，所述张量计算单元微架构模块采用2d-matrix或1d/2d array微架构时，所述集中式编码器模块设置于2d-matrix或1d/2darray微架构的广播维度外；

5.根据权利要求4所...

【专利技术属性】
技术研发人员：任军，吴奇哲，陶临风，吕向东，
申请(专利权)人：恒烁半导体合肥股份有限公司，
类型：发明
国别省市：