本发明提供一种用于最大化存储器带宽使用以加速生成式大规模语言模型的运算的混合精度MAC（multiply‑and‑accumulation，乘积累加）树结构。根据一个实施例的基于MAC树的运算器可以包括：多个浮点乘法器，其并行连接且处理...

本发明提供一种用于大语言模型的执行基于多设备的推理的方法及系统。根据一个实施例的基于多设备的推理执行系统可以包括多个设备，上述多个设备映射到根据层内（intra‑layer）并行方式划分大语言模型（Large Language Mode...

本发明提供一种用于大规模生成人工智能硬件的流式运算的权重存储器映射方法及系统。根据一个实施例的权重存储器映射系统可以包括：权重存储器，其存储用于预训练的人工智能模型的权重矩阵；输入寄存器，其存储多个输入数据；第一硬件运算器，其处理上述多...

本申请提供一种时延处理单元，该时延处理单元可包括以下组件：多个乘累加（MAC）树，其被配置为对实现人工智能（AI）模型的多个分区中至少一个分区执行矩阵乘积运算；流式内存访问模块，其被配置为通过多条通道，将所述多个MAC树中的每一个与存储...