单边输入输出的脉动阵列加速器架构和通用型加速处理器制造技术

技术编号:42505170 阅读:34 留言:0更新日期:2024-08-22 14:19
本申请公开单边输入输出的脉动阵列加速器架构和通用型加速处理器,涉及加速器领域,包括缓冲器和脉动阵列加速器;脉动阵列加速器包括N*N阵列结构的计算核心,缓冲器设置有N组接口;阵列结构中同行计算核心按数据输入端的输入方向流水式级联,流水式传递缓冲器输入的计算数据;同列计算核心按阵列深度流水式级联,将计算核心计算输出的中间数据进行逐级求和;对于行号大于列号的计算核心,同列计算核心按阵列深度逆流水式级联,同行计算核心按数据输出端的输出方向流水式级联,将结果数据逐级传递至行号列号相同的计算核心,再按行逐级送出至缓冲器。该方案改进脉动阵列加速器,实现单边数据输入输出,降低阵列传输和计算延时。

【技术实现步骤摘要】

本申请实施例涉及加速器领域,特别涉及一种单边输入输出的脉动阵列加速器架构和通用型加速处理器


技术介绍

1、在现代化社会和工业中,比如互联网、大数据、物联网、自动驾驶等领域,基于神经网络的人工智能的使用可以大幅提高效率、降低成本,使用度日益广泛。而神经网络内的计算可以采用通用计算技术比如同样计算cpu来运行,但是效率比较低下。所以业界通常采用专门出处理器来加速神经网络的计算,一般称为神经网络加速器,或者人工智能芯片(aichip)。

2、目前业界的主流神经网络加速器以通用计算图形处理器(gpgpu)为主,也有基于精简指令处理器risc)内核的加速器,还有采用脉动阵列结合通用计算核心的专用领域加速器(统称为dsa,比如谷歌tpu芯片)。以dsa加速器为例,芯片内部通常有若干个计算核心,而且会存在多个或者多种存储器,此类加速器的架构一般采用的设计结构由多计算部件或计算核心组成,核心之间通过配合计算完成总体运算;单计算部件或计算核心有独立的本地缓冲;单计算部件或计算核心的本地缓冲分成输入和输出缓冲,输入缓冲也需要根据输入数据分为两个不同的模块;多计算本文档来自技高网...

【技术保护点】

1.一种单边输入输出的脉动阵列加速器架构,其特征在于,包括用于数据输入和输出的缓冲器和用于数据计算的脉动阵列加速器;脉动阵列加速器包括N*N阵列结构的计算核心,缓冲器设置有N组接口,分别对应脉动阵列的首列N个计算核心,每组接口包括一对数据输入端和一个结果输出端,分别用于向对应行计算核心输入和接收结果数据;

2.根据权利要求1所述的单边输入输出的脉动阵列加速器架构,其特征在于,所述计算核心包括第一数据寄存组、第二数据寄存组、乘加器阵列和选通电路;

3.根据权利要求2所述的单边输入输出的脉动阵列加速器架构,其特征在于, 当计算核心执行矩阵计算时,第一数据寄存组和第二数...

【技术特征摘要】

1.一种单边输入输出的脉动阵列加速器架构,其特征在于,包括用于数据输入和输出的缓冲器和用于数据计算的脉动阵列加速器;脉动阵列加速器包括n*n阵列结构的计算核心,缓冲器设置有n组接口,分别对应脉动阵列的首列n个计算核心,每组接口包括一对数据输入端和一个结果输出端,分别用于向对应行计算核心输入和接收结果数据;

2.根据权利要求1所述的单边输入输出的脉动阵列加速器架构,其特征在于,所述计算核心包括第一数据寄存组、第二数据寄存组、乘加器阵列和选通电路;

3.根据权利要求2所述的单边输入输出的脉动阵列加速器架构,其特征在于, 当计算核心执行矩阵计算时,第一数据寄存组和第二数据寄存组分别寄存矩阵局部数据;当计算核心执行卷积计算时,第一数据寄存组和第二数据寄存组分别寄存权重值和特征值;

4.根据权利要求2或3所述的单边输入输出的脉动阵列加速器架构,其特征在于,所述第一数据寄存组包括预存数据寄存器和流水寄存器;所述计算核心包括第一选择器、第一id寄存器和比较器;所述第一选择器的两路输出分别连接流水寄存器和预存数据寄存器,第一选择器的输入连接上级流水寄存器输出,第一选择器的选通控制端连接比较器的输出,比较器的两输入分别连接第一id寄存器与上级流水寄存器输出;

5.根据权利要求4所述的单边输入输出的脉动阵列加速器架构,其特征在于,当第一id寄存器存储的列号k与预存数据的列号j相同时,选通预存数据至预存数据寄存器中,并根据时序输入至当前乘加器阵列;当第一id寄存器存储的列号k与预存数据的列号j不相同时,选通预存数据至流水寄存器,并根据时序流水传递,直至送入至列号相匹配的计算核心。

6.根据权利要求1所述的单边输入输出的脉动阵列加速器架构,其特征在于,所述缓冲器根据阵列深度方向,按时序向n行计算核心依次送入两路计算数据,每行的计算核心根据流水传递方向依次获取目标数据并进行计算;

7.根据权利要求4所述的单边输入输出的脉动阵列加速器架构,其特征在于...

【专利技术属性】
技术研发人员:请求不公布姓名请求不公布姓名
申请(专利权)人:深存科技无锡有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1