基于光电存算一体器件的transformer神经网络加速装置及方法制造方法及图纸

本发明专利技术提供了一种基于光电存算一体器件的transformer神经网络加速装置及其方法。该装置包括：(1)编码模块包括：多头注意力计算子模块，用于对输入向量执行多头注意力计算操作；前馈全连接层子模块，用于执行全连接操作以及线性整流操作；加法单元，用于将上级模块中的输入向量与输出向量相加；归一化子模块，用于对来自加法单元的输入向量执行归一化操作；(2)译码模块包括：多头注意力计算子模块、前馈全连接层子模块、加法单元和归一化子模块；(3)分类预测模块，用于对上级模块输出的一维向量执行全连接操作，并执行分类输出操作。本发明专利技术的装置能够加速实现transformer神经网络，还能够极大地降低硬件架构的功耗、面积以及计算延迟。及计算延迟。及计算延迟。

【技术实现步骤摘要】
基于光电存算一体器件的transformer神经网络加速装置及方法


[0001]本专利技术涉及一种基于光电存算一体器件的transformer神经网络加速装置及其方法，属于硬件加速神经网络的


技术介绍

[0002]神经网络的发展离不开计算能力的不断提高以及计算架构的不断优化，在传统的冯诺依曼架构中，数据处理单元和存储单元分开，在实际应用中，需要反复从片外存储单元中读取数据并传输片内的计算单元，从而导致了大量的时间和能量开销，传统的冯诺依曼架构下的通用处理器在执行神经网络加速任务时面临困境。于是，科学家们提出了基于存算一体器件的新型处理器，通过将访存与计算这两种操作融为一体，从而在加速神经网络时实现了更为优异的性能。
[0003]Transformer神经网络模型在自然语言处理、计算机视觉等诸多领域都有广泛的应用，但是由于神经网络中存在大量的矩阵向量乘法运算，对于传统的冯
·
诺依曼结构，大量的数据移动将会导致神经网络中的高计算延迟以及高能量消耗。而基于光电存算一体器件(如CN110276440A)的计算阵列可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于光电存算一体器件的transformer神经网络加速装置，其特征在于，该装置包括：编码模块，包括第一多头注意力计算子模块、第一前馈全连接层子模块、两个第一加法单元以及两个第一归一化子模块，所述第一多头注意力计算子模块，用于对输入向量执行多头注意力计算操作，并将输出向量传入到一个第一加法单元；所述第一前馈全连接层子模块，用于对输入数据执行全连接操作以及线性整流操作，并将输出向量传入到另一个第一加法单元；所述第一加法单元，用于将输入向量与输出向量相加，并将结果传入归一化子模块；所述第一归一化子模块，用于对来自第一加法单元的输入向量执行归一化操作；译码模块，包括两个第二多头注意力计算子模块、第二前馈全连接层子模块、三个第二加法单元和三个第二归一化子模块，所述第二多头注意力计算子模块，用于对输入向量执行多头注意力计算操作，并将输出向量传入到第二加法单元；所述第二前馈全连接层子模块，用于对输入数据执行全连接操作以及线性整流操作，并将输出向量传入到第二加法单元；所述第二加法单元，用于将输入向量与输出向量相加，并将结果传入第二归一化子模块；所述第二归一化子模块，用于对来自第二加法单元的输入向量执行归一化操作；分类预测模块，用于对译码模块输出的一维向量执行全连接操作，然后执行分类输出操作，从而得到最终的分类预测结果。2.根据权利要求1所述的一种基于光电存算一体器件的transformer神经网络加速装置，其特征在于，所述第一多头注意力计算子模块和第二多头注意力计算子模块均包括依次相连的数据寄存单元、第一矩阵向量乘单元、乘法单元、掩码选择子模块和第一softmax函数子模块；所述数据寄存单元，用于缓存输入数据和输出数据；所述第一矩阵向量乘单元，用于执行多头注意力计算子模块内的多头注意力运算；所述乘法单元，用于对输入数据执行乘法操作；所述掩码选择子模块，在使能信号高电平时开启，将输入矩阵的部分元素置零后输出，在使能信号低电平时关闭，将输入矩阵直接输出；所述第一softmax函数子模块，用于对一维输入向量执行归一化操作。3.根据权利要求1所述的一种基于光电存算一体器件的transformer神经网络加速装置，其特征在于，所述第一前馈全连接层子模块和第二前...

【专利技术属性】
技术研发人员：王宇宣，武元辰，傅高鸣，梅正宇，彭成磊，潘红兵，
申请(专利权)人：南京大学，
类型：发明
国别省市：