一种自注意力机制的张量点乘加速架构及方法技术

一种自注意力机制的张量点乘加速架构及方法，涉及光计算技术领域，自注意力机制的张量点乘加速架构包括：两个调制器阵列、第一相移器、混频器和平衡探测器；调制器阵列用于对多波长等幅度光源进行滤波，并基于待点乘向量每个维度下的数据对对应波长的光进行幅度调制；第一相移器，用于对幅度调制后的每一维数据进行相位校准；调制器阵列还用于将相位校准后的所有维度下的数据合束后输入至混频器；混频器用于对两个调制器阵列输入的合束数据进行和差组合处理，并将输出结果发送至平衡探测器；平衡探测器用于对混频器的输出结果进行处理，以在基带得到正比于待点乘向量点乘结果的电流。本申请利用波分复用技术，可实现自注意力机制点乘加速。

【技术实现步骤摘要】

本申请涉及光计算，具体涉及一种自注意力机制的张量点乘加速架构及方法。

技术介绍

1、近年来，在人工智能的深度学习算法中出现了一种自注意力机制(transformer)模型，通过在输入序列内部进行注意力计算，使模型能够很好的理解输入之间的依赖关系和上下文信息。在这个模型中，需要对数据进行动态的、全域的张量乘法。

2、随着摩尔定律接近极限，电子集成芯片的计算性能也趋近极限，光子集成芯片，因其高速、低功耗、可集成，称为下一代计算芯片的研发重点。然而，目前的光子计算集成芯片，主要集中在对矩阵向量乘法和卷积计算的加速上，其中矩阵和卷积核部分的数据相对于输入信号变化缓慢。该类型光子计算结构不能很好的支持两组操作数需要同步高速变化。此外，自注意力机制张量点乘需要对全数域计算，非相干的光子计算结构大部分只能对非负输入数据进行处理。

技术实现思路

1、本申请提供一种自注意力机制的张量点乘加速架构及方法，其利用波分复用技术，可实现自注意力机制点乘加速。

2、第一方面，本申请实施例提供一种自注意力机制的张量本文档来自技高网...

【技术保护点】

1.一种自注意力机制的张量点乘加速架构，其特征在于：所述自注意力机制的张量点乘加速架构包括：两个调制器阵列、第一相移器、混频器和平衡探测器；

2.如权利要求1所述的自注意力机制的张量点乘加速架构，其特征在于，所述调制器阵列包括：

3.如权利要求2所述的自注意力机制的张量点乘加速架构，其特征在于，所述第一调制器、第二调制器和第二调制器均为微环调制器。

4.如权利要求1至3任意一项所述的自注意力机制的张量点乘加速架构，其特征在于：

5.如权利要求1所述的自注意力机制的张量点乘加速架构，其特征在于，还包括：

6.如权利要求5所述的自注...

【技术特征摘要】

1.一种自注意力机制的张量点乘加速架构，其特征在于：所述自注意力机制的张量点乘加速架构包括：两个调制器阵列、第一相移器、混频器和平衡探测器；

2.如权利要求1所述的自注意力机制的张量点乘加速架构，其特征在于，所述调制器阵列包括：

3.如权利要求2所述的自注意力机制的张量点乘加速架构，其特征在于，所述第一调制器、第二调制器和第二调制器均为微环调制器。

4.如权利要求1至3任意一项所述的自注意力机制的张量点乘加速架构，其特征在于：

5.如权利要求1...

【专利技术属性】
技术研发人员：朱盈，刘晔，刘佳，肖希，
申请(专利权)人：武汉邮电科学研究院有限公司，
类型：发明
国别省市：