基于光散射的矩阵计算方法及光学神经网络技术

本申请公开了基于光散射的矩阵计算方法及光学神经网络，基于光散射的矩阵计算方法，步骤1，将矩阵W分解为酉矩阵和对角矩阵；步骤2，基于光散射构建矩阵计算单元；步骤3，对输入特征向量进行电光转换，得到N路光信号；步骤4，将N路光信号输入到矩阵计算单元中，实现输入特征向量与矩阵W的乘法运算；光信号通过本申请矩阵计算单元后，可以光速执行任意向量矩阵乘法，并几乎没有光学损耗。基于上述矩阵计算单元的全光光学神经网络可以有效减少实现神经网络运算的光学器件数量，可以为人工神经网络的实现提供一种尺寸更小、能耗更低、带宽更大、鲁棒性更好、运算速度更快的实现方案。运算速度更快的实现方案。运算速度更快的实现方案。

【技术实现步骤摘要】
基于光散射的矩阵计算方法及光学神经网络


[0001]本申请属于神经网络计算领域，具体地，本申请涉及基于光散射的矩阵计算方法及光学神经网络。

技术介绍

[0002]随着深度学习技术的广泛运用，人工智能(AI)在机器视觉、自动驾驶、临床诊断等方面都取得了巨大成功。然而，作为训练和执行人工智能模型载体的集成电路芯片计算能力的增长正在逐渐放缓，逐渐不能满足人工神经网络对计算能力的需求。基于冯
·
诺伊曼架构的集成电路芯片在结构上有着不发规避的缺陷，其在执行运算时会将程序和数据分离，从而导致存储器与计算单元之间会产生潮汐性数据载荷，大量的潮汐性数据载荷会使计算速率下降并且增加运算功耗。当前研究人员主要通过不断提高芯片集成度，进行存内运算等方法来解决这个问题，但随着晶体管尺寸的缩小，晶体管的性能也越来越受到量子效应的影响。除此以外，现有的神经网络算法与存内计算的方法匹配度不高，这二者都限制了存内计算方法的应用。
[0003]基于光学器件的人工神经网络可以克服上述基于集成电路人工神经网络的缺陷。与电学传输相比，光学传输具有高速、大带宽、低延迟、低能耗、高并行度等优点。因此，光学神经网络能够发挥光子技术的优势，有望突破传统电神经网络的瓶颈。
[0004]2017年，MIT的研究团队提出了一种基于马赫曾德尔干涉仪阵列的结构，实现了光学神经网络的矩阵运算，并利用此结构搭建了片上神经网络芯片。通过重复使用此神经网络芯片，他们实现了一个四输入的神经网络，并实现了对四个元音信号的识别。此光学神经网络使用了56个马赫曾德尔干涉仪阵列和213个移相器，网络规模庞大，当输入信号增加时，需要使用大量MZI和移相器，工艺难度很大。2018年，Lin等人提出了一种基于衍射的光子深度神经网络，该全光衍射深度神经网络(D2NN)由多层衍射表面组成，可以以光速执行计算任务。 D2NN的训练由计算机完成，完成训练后，通过泊松表面重建方法完成每个衍射层的3D模型，然后由3D打印机打印衍射表面，完成了手写数字与时尚物品图像的分类任务。此方案的衍射器件尺寸较大，且仅能完成特定机器学习任务，无法重构。
[0005]申请公布号为CN 112232504 A的专利提供了一种光子神经网络，其中涉及到了光子矩阵计算单元的基本结构，该专利提供了一种基于MZI阵列的矩阵计算单元，每个MZI由2
×
2定向耦合器和移相器组成，实际使用中器件数量巨大，而且在受到外界扰动时，器件稳定性较低，神经网络整体的鲁棒性较差。申请公开号为CN 111680796 A的专利提供了一种基于级联光耦合器的片上光子神经网络装置、芯片及其应用方法，其矩阵计算单元由级联光耦合器构成，且缺少非线性单元，因此可能会造成神经网络的功耗增加、计算性能降低。
[0006]结合以上情况，需要一种紧凑、可集成度高、鲁棒性好的矩阵计算单元用来实现全光光学神经网络。

技术实现思路

[0007]本申请要解决的技术问题是提出基于光散射的光学矩阵计算方法，利用光学器件实现光学矩阵计算，在片上实现大带宽、低功耗、以光速运行和可以用于光学神经网络的矩阵计算单元。
[0008]本专利技术的基于光散射的矩阵计算方法，包括如下步骤：
[0009]步骤1，对矩阵W进行分解，分解为酉矩阵和对角矩阵；
[0010]步骤2，依据分解后的矩阵，基于光散射构建矩阵计算单元，矩阵计算单元包括光散射模块和移相器阵列；光散射模块用于表征酉矩阵，移相器阵列用于表征对角矩阵；
[0011]步骤3，对输入特征向量进行电光转换，得到N路光信号；其中N等于输入特征向量的维度。
[0012]步骤4，将N路光信号输入到矩阵计算单元中，得到输入特征向量与矩阵W的乘法运算结果；
[0013]进一步的，光散射模块由伴随方法进行光子器件反向设计得到。
[0014]进一步的，步骤1中对矩阵W进行分解，分解为酉矩阵和对角矩阵，具体为：
[0015]利用矩阵奇异值分解法将矩阵W分解为两个酉矩阵和一个对角矩阵，矩阵W 的函数表达式如下式表示：
[0016]W＝U∑V
T
[0017]其中，W为M
×
N矩阵，U是M
×
M矩阵，V是N
×
N矩阵，U和V都是酉矩阵，满足UU
T
＝I，VV
T
＝I，∑是一个对角矩阵。
[0018]步骤2中所述矩阵计算单元包括第一光散射模块、移相器阵列和第二光散射模块；第一光散射模块、移相器阵列和第二光散射模块依次连接，U和V分别由第一光散射模块和第二光散射模块表征，∑由移相器阵列表征。
[0019]N列光信号输入至第一光散射模块运算后，再输入至移相器阵列中，最后由第二光散射模块输出以实现光学向量与任意矩阵的乘法运算。此矩阵计算单元具有尺寸小、可集成度高、损耗低、运算速度快等优势。
[0020]进一步的，步骤1中对矩阵W进行分解，分解为酉矩阵和对角矩阵，具体为：
[0021]矩阵W分解为N
‑
1个酉矩阵和N个对角矩阵，函数表达式如下：
[0022]W＝∑
N
·
V
·
∑
N
‑1…
∑2·
V
·
∑1[0023]其中，V是酉矩阵，∑
i
表示对角矩阵，i＝1，2
…
N。
[0024]步骤2中所述矩阵计算单元包括N
‑
1个光散射模块和N个移相器阵列；光散射模块与移相器阵列间隔设置，光散射模块与移相器阵列连接。此矩阵计算单元具有可编程、鲁棒性高等优势。
[0025]本明还提出了一种基于光散射的光学神经网络，包括依次连接的激光器阵列、电光调制器阵列、多个隐藏层和光电探测器阵列；其中隐藏层包括矩阵计算单元和光学非线性单元；矩阵计算单元的输出端连接光学非线性单元的输入端；本专利技术的非线性单元采用饱和吸收体或非线性折射材料。
[0026]激光器阵列产生N路光强为I
in
的非相干光源输入到电光调制器阵列，对输入特征向量进行归一化处理，电光调制器阵列将归一化后的数据调制到N路光信号上，输出到隐藏层，在隐藏层中矩阵计算单元可对N路光信号进行矩阵运算，光学非线性单元对N路光信号
进行非线性运算，执行非线性激活函数的作用，可提高神经网络的运算性能；光电探测器阵列包括N个光电探测器，分别与最后一个隐藏层的N路输出光信号一一对应，用于检测输出光强，得到光学神经网络计算结果。
[0027]进一步的，光学神经网络中的矩阵计算单元包括第一光散射模块、移相器阵列和第二光散射模块；第一光散射模块、移相器阵列和第二光散射模块依次连接。
[0028]进一步的，光学神经网络中的矩阵计算单元包括N
‑
1个光散射模块和N个移相器阵列；光散射模块与移相器阵列间隔设置，光散射模块与移相器阵列连接，其中N等于输入特征向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于光散射的矩阵计算方法，其特征在于，包括如下步骤：步骤1，对矩阵W进行分解，分解为酉矩阵和对角矩阵；步骤2，依据分解后的矩阵，基于光散射构建矩阵计算单元，矩阵计算单元包括光散射模块和移相器阵列；光散射模块用于表征酉矩阵，移相器阵列用于表征对角矩阵；步骤3，对输入特征向量进行电光转换，得到N路光信号；其中N等于输入特征向量的维度。步骤4，将N路光信号输入到矩阵计算单元中，实现输入特征向量与矩阵W的乘法运算。2.根据权利要求1所述基于光散射的矩阵计算方法，其特征在于，光散射模块由伴随方法进行光子器件反向设计得到。3.根据权利要求1或2所述基于光散射的矩阵计算方法，其特征在于，步骤1中对矩阵W进行分解，分解为酉矩阵和对角矩阵，具体为：利用矩阵奇异值分解法将矩阵W分解为两个酉矩阵和一个对角矩阵，矩阵W的函数表达式如下式表示：W＝U∑V
T
其中，W为M
×
N矩阵，U是M
×
M矩阵，V是N
×
N矩阵，U和V都是酉矩阵，满足UU
T
＝I，VV
T
＝I，∑是一个对角矩阵。4.根据权利要求3所述基于光散射的矩阵计算方法，其特征在于，步骤2中所述矩阵计算单元包括第一光散射模块、移相器阵列和第二光散射模块；第一光散射模块、移相器阵列和第二光散射模块依次连接，U和V分别由第一光散射模块和第二光散射模块表征，∑由移相器阵列表征。5.根据权利要求1或2所述基于光散射的矩阵计算方法，其特征在于，步骤1中对矩阵W进行分解，分解为酉矩阵和对角矩阵，具体为：矩阵W分解为N
‑
1个酉矩阵和N个对角矩阵，函数表达式如下...

【专利技术属性】
技术研发人员：刘旭，王百航，欧瀚文，王春清，曹一凡，吴奕征，梅奇勋，张嘉龙，从哲，刘仁韬，
申请(专利权)人：东南大学，
类型：发明
国别省市：