光电计算系统技术方案

系统和方法包括：以电子格式提供输入信息；将至少一部分电子输入信息转换成光输入向量；基于光矩阵乘法将光输入向量光学地转换成光输出向量；将光输出向量转换成电子格式；并且将非线性转换电子地应用于电子转换后的光输出向量，以提供电子格式的输出信息。在一些示例中，一组多个输入值被编码在由光波导所承载的相应光信号上。对于一个或多个光信号的至少两个子集中的每一个，一个或多个复制模块的相应一组将一个或多个光信号的子集分成光信号的两个或更多个副本。对于一个或多个光信号的第一子集的至少两个副本中的每一个，相应的乘法模块使用光幅度调制将第一子集的一个或多个光信号乘以一个或多个矩阵元素值。对于两个或更多个乘法模块的结果，使用求和模块以产生电信号，电信号表示两个或更多个乘法模块的结果的总和。

【技术实现步骤摘要】
光电计算系统本申请是申请日为2019年6月4日、申请号为201980030464.8、专利技术名称为“光电计算系统”的专利技术专利申请的分案申请。相关申请的交叉引用本申请要求于2018年6月5日提交的美国临时申请62/680,944、于2018年10月12日提交的美国临时申请62/744,706、于2019年1月14日提交的美国临时申请62/792,144以及在2019年3月19日提交的美国临时申请62/820,562的优先权。所述申请的全部公开内容通过引用合并于此。
本公开涉及一种光电计算系统。
技术介绍
神经形态计算(neuromorphiccomputing)是电子领域中近似大脑的操作的方法。神经形态计算的一个突出方法是人工神经网络(artificialneuralnetwork；ANN)，它是人工神经元的集合，人工神经元以特定的方式相互连接，以类似于大脑功能的方式处理信息。ANN已经在多种应用中找到了用途，这些应用包括人工智能、语音识别、文本识别、自然语言处理以及各种形式的模式识别。ANN具有输入层、一个或多个隐藏层以及输出层。每个层具有节点或人工神经元，并且节点在层之间互连。隐藏层的每个节点执行从先前层的节点所接收的信号的加权总和(weightedsum)，并且执行加权总和的非线性转换(“激活”)以产生输出。可以藉由执行矩阵乘法步骤来计算加权总和。因此，计算ANN通常涉及多个矩阵乘法步骤，其通常使用电子集成电路来执行。在电子信号(例如电压或电流)上以模拟或数字形式编码的电子数据上所执行的计算通常使用电子计算硬件来实现，例如在集成电路(例如：处理器、专用集成电路(application-specificintegratedcircuit；ASIC)或片上系统(systemonachip；SoC))、电子电路板或其他电子电路中实现的模拟或数字电子装置。光信号已被用于在长距离和较短距离(例如：在数据中心内)上传输数据。在这种光信号上执行的操作通常在光数据传输的环境中进行，例如用于在网络中切换或过滤光信号的装置内。在计算平台中使用光信号已被更多限制。用于全光(all-optical)计算的各种部件和系统已被提出。这种系统可包括分别地在输入和输出处从电信号和到电信号的转换，但是对于在计算中执行的重要操作不可使用两种类型(电和光)的信号。
技术实现思路
在通常情况下，在第一方面中，一种系统包括：存储单元，被配置以储存数据集和多个神经网络权重；数字模拟转换(DAC)单元，被配置以产生多个调制器控制信号，并且产生多个权重控制信号；光处理器，包括激光单元，被配置以产生多个光输出；多个光调制器，耦接至激光单元和DAC单元，多个光调制器被配置以通过基于多个调制器控制信号调制由激光单元所产生的多个光输出，来产生光输入向量；光矩阵乘法单元，耦接至多个光调制器和DAC单元，光矩阵乘法单元被配置以基于多个权重控制信号将光输入向量转换成光输出向量；以及光电检测单元，耦接至光矩阵乘法单元，并且被配置以产生对应光输出向量的多个输出电压；模拟数字转换(ADC)单元，耦接至光电检测单元，并且被配置以将多个输出电压转换成多个数字光输出；控制器，包括集成电路，被配置以执行以下操作：从计算机接收包括输入数据集和第一多个神经网络权重的人工神经网络计算请求，其中输入数据集包括第一数字输入向量；在存储单元中储存输入数据集和第一多个神经网络权重；以及通过DAC单元，基于第一数字输入向量产生第一多个调制器控制信号，并且基于第一多个神经网络权重产生第一多个权重控制信号。系统的实施例可包括以下特征的一个或多个。举例来说，操作可进一步包括：从ADC单元得到对应光矩阵乘法单元的光输出向量的第一多个数字光输出，第一多个数字光输出形成第一数字输出向量；对第一数字输出向量执行非线性转换，以产生第一转换数字输出向量；以及在存储单元中储存第一转换数字输出向量。系统可具有第一循环时段，其被定义为在存储单元中储存输入数据集和第一多个神经网络权重的步骤与在存储单元中储存第一转换数字输出向量的步骤之间所经过的时间。第一循环时段可小于或等于1ns。在一些实施例中，操作可进一步包括：输出基于第一转换数字输出向量所产生的人工神经网络输出。在一些实施例中，操作可进一步包括：通过DAC单元基于第一转换数字输出向量产生第二多个调制器控制信号。在一些实施例中，人工神经网络计算请求可进一步包括第二多个神经网络权重，并且操作可进一步包括：基于第一多个数字光输出的获得，通过DAC单元基于第二多个神经网络权重产生第二多个权重控制信号。第一多个神经网络权重和第二多个神经网络权重可对应人工神经网络的不同层。在一些实施例中，输入数据集可进一步包括第二数字输入向量，并且操作可进一步包括：通过DAC单元，基于第二数字输入向量产生第二多个调制器控制信号；从ADC单元得到对应光矩阵乘法单元的光输出向量的第二多个数字光输出，第二多个数字光输出形成第二数字输出向量；对第二数字输出向量执行非线性转换以产生第二转换数字输出向量；在存储单元中储存第二转换数字输出向量；以及输出基于第一转换数字输出向量和第二转换数字输出向量所产生的人工神经网络输出。光矩阵乘法单元的光输出向量由基于第二多个调制器控制信号所产生的第二光输入向量产生，第二光输入向量由光矩阵乘法单元基于首先提到的多个权重控制信号来转换。在一些实施例中，系统可进一步包括：模拟非线性单元，被设置在光电检测单元与ADC单元之间，模拟非线性单元被配置以从光电检测单元接收多个输出电压、应用非线性传递函数、以及输出多个转换输出电压至ADC单元，并且操作进一步包括：从ADC单元得到对应多个转换输出电压的第一多个转换数字输出电压，第一多个转换数字输出电压形成第一转换数字输出向量；以及在存储单元中储存第一转换数字输出向量。在一些实施例中，控制器的集成电路可被配置以大于或等于8GHz的速率产生第一多个调制器控制信号。在一些实施例中，系统可进一步包括：模拟存储单元，被设置在DAC单元与多个光调制器之间，模拟存储单元被配置以储存模拟电压，并且输出储存的模拟电压；以及模拟非线性单元，被设置在光电检测单元与ADC单元之间，模拟非线性单元被配置以从光电检测单元接收多个输出电压、应用非线性传递函数、以及输出多个转换输出电压。模拟存储单元可包括多个电容。在一些实施例中，模拟存储单元可被配置以接收和储存模拟非线性单元的多个转换输出电压，并且将储存的多个转换输出电压输出至多个光调制器，并且操作可进一步包括：基于产生第一多个调制器控制信号和第一多个权重控制信号，在模拟存储单元中储存模拟非线性单元的多个转换输出电压；通过模拟存储单元输出储存的转换输出电压；从ADC单元得到第二多个转换数字输出电压，第二多个转换数字输出电压形成第二转换数字输出向量；以及在存储单元中储存第二转换数字输出向量。在一些实施例中，人工神经网络计算请求的输入数据集可包括多个数字输入向量。激光单元可被配置以产生多个波长。多个光调制器可包括：光本文档来自技高网...

【技术保护点】
1.一种光电计算系统，包括：/n第一单元，被配置以产生多个调制器控制信号；/n处理单元，包括：/n光源，被配置以提供多个光输出；/n多个光调制器，耦接至所述光源和所述第一单元，所述多个光调制器被配置以通过基于所述多个调制器控制信号调制由所述光源所提供的所述多个光输出，来产生光输入向量，所述光输入向量包括多个光信号；以及/n矩阵乘法单元，耦接至所述多个光调制器和所述第一单元，所述矩阵乘法单元被配置以基于多个权重控制信号，将所述光输入向量转换成模拟输出向量；/n第二单元，耦接至所述矩阵乘法单元，并且所述第二单元被配置以将所述模拟输出向量转换成数字输出向量；以及/n控制器，包括集成电路，被配置以执行以下操作：/n接收人工神经网络计算请求，所述人工神经网络计算请求包括输入数据集，所述输入数据集包括第一数字输入向量；/n接收第一多个神经网络权重；以及/n通过所述第一单元，基于所述第一数字输入向量产生第一多个调制器控制信号，并且基于所述第一多个神经网络权重产生第一多个权重控制信号；/n其中所述第一单元、所述处理单元、所述第二单元以及所述控制器被用于在多个迭代中重复的光电处理循环，并且所述光电处理循环包括：/n(1)基于所述多个调制器控制信号中的至少一个的至少第一光调制操作，以及基于所述权重控制信号中的至少一个的至少第二光调制操作，以及/n(2)电求和操作。/n...

【技术特征摘要】
20180605 US 62/680,944;20181012 US 62/744,706;20191.一种光电计算系统，包括：
第一单元，被配置以产生多个调制器控制信号；
处理单元，包括：
光源，被配置以提供多个光输出；
多个光调制器，耦接至所述光源和所述第一单元，所述多个光调制器被配置以通过基于所述多个调制器控制信号调制由所述光源所提供的所述多个光输出，来产生光输入向量，所述光输入向量包括多个光信号；以及
矩阵乘法单元，耦接至所述多个光调制器和所述第一单元，所述矩阵乘法单元被配置以基于多个权重控制信号，将所述光输入向量转换成模拟输出向量；
第二单元，耦接至所述矩阵乘法单元，并且所述第二单元被配置以将所述模拟输出向量转换成数字输出向量；以及
控制器，包括集成电路，被配置以执行以下操作：
接收人工神经网络计算请求，所述人工神经网络计算请求包括输入数据集，所述输入数据集包括第一数字输入向量；
接收第一多个神经网络权重；以及
通过所述第一单元，基于所述第一数字输入向量产生第一多个调制器控制信号，并且基于所述第一多个神经网络权重产生第一多个权重控制信号；
其中所述第一单元、所述处理单元、所述第二单元以及所述控制器被用于在多个迭代中重复的光电处理循环，并且所述光电处理循环包括：
(1)基于所述多个调制器控制信号中的至少一个的至少第一光调制操作，以及基于所述权重控制信号中的至少一个的至少第二光调制操作，以及
(2)电求和操作。


2.根据权利要求1所述的光电计算系统，其中所述第一单元、所述处理单元、所述第二单元以及所述控制器被设置在多芯片模块或集成电路中的至少一者上，以及
接收人工神经网络计算请求包括从第二数据处理器接收人工神经网络计算请求，其中所述第二数据处理器在所述多芯片模块或所述集成电路的外部，所述第二数据处理器通过通信信道耦接至所述多芯片模块或所述集成电路，并且所述处理单元被配置为以比所述通信信道的数据速率大至少一数量级的数据速率来处理数据。


3.根据权利要求1所述的光电计算系统，其中所述矩阵乘法单元包括被配置以执行所述电求和操作的电求和模块，
其中所述电求和模块被配置以产生对应所述模拟输出向量的元素的电流，所述模拟输出向量表示所述光输入向量的相应元素乘以相应神经网络权重的总和。


4.根据权利要求1所述的光电计算系统，其中所述矩阵乘法单元包括：
输入波导阵列，被配置以接收所述光输入向量，并且所述光输入向量包括第一光信号阵列；
光干涉单元，与所述输入波导阵列光学通信，被配置以执行将所述光输入向量转换成第二光信号阵列的线性转换；以及
输出波导阵列，与所述光干涉单元光学通信，被配置以引导所述第二光信号阵列，其中在所述输入波导阵列中的至少一个输入波导通过所述光干涉单元与在所述输出波导阵列中的每一个输出波导光学通信。


5.根据权利要求4所述的光电计算系统，其中所述光干涉单元包括：
多个互连马赫曾德尔干涉仪(MZI)，所述多个互连MZI中的每一个MZI包括：
第一相移器，被配置以改变MZI的分离比；以及
第二相移器，被配置以位移MZI的一个输出的相位，
其中所述第一相移器和所述第二相移器耦接至所述多个权重控制信号。


6.根据权利要求1至5中任一项所述的光电计算系统，其中所述矩阵乘法单元包括：
多个复制模块，其中所述复制模块的每一个对应所述光输入向量的一个或多个光信号的子集，并且被配置以将一个或多个光信号的所述子集分成所述光信号的两个或更多个副本；
多个乘法模块，其中所述乘法模块的每一个对应一个或多个光信号的子集，并且被配置以使用光幅度调制将所述子集的所述一个或多个光信号乘以一个或多个矩阵元素值；以及
一个或多个求和模块，其中每一个求和模块被配置以产生电信号，所述电信号表示所述乘法模块的两个或更多个的结果的总和。


7.根据权利要求6所述的光电计算系统，其中所述乘法模块的至少一个包括光幅度调制器，所述光幅度调制器包括一个输入端口和两个输出端口，并且从所述两个输出端口提供一对相关光信号，使得所述相关光信号的幅度之间的差值对应于将输入值乘以带符号矩阵元素值的结果。


8.根据权利要求6所述的光电计算系统，其中所述矩阵乘法单元被配置以将所述输入向量乘以包括所述一个或多个矩阵元素值的矩阵，
其中一组多个输出值被编码在由所述一个或多个求和模块所产生的相应电信号上，并且所述一组多个输出值中的输出值表示输出向量的元素，所述输出向量藉由所述输入向量乘以所述矩阵产生。


9.根据权利要求6所述的光电计算系统，其中所述乘法模块包括至少一个相干敏感乘法模块，所述相干敏感乘法模块被配置以基于光波之间的干涉，使用光幅度调制将所述第一子集的一个或多个光信号乘以一个或多个矩阵元素值，所述光波具有相干长度，所述相干长度至少与通过所述相干敏感乘法模块的传播距离一样长。


10.根据权利要求9所述的光电计算系统，其中所述相干敏感乘法模块包括马赫曾德尔干涉仪(MZI)，所述MZI被配置以将输入光波导所引导的光波分离进入所述MZI的第一光波导臂和所述MZI的第二光波导臂，
所述第一光波导臂包括相移器，所述相移器被配置以相对于所述第二光波导臂的相位延迟产生相对相位移，并且
所述MZI被配置以将来自所述第一光波导臂和所述第二光波导臂的光波组合成至少一个输出光波导。


11.根据权利要求10所述的光电计算系统，其中所述MZI被配置以将来自所述第一光波导臂和所述第二光波导臂的光波组合成第一输出光波导和第二输出光波导中的每一个，
其中所述光电计算系统包括：
第一光电检测器，被配置以从所述第一输出光波导接收光波以产生第一光电流，以及
第二光电检测器，被配置以从所述第二输出光波导接收光波以产生第二光电流，并且
其中所述相干敏感乘法模块的结果包括所述第一光电流与所述第二光电流之间的差值。


12.根据权利要求9所述的光电计算系统，其中所述相干敏感乘法模块包括一个或多个环形共振器，所述环形共振器包括耦接至第一光波导的至少一个环形共振器和耦接至第二光波导的至少一个环形共振器。


13.根据权利要求12所述的光电计算系统，包括：
第一光电检测器，被配置以从所述第一光波导接收光波以产生第一光电流，以及
第二光电检测器，被配置以从所述第二光波导接收光波以产生第二光电流，
其中所述相干敏感乘法模块的结果包括所述第一光电流与所述第二光电流之间的差值。


14.根据权利要求6所述的光电计算系统，其中所述复制模块包括至少一个具有光分离器的复制模块，所述光分离器被配置以在输入端口将光波的功率的预定比例发送至第一输出端口，并且在所述输入端口将所述光波的功率的剩余比例发送至第二输出端口。


15.根据权利要求14所述的光电计算系统，其中所述光分离器包括波导光分离器，所述波导光分离器被配置以将由输入光波导所引导的光波的功率的预定比例发送至第一输出光波导，并且将由所述输入光波导所引导的所述光波的功率的剩余比例发送至第二输出光波导。


16.根据权利要求15所述的光电计算系统，其中所述输入光波导的引导模式被绝热地耦接至所述第一输出光波导和所述第二输出光波导中的每一个的引导模式。


17.根据权利要求14所述的光电计算系统，其中所述光分离器包括光束分离器，所述光束分离器包括至少一个表面，所述表面被配置以在所述输入端口透射所述光波的功率的所述预定比例，并且在所述输入端口反射所述光波的功率的剩余比例。


18.根据权利要求1至5中任一项所述的光电计算系统，其中所述系统包括存储单元，所述存储单元被配置以储存所述输入数据集和所述神经网络权重，所述第二单元包括模拟数字转换(ADC)单元，并且所述控制器的所述集成电路执行的操作进一步包括：
从所述ADC单元得到对应所述矩阵乘法单元的模拟输出向量的第一多个数字输出，所述第一多个数字...

【专利技术属性】
技术研发人员：沈亦晨，靖礼，鲁门丹高夫斯基，谢鹏，孟怀宇，马修高理，卢正观，罗纳德加农，莫里斯斯坦曼，吴建华，阿拉什侯赛因扎德赫，
申请(专利权)人：光子智能股份有限公司，
类型：发明
国别省市：美国;US