光电计算系统技术方案

系统和方法包括：以电子格式提供输入信息；将至少一部分电子输入信息转换成光输入向量；基于光矩阵乘法将光输入向量光学地转换成光输出向量；将光输出向量转换成电子格式；并且将非线性转换电子地应用于电子转换后的光输出向量，以提供电子格式的输出信息。在一些示例中，一组多个输入值被编码在由光波导所承载的相应光信号上。对于一个或多个光信号的至少两个子集中的每一个，一个或多个复制模块的相应一组将一个或多个光信号的子集分成光信号的两个或更多个副本。对于一个或多个光信号的第一子集的至少两个副本中的每一个，相应的乘法模块使用光幅度调制将第一子集的一个或多个光信号乘以一个或多个矩阵元素值。对于两个或更多个乘法模块的结果，使用求和模块以产生电信号，电信号表示两个或更多个乘法模块的结果的总和。

【技术实现步骤摘要】
光电计算系统本申请是申请日为2019年6月4日、申请号为201980030464.8、专利技术名称为“光电计算系统”的专利技术专利申请的分案申请。相关申请的交叉引用本申请要求于2018年6月5日提交的美国临时申请62/680,944、于2018年10月12日提交的美国临时申请62/744,706、于2019年1月14日提交的美国临时申请62/792,144以及在2019年3月19日提交的美国临时申请62/820,562的优先权。所述申请的全部公开内容通过引用合并于此。
本公开涉及一种光电计算系统。
技术介绍
神经形态计算(neuromorphiccomputing)是电子领域中近似大脑的操作的方法。神经形态计算的一个突出方法是人工神经网络(artificialneuralnetwork；ANN)，它是人工神经元的集合，人工神经元以特定的方式相互连接，以类似于大脑功能的方式处理信息。ANN已经在多种应用中找到了用途，这些应用包括人工智能、语音识别、文本识别、自然语言处理以及各种形式的模式识别。ANN具有输入层、一个或多个隐藏层以及输出层。每个层具有节点或人工神经元，并且节点在层之间互连。隐藏层的每个节点执行从先前层的节点所接收的信号的加权总和(weightedsum)，并且执行加权总和的非线性转换(“激活”)以产生输出。可以藉由执行矩阵乘法步骤来计算加权总和。因此，计算ANN通常涉及多个矩阵乘法步骤，其通常使用电子集成电路来执行。在电子信号(例如电压或电流)上以模拟或数字形式编码的电子数据上所执行的计算通常使用电子计算硬件来实现，例如在集成电路(例如：处理器、专用集成电路(application-specificintegratedcircuit；ASIC)或片上系统(systemonachip；SoC))、电子电路板或其他电子电路中实现的模拟或数字电子装置。光信号已被用于在长距离和较短距离(例如：在数据中心内)上传输数据。在这种光信号上执行的操作通常在光数据传输的环境中进行，例如用于在网络中切换或过滤光信号的装置内。在计算平台中使用光信号已被更多限制。用于全光(all-optical)计算的各种部件和系统已被提出。这种系统可包括分别地在输入和输出处从电信号和到电信号的转换，但是对于在计算中执行的重要操作不可使用两种类型(电和光)的信号。
技术实现思路
在通常情况下，在第一方面中，一种系统包括：存储单元，被配置以储存数据集和多个神经网络权重；数字模拟转换(DAC)单元，被配置以产生多个调制器控制信号，并且产生多个权重控制信号；光处理器，包括激光单元，被配置以产生多个光输出；多个光调制器，耦接至激光单元和DAC单元，多个光调制器被配置以通过基于多个调制器控制信号调制由激光单元所产生的多个光输出，来产生光输入向量；光矩阵乘法单元，耦接至多个光调制器和DAC单元，光矩阵乘法单元被配置以基于多个权重控制信号将光输入向量转换成光输出向量；以及光电检测单元，耦接至光矩阵乘法单元，并且被配置以产生对应光输出向量的多个输出电压；模拟数字转换(ADC)单元，耦接至光电检测单元，并且被配置以将多个输出电压转换成多个数字光输出；控制器，包括集成电路，被配置以执行以下操作：从计算机接收包括输入数据集和第一多个神经网络权重的人工神经网络计算请求，其中输入数据集包括第一数字输入向量；在存储单元中储存输入数据集和第一多个神经网络权重；以及通过DAC单元，基于第一数字输入向量产生第一多个调制器控制信号，并且基于第一多个神经网络权重产生第一多个权重控制信号。系统的实施例可包括以下特征的一个或多个。举例来说，操作可进一步包括：从ADC单元得到对应光矩阵乘法单元的光输出向量的第一多个数字光输出，第一多个数字光输出形成第一数字输出向量；对第一数字输出向量执行非线性转换，以产生第一转换数字输出向量；以及在存储单元中储存第一转换数字输出向量。系统可具有第一循环时段，其被定义为在存储单元中储存输入数据集和第一多个神经网络权重的步骤与在存储单元中储存第一转换数字输出向量的步骤之间所经过的时间。第一循环时段可小于或等于1ns。在一些实施例中，操作可进一步包括：输出基于第一转换数字输出向量所产生的人工神经网络输出。在一些实施例中，操作可进一步包括：通过DAC单元基于第一转换数字输出向量产生第二多个调制器控制信号。在一些实施例中，人工神经网络计算请求可进一步包括第二多个神经网络权重，并且操作可进一步包括：基于第一多个数字光输出的获得，通过DAC单元基于第二多个神经网络权重产生第二多个权重控制信号。第一多个神经网络权重和第二多个神经网络权重可对应人工神经网络的不同层。在一些实施例中，输入数据集可进一步包括第二数字输入向量，并且操作可进一步包括：通过DAC单元，基于第二数字输入向量产生第二多个调制器控制信号；从ADC单元得到对应光矩阵乘法单元的光输出向量的第二多个数字光输出，第二多个数字光输出形成第二数字输出向量；对第二数字输出向量执行非线性转换以产生第二转换数字输出向量；在存储单元中储存第二转换数字输出向量；以及输出基于第一转换数字输出向量和第二转换数字输出向量所产生的人工神经网络输出。光矩阵乘法单元的光输出向量由基于第二多个调制器控制信号所产生的第二光输入向量产生，第二光输入向量由光矩阵乘法单元基于首先提到的多个权重控制信号来转换。在一些实施例中，系统可进一步包括：模拟非线性单元，被设置在光电检测单元与ADC单元之间，模拟非线性单元被配置以从光电检测单元接收多个输出电压、应用非线性传递函数、以及输出多个转换输出电压至ADC单元，并且操作进一步包括：从ADC单元得到对应多个转换输出电压的第一多个转换数字输出电压，第一多个转换数字输出电压形成第一转换数字输出向量；以及在存储单元中储存第一转换数字输出向量。在一些实施例中，控制器的集成电路可被配置以大于或等于8GHz的速率产生第一多个调制器控制信号。在一些实施例中，系统可进一步包括：模拟存储单元，被设置在DAC单元与多个光调制器之间，模拟存储单元被配置以储存模拟电压，并且输出储存的模拟电压；以及模拟非线性单元，被设置在光电检测单元与ADC单元之间，模拟非线性单元被配置以从光电检测单元接收多个输出电压、应用非线性传递函数、以及输出多个转换输出电压。模拟存储单元可包括多个电容。在一些实施例中，模拟存储单元可被配置以接收和储存模拟非线性单元的多个转换输出电压，并且将储存的多个转换输出电压输出至多个光调制器，并且操作可进一步包括：基于产生第一多个调制器控制信号和第一多个权重控制信号，在模拟存储单元中储存模拟非线性单元的多个转换输出电压；通过模拟存储单元输出储存的转换输出电压；从ADC单元得到第二多个转换数字输出电压，第二多个转换数字输出电压形成第二转换数字输出向量；以及在存储单元中储存第二转换数字输出向量。在一些实施例中，人工神经网络计算请求的输入数据集可包括多个数字输入向量。激光单元可被配置以产生多个波长。多个光调制器可包括：光本文档来自技高网...

【技术保护点】
1.一种光电计算系统，包括：/n存储单元；/n数字模拟转换(DAC)单元，被配置以产生多个调制器控制信号；/n光处理器，包括：/n光源，被配置以产生多个光输出；/n多个光调制器，耦接至所述光源和所述DAC单元，所述多个光调制器被配置以通过基于多个调制器控制信号调制由所述光源所产生的多个光输出，来产生光输入向量；/n光矩阵处理单元，耦接至所述多个光调制器，所述光矩阵处理单元包括无源衍射光学组件，其被配置以基于由所述无源衍射光学组件所定义的多个权重，将所述光输入向量转换成光输出向量；以及/n光电检测单元，耦接至所述光矩阵处理单元，并且被配置以产生对应所述光输出向量的多个输出电信号；/n模拟数字转换(ADC)单元，耦接至所述光电检测单元，并且被配置以将所述多个输出电信号转换成多个数字光输出；/n控制器，包括集成电路，所述集成电路被配置以执行以下操作：/n从计算机接收包括输入数据集的人工神经网络计算请求，其中所述输入数据集包括第一数字输入向量；/n在存储单元中储存所述输入数据集；以及/n通过所述DAC单元，基于所述第一数字输入向量产生第一多个调制器控制信号。/n

【技术特征摘要】
20180605 US 62/680,944;20181012 US 62/744,706;20191.一种光电计算系统，包括：
存储单元；
数字模拟转换(DAC)单元，被配置以产生多个调制器控制信号；
光处理器，包括：
光源，被配置以产生多个光输出；
多个光调制器，耦接至所述光源和所述DAC单元，所述多个光调制器被配置以通过基于多个调制器控制信号调制由所述光源所产生的多个光输出，来产生光输入向量；
光矩阵处理单元，耦接至所述多个光调制器，所述光矩阵处理单元包括无源衍射光学组件，其被配置以基于由所述无源衍射光学组件所定义的多个权重，将所述光输入向量转换成光输出向量；以及
光电检测单元，耦接至所述光矩阵处理单元，并且被配置以产生对应所述光输出向量的多个输出电信号；
模拟数字转换(ADC)单元，耦接至所述光电检测单元，并且被配置以将所述多个输出电信号转换成多个数字光输出；
控制器，包括集成电路，所述集成电路被配置以执行以下操作：
从计算机接收包括输入数据集的人工神经网络计算请求，其中所述输入数据集包括第一数字输入向量；
在存储单元中储存所述输入数据集；以及
通过所述DAC单元，基于所述第一数字输入向量产生第一多个调制器控制信号。


2.根据权利要求1所述的光电计算系统，其中所述矩阵处理单元包括无源衍射光学组件，所述无源衍射光学组件被配置以将所述光输入向量转换成光输出向量，所述光输出向量表示所述数字输入向量与由所述无源衍射光学组件所定义的预定向量之间的矩阵乘法的乘积。


3.根据权利要求1所述的光电计算系统，其中所述操作进一步包括：
从所述ADC单元得到对应所述光矩阵处理单元的所述光输出向量的第一多个数字光输出，所述第一多个数字光输出形成第一数字输出向量；
对所述第一数字输出向量执行非线性转换，以产生第一转换数字输出向量；以及
在所述存储单元中储存所述第一转换数字输出向量。


4.根据权利要求3所述的光电计算系统，其中所述系统具有第一循环时段，所述第一循环时段被定义为在所述存储单元中储存所述输入数据集的步骤与在所述存储单元中储存所述第一转换数字输出向量的步骤之间所经过的时间，以及
其中所述第一循环时段小于或等于1ns。


5.根据权利要求3所述的光电计算系统，其中所述输入数据集进一步包括第二数字输入向量，以及其中所述操作进一步包括：
通过所述DAC单元，基于所述第二数字输入向量产生第二多个调制器控制信号；
从所述ADC单元得到对应所述光矩阵处理单元的所述光输出向量的第二多个数字光输出，所述第二多个数字光输出形成第二数字输出向量；
对所述第二数字输出向量执行非线性转换以产生第二转换数字输出向量；
在存储单元中储存所述第二转换数字输出向量；以及
输出基于所述第一转换数字输出向量和所述第二转换数字输出向量所产生的人工神经网络输出，
其中所述光矩阵处理单元的所述光输出向量由基于所述第二多个调制器控制信号所产生的第二光输入向量产生，所述第二光输入向量由所述光矩阵处理单元基于由所述无源衍射光学组件所定义的多个权重来转换。


6.根据权利要求1至5中任一项所述的光电计算系统，进一步包括：
模拟非线性单元，被设置在所述光电检测单元与所述ADC单元之间，所述模拟非线性单元被配置以从所述光电检测单元接收所述多个输出电信号、应用非线性传递函数、以及输出多个转换输出电信号至所述ADC单元，
其中所述操作进一步包括：
从所述ADC单元得到对应所述多个转换输出电信号的第一多个转换数字输出电信号，所述第一多个转换数字输出电信号形成第一转换数字输出向量；以及
在所述存储单元中储存所述第一转换数字输出向量。


7.根据权利要求1至5中任一项所述的光电计算系统，其中所述控制器的所述集成电路被配置以大于或等于8GHz的速率产生所述第一多个调制器控制信号。


8.根据权利要求1至5中任一项所述的光电计算系统，进一步包括：
模拟存储单元，被设置在所述DAC单元与所述多个光调制器之间，所述模拟存储单元被配置以储存模拟电压，并且输出储存的模拟电压；以及
模拟非线性单元，被设置在所述光电检测单元与所述ADC单元之间，所述模拟非线性单元被配置以从所述光电检测单元接收所述多个输出电信号、应用非线性传递函数、以及输出多个转换输出电信号。


9.根据权利要求1至5中任一项所述的光电计算系统，其中所述人工神经网络计算请求的所述输入数据集包括多个数字输入向量，
其中所述光源被配置以产生多个波长，
其中所述多个光调制器包括：
光调制器组，被配置以产生多个光输入向量，每一个光调制器组对应所述多个波长之一，并且产生具有相应波长的相应光输入向量；以及
光多路复用器，被配置以将所述多个光输入向量组合成包括所述多个波长的组合光输入向量，
其中所述光电检测单元进一步被配置以多路分解所述多个波长，并且产生多个多路分解输出电信号，以及
其中所述操作包括：
从所述ADC单元得到多个数字多路分解光输出，所述多个数字多路分解光输出形成多个第一数字输出向量，其中所述多个第一数字输出向量的每一个对应所述多个波长之一；
对所述多个第一数字输出向量的每一个执行非线性转换，以产生多个转换第一数字输出向量；以及
在所述存储单元中储存所述多个转换第一数字输出向量，
其中所述多个数字输入向量的每一个对应所述多个光输入向量之一。


10.根据权利要求1至5中任一项所述的光电计算系统，其中所述DAC单元包括：
1位DAC单元，被配置以产生多个1位调制器控制信号，
其中所述ADC单元的分辨率是1位，
其中所述第一数字输入向量的分辨率是N位，以及
其中所述操作包括：
将所述第一数字输入向量分解为N个1位输入向量，所述N个1位输入向量的每一个对应所述第一数字输入向量的N位之一；
通过所述1位DAC单元产生对应所述N个1位输入向量的N个1位调制器控制信号的序列；
从所述ADC单元得到对应所述N个1位调制器控制信号的序列的N个数字1位光输出的序列；
从所述N个数字1位光输出的...

【专利技术属性】
技术研发人员：沈亦晨，靖礼，鲁门丹高夫斯基，谢鹏，孟怀宇，马修高理，卢正观，罗纳德加农，莫里斯斯坦曼，吴建华，阿拉什侯赛因扎德赫，
申请(专利权)人：光子智能股份有限公司，
类型：发明
国别省市：美国;US