全光学神经网络制造技术

本文公开了利用光束和光学部件来实现神经网络的层的全光学神经网络。该全光学神经网络包括输入层、零个或更多个隐藏层、以及输出层。神经网络的每一层都构造成在光学信号上模拟常规人工神经网络神经元的线性运算和非线性运算。在一个实施例中，光学线性运算由空间光调制器和光学透镜执行。光学透镜对这组光束执行傅立叶变换，并对具有相似传播方向的光束求和。利用非线性光学介质来实现光学非线性运算，该非线性光学介质具有电磁感应的透明性特性，非线性光学介质的探测光束的传输由来自光学线性运算的耦合光束的中间输出控制。

【技术实现步骤摘要】
全光学神经网络优先权要求本申请要求于2019年4月15日提交的标题为“全光学神经网络”的美国临时申请No.62/834,005的权益，其全部内容通过引用并入本文。
本公开涉及深度学习人工神经网络。更具体地，本公开针对利用光学部件实现的人工神经网络，以使用光作为介质来执行计算。
技术介绍
在过去的几十年中，基于人工神经网络(ANN)的机器学习取得了显著增长。机器学习为系统提供了从数据中学习并通过最少的人工干预就可以做出决策的通用技术。作为一种机器学习算法，ANN是一种基于大脑神经结构的计算模型，其中实现了称为人工神经元的连接节点的集合。随着大量人工神经元的广泛互连，ANN可以以强大的方式执行复杂的任务。已经证明，基于人工神经网络的机器学习在各个领域(例如图像识别、医学诊断和机器翻译)都非常强大。在科学研究领域，ANN也显示出巨大的潜力，特别是在发现新材料、对物质的相进行分类、表示变化波函数、加速蒙特卡洛模拟以及各种其他应用方面等。而且，ANN可以用来解决传统方法难以解决的问题。ANN可以通过电子计算机中的软件模拟来实现，其中可以应用各种复杂算法。然而，具有大量人工神经元和互连的ANN要求巨大的计算资源需求，例如高能耗和学习过程的长训练时间。随着神经网络规模的增加，计算的复杂度可能成倍增加。实现ANN的硬件解决方案可能能够大大减少执行时间。例如，用晶体管构建的电路可以通过对电流或电荷求和的物理过程来执行大量的计算。但是，电路解决方案容易受到噪声和工艺参数变化的影响，这可能会限制计算精度。<br>作为非相互作用的玻色子的光子一旦应用于ANN的实现，就自然可以用于以光速实现多重互连并且同时进行并行计算。ANN的关键成分是人工神经元，人工神经元对信号执行线性变换和非线性变换。在混合光学神经网络(ONN)中，光学已用于实现线性变换。但是，非线性变换函数通常以电子方式实现，因为已经证明以光学方式实现非线性变换函数具有挑战性。因此，随着光学神经网络的研究，有必要解决这个问题或其他问题。
技术实现思路
全光学神经网络包括输入层、零个或更多个隐藏层、以及输出层。每层包括一个或更多个光学神经元，该一个或更多个光学神经元构造为通过线性变换和非线性变换处理一个或更多个光束作为对光学神经元的输入。可以通过与神经网络的该层与神经网络的后续层之间的接口相关联的一组加权调制每个光学神经元的激活信号。线性变换和非线性变换均通过光学部件和非线性光学介质进行处理。特别地，通过利用非线性光学介质的电磁感应的透明性(EIT)特性来控制第二(探测)光束根据第一(耦合)光束的传输来实现非线性变换。在本公开的第一方面，公开了一种用于实现光学神经元的系统。该系统包括一个或多个光束作为光学神经元的输入、线性子系统、非线性子系统、以及一个或多个额外的光束作为光学神经元的输出。光源构造成产生一个或更多个光束作为光学神经元的输入。线性子系统构造成执行光学求和运算，该光学线性运算组合一个或更多个光束以产生耦合光束作为中间信号。非线性子系统构造成基于耦合光束执行光学非线性运算以产生激活响应信号。非线性子系统包括非线性光学介质，非线性光学介质具有电磁感应的透明性(ETI)特性，并且激活响应信号包括通过非线性光学介质传输的探测光束，该非线性光学介质由中间信号非线性控制。一个或多个额外的光束从激活响应信号中分出来。在一些实施例中，非线性子系统包括探测激光器，该探测激光器构造成产生指向所述非线性光学介质的所述探测光束，使得基于耦合光束控制探测光束通过非线性光学介质的传输。在一些实施例中，线性子系统包括光学透镜，该光学透镜构造成执行傅立叶变换，该傅立叶变换将一个或更多个光束组合以产生中间信号。光学透镜通过组合具有相似传播方向的光束来为两个或更多个光学神经元产生至少两个中间信号。每个光学神经元对应于特定的传播方向，并且每个中间信号位于光学透镜的焦平面上的不同位置处。在一些实施例中，该系统还包括空间光调制器(SLM)，该空间光调制器构造成通过一组加权调制一个或多个额外的光束以产生一个或更多个加权的光束作为光学神经元的输出。在一些实施例中，使用加权的Gerchberg-Saxton(GSW)算法调制SLM。该系统还包括光电传感器，以测量来自SLM的输出。在一些实施例中，通过基于一组训练数据的训练神经网络来学习该组加权。该神经网络包括输入层、一个或更多个隐藏层、以及输出层。该组加权与输入层和一个或更多个隐藏层的第一隐藏层、一个或更多个隐藏层的隐藏层和该一个或更多个隐藏层后续的隐藏层、或者隐藏层和输出层之间的接口相关联。在一些实施例中，探测光束在非线性光学介质中的传输至少由耦合光束的强度或频率控制。在一些实施例中，非线性光学介质包括原子、分子、量子点或固态材料中的至少一种。在本公开的另一方面，公开了一种用于实现全光学神经网络(AONN)的系统。该系统包括：输入层，其包括一个或多个光学神经元；零个或更多个隐藏层；以及输出层，其包括一个或多个光学神经元。每个隐藏层包括一个或多个光学神经元在一些实施例中，输入层中的每个光学神经元包括被接收为对光学神经元的输入的一个光束。此外，输出层中的每个光学神经元包括被作为光学神经元的输出而传输的一个光束。在一些实施例中，该系统构造成实施用于实现AONN的方法。该方法包括如下步骤：产生一个或多个光束作为输入层中的光学神经元的输入；对一个层中的光学神经元的输出执行光学线性运算，以产生一个或多个光束作为对AONN的后续层中的光学神经元的输入；以及执行光学非线性运算以产生用于光学神经元的非线性激活响应信号。利用具有电磁感应的透明性(EIT)特性的非线性光学介质来实现光学非线性运算。在一些实施例中，用于实现AONN的方法还包括：对于光学神经元的层中的每个光学神经元，利用空间光调制器(SLM)通过一组加权调制光学神经元的激活响应信号，以产生加权的输出信号作为AONN的后续层的输入。在一些实施例中，用于实现AONN的方法还包括：使用光电传感器捕获加权的输出信号；以及构造光源以根据加权的输出信号产生一个或更多个额外的光束，以实现AONN的后续层，其中后续层是一个或更多个隐藏层中的隐藏层或输出层。在一些实施例中，一个或更多个光束是由空间光调制器(SLM)产生的，空间光调制器构造成空间调制入射到SLM表面的耦合光束的振幅和相位中的至少一个。在一个实施例中，使用加权的Gerchberg-Saxton(GSW)算法来调谐SLM。在一些实施例中，将探测光束指向非线性光学介质，使得基于耦合光束来控制探测光束通过非线性光学介质的传输。探测光束通过非线性光学介质传输的部分的功率对应于激活响应信号。在一些实施例中，光学线性运算至少部分地由光学透镜执行，光学透镜构造成在光学透镜的焦平面上组合具有相似传播方向的一个或多个光束。在本公开的另一方面，公开了一种用于使用光束和光学介质建立神经网络模型的设备。该设备包括：一个或更多个光束；至少一个光学部本文档来自技高网...

【技术保护点】
1.一种用于实现光学神经元的系统，该系统包括：/n一个或更多个光束，其作为所述光学神经元的输入；/n线性子系统，其构造成执行光学求和运算，该光学求和运算组合一个或更多个光束以产生耦合光束作为中间信号；/n非线性子系统，其构造成基于所述耦合光束执行光学非线性运算以产生激活响应信号，其中，所述非线性子系统包括非线性光学介质，所述非线性光学介质具有电磁感应的透明性(EIT)特性，并且其中，所述激活响应信号包括通过所述非线性光学介质传输的探测光束，所述非线性光学介质由所述中间信号非线性地控制；以及/n一个或多个额外的光束，其作为所述光学神经元的输出，其中所述一个或多个额外的光束从所述激活响应信号中分出来。/n

【技术特征摘要】
20190415 US 62/834,0051.一种用于实现光学神经元的系统，该系统包括：
一个或更多个光束，其作为所述光学神经元的输入；
线性子系统，其构造成执行光学求和运算，该光学求和运算组合一个或更多个光束以产生耦合光束作为中间信号；
非线性子系统，其构造成基于所述耦合光束执行光学非线性运算以产生激活响应信号，其中，所述非线性子系统包括非线性光学介质，所述非线性光学介质具有电磁感应的透明性(EIT)特性，并且其中，所述激活响应信号包括通过所述非线性光学介质传输的探测光束，所述非线性光学介质由所述中间信号非线性地控制；以及
一个或多个额外的光束，其作为所述光学神经元的输出，其中所述一个或多个额外的光束从所述激活响应信号中分出来。


2.根据权利要求1所述的系统，其中，所述非线性子系统包括：
探测激光器，其构造成产生指向所述非线性光学介质的所述探测光束，使得基于所述耦合光束控制所述探测光束通过所述非线性光学介质的传输。


3.根据权利要求1所述的系统，其中，所述线性子系统包括：
光学透镜，其构造成执行傅立叶变换，所述傅立叶变换将所述一个或更多个光束组合以产生所述中间信号。


4.根据权利要求3所述的系统，其中，所述光学透镜通过组合具有相似传播方向的光束来为两个或更多个光学神经元产生至少两个中间信号，每个光学神经元对应于特定的传播方向，并且每个中间信号位于所述光学透镜的焦平面上的不同位置处。


5.根据权利要求1所述的系统，还包括：
空间光调制器(SLM)，其构造成通过一组加权调制所述一个或多个额外的光束以产生一个或更多个加权的光束作为所述光学神经元的输出。


6.根据权利要求5所述的系统，其中，使用加权的Gerchberg-Saxton(GSW)算法调谐所述SLM，所述系统还包括光电传感器，用于测量来自所述SLM的输出。


7.根据权利要求5所述的系统，其中，通过基于一组训练数据来训练神经网络来学习所述该组加权，并且其中，所述神经网络包括输入层、一个或更多个隐藏层、以及输出层，并且该组加权与所述输入层和所述一个或更多个隐藏层的第一隐藏层、所述一个或更多个隐藏层的隐藏层和所述一个或更多个隐藏层后续的隐藏层、或者所述隐藏层和所述输出层之间的接口相关联。


8.根据权利要求1所述的系统，其中，所述探测光束在所述非线性光学介质中的传输至少由所述耦合光束的强度或频率来控制。


9.根据权利要求1所述的系统，其中，所述非线性光学介质包括原子、分子、量子点或固态材料中的至少一种。


10.一种用于实现全光学神经网络(AONN)的系统，该系统包括：
输入层，其包括一个或多个光学神经元；
零个或更多个隐藏层，其中每个隐藏层包括一个或多个光学神经元；以及
输出层，其包括一个或多个光学神经元。


11.根据权利要求10所述的系统，其中，所述输入层中的每个光学神经元包括被接收为对所述光学神经元的输入的一个光束，并且其中，所述输出层中的每个光学神经元包括被作为所述光...

【专利技术属性】
技术研发人员：杜胜望，刘军伟，左瀛，李博瀚，赵宇君，蒋悦，陈鹏，陈宥全，
申请(专利权)人：香港科技大学，
类型：发明
国别省市：中国香港;81