光学处理系统技术方案

一种光学处理系统包括至少一个空间光调制器SLM，其被配置为同时显示第一输入数据模式(a)和至少一个数据聚焦模式，所述至少一个数据聚焦模式是第二输入数据模式(b)的傅立叶域表示(B)，所述光学处理系统还包括检测器，用于检测已经被所述输入数据模式和聚焦数据模式连续光学处理的光，从而产生第一和第二输入数据模式的光学卷积，所述光学卷积用于使用在神经网络中。神经网络中。神经网络中。

【技术实现步骤摘要】
【国外来华专利技术】光学处理系统


[0001]本专利技术总体上涉及机器学习卷积神经网络。特别地，本专利技术涉及使用基于光学相关性的处理系统来加速卷积神经网络。

技术介绍

[0002]卷积神经网络(CNN或ConvNet)是众所周知的，已经成为图像分析中杰出的机器学习技术。它们是深度前馈型人工神经网络，实现了图像识别和分类的最先进性能。ConvNet的生命期通常分为训练和推理。但是，训练大型卷积网络非常耗时——即使使用最先进的图形处理单元(GPU)，也可能需要数周的时间。在训练和推理阶段，某些更复杂的ConvNet可能需要更长的时间来运行。
[0003]在ConvNet中，卷积层代表着计算负荷中非常显著的部分——通常为多数部分。此外，增加卷积的分辨率(resolution)(增加输入大小或内核大小)会带来更大的计算负担。这驱使网络配置避免构建大量高分辨率的卷积层，或者促使网络配置修改卷积层以减少计算负担。
[0004]已经尝试了使用例如在GPU或FPGA架构上实现的各种算法，以数字方式加速ConvNet的训练和推理。但是，非常需要进一步的加速。
[0005]本专利技术的实施例试图针对该问题提供解决方案。

技术实现思路

[0006]在第一独立方面，提供了一种光学处理系统，其包括至少一个空间光调制器SLM，至少一个空间光调制器SLM被配置为同时显示第一输入数据模式(a)和作为第二输入数据模式(b)的傅立叶域表示(B)的至少一个数据聚焦模式，光学处理系统还包括检测器，用于检测已被所述输入数据模式和聚焦数据模式连续光学处理过的光，从而产生第一和第二输入数据模式的光学卷积，光学卷积在神经网络中使用。
[0007]光学处理系统包括4f光学相关器，其中输入数据模式(A)在相关器的输入平面中，并且数据聚焦模式在傅立叶平面中。数据聚焦模式可以包括卷积核或滤波器。SLM对入射光具有动态调制效果。如PCT/GB2013/051778中所述，SLM可以是例如平行层，或者它们可以在同一平面中。在这样的4f光学相关器中，来自光学输入的光入射到所述显示的模式上并被连续地光学处理，从而在光被检测器捕获之前，每个输入数据模式和聚焦模式形成连续的光路。
[0008]数据聚焦模式被选择为第二输入数据模式(b)的傅立叶域表示(B)。也就是说，从第二输入数据模式计算出滤波器，以产生ConvNet所需的卷积。例如，可以以数字方式计算数据聚焦模式。
[0009]神经网络可以是卷积神经网络(ConvNet)，其中光学卷积适于神经网络的卷积层。通常，第二输入数据模式称为“核”，第一输入数据模式与该核进行卷积。
[0010]重要的是，与已知的数字实现方式相比，光学相关器是一种更适合评估(2D)卷积
的平台。光学方法提供了比此类方法改进的性能。
[0011]在一些实施例中，第一输入数据模式(a)包括多个(N个)分块输入数据模式——或“特征图”——多个图块输入数据模式中的每一个对应于被处理的一“批”图像中的成员，并且其中对于多个图块输入数据模式中的每一个并行地产生多个卷积。在一些实施例中，第二输入数据模式包括多个(M个)分块核数据模式，多个分块核数据模式中的每一个对应于一组滤波核(b)中的不同成员，并且其中对于由所述分块输入数据模式和分块核数据模式形成的每对(N
×
M)并行地产生多个卷积。
[0012]因此，输入的2D图像和/或2D核可以被分块。通过分块，我们的意思是图块彼此不重叠并且在检测器区域的范围内。因此，每个“图块”的分辨率小于探测器分辨率。这导致使用给定硬件分辨率执行多个较低分辨率卷积的不同方式。因此有利地，通过适当地选择分块的输入和核，可以运用检测器(例如相机)的全分辨率。为了充分利用卷积分辨率，对输入和核二者进行分块会产生跨检测器(相机)平面的结果。有利地，对于每个输入和核数据对(每对可以是一个“图块”)，并行实现多个卷积。并行卷积可以是“分批的”。一批代表多个较小的傅立叶变换。
[0013]注意，在对核分块的情况下，以适当的填充在直接表示(b)中对它们分块。然后将它们转换为傅立叶域滤波器表示(B)。由于滤波器生成的特性，这种转换并不完美，并且可能导致不同操作之间的串扰。
[0014]优选地，光学处理系统还包括处理器，用于从第二输入数据模式(b)数字地获得数据聚焦模式(B)。因此，从核以数字方式计算4f光学相关器的滤波器。由于低滤波器分辨率(与光学检测器分辨率相比)，这是相对快的过程。此外，一旦已经训练了网络，就可以重复使用这些模式；它们不需要重新计算。
[0015]处理器可以被配置为使用最小欧几里得距离(MED)方法获得数据聚焦模式。该方法假设用于表示给定复数值的合适的可用SLM调制值是最接近复平面上测得距离的值。
[0016]有利地，可以采用4f光学相关器来加速ConvNet的推理过程，该网络已经在常规数字平台上以光学系统的特质的知识而进行了训练。
[0017]可替换地，可以将4f光学相关器并入网络并直接用于训练过程中。在通过网络的前向传播期间使用光学相关器，而在向后传播期间使用常规的数字卷积。
[0018]应当理解，由于空间光调制器的属性而对滤波图像的约束限制了可以显示的数据聚焦模式(B)，并因此限制了可以实现的相应卷积核(b)。然而，在某些实施例中，重要的是限制数据聚焦模式(B)的最大空间频率分量，因为这确定了相应核(b)的有效大小。作为回顾，数据聚焦模式(B)和核(b)通过离散傅立叶变换(DFT)链接。在数据聚焦模式设计期间必须考虑这一事实。因此，系统控制滤波器的最大空间频率含量，以限制有效核宽度；也就是说，核的大小和输入中超出这些点的距离不会影响输出中的相应点。这防止了不同卷积操作之间的不合期望的连接性。成功操作的关键是控制此连接性。
[0019]在一些实施例中，第二输入数据模式(b)是具有正和负分量的带符号核。
[0020]在一些实施例中，将核分解成1)正值核p和2)均匀偏差核b1，使得从两个正值卷积重构f*k＝f*(p-bl)。这克服了检测器(相机)无法测量负振幅的事实。
[0021]在一些实施例中，SLM是二进制SLM而不是多级SLM。二进制SLM具有高带宽，提供高性能，但要求应用程序适应设备的限制。
[0022]在一些实施例中，系统还包括用于调节放大和用于光学池化神经网络的透镜或透镜选择。
[0023]在另外的方面，提供了一种使用如上所述的光学处理系统产生光学卷积的方法。这样的方法可以用于卷积或卷积和池化神经网络的层。例如，该方法可以用于训练或推理卷积神经网络。
[0024]在另外的方面，提供了如上所述的系统在深度机器学习中用于图像分析的用途。
[0025]在第二独立方面，提供了一种使用4f光学相关器配置神经网络的方法，该方法包括以下步骤：
[0026]显示第一输入数据模式(a)；
[0027]确定作为第二输入数据模式(b)的傅立叶域表示(B)的至少一个数据聚焦模式(B)；本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种光学处理系统，包括至少一个空间光调制器SLM，其被配置为同时显示第一输入数据模式(a)和至少一个数据聚焦模式，所述至少一个数据聚焦模式是第二输入数据模式(b)的傅立叶域表示(B)，所述光学处理系统还包括检测器，用于检测已经被所述输入数据模式和聚焦数据模式连续光学处理的光，从而产生第一和第二输入数据模式的光学卷积，所述光学卷积用于使用在神经网络中。2.根据权利要求1所述的光学处理系统，其中，所述检测器和所述至少一个SLM以不同的速度操作；所述检测器以比所述至少一个SLM慢的速度操作。3.根据权利要求1或权利要求2所述的光学处理系统，其中，所述系统具有在数个不同帧上集成的输出。4.根据前述权利要求中的任一项所述的光学处理系统，其中，所述神经网络是卷积神经网络，并且其中，所述光学卷积用于所述神经网络的卷积层。5.根据前述权利要求中的任一项所述的光学处理系统，其中，所述第一输入数据模式(a)包括多个(N个)分块输入数据模式，所述多个图块输入数据模式中的每个对应于所述第一输入数据模式的不同区段，并且其中，对于所述多个输入数据模式中的每个并行地产生多个卷积。6.根据前述权利要求中的任一项所述的光学处理系统，其中，所述第二输入数据模式包括多个(M个)分块核数据模式，所述多个图块核数据模式中的每个对应于所述第二输入数据模式(b)的不同区段，并且其中，对于由所述图块输入数据模式和图块核数据模式形成的每个对(N
×
M)并行地产生多个卷积。7.根据前述权利要求中的任一项所述的光学处理系统，还包括处理器，用于从所述第二输入数据模式数字地获得所述数据聚焦模式。8.根据权利要求7所述的光学处理系统，其中，所述处理器还被配置为使用最小欧几里得距离(MED)来获得所述数据聚焦模式。9.根据权利要求7或权利要求8所述的光学处理系统，其中，所述第二输入数据模式(b)由以适当的填充分块的数个核构成，使得并行地实现一个输入对多个核的卷积；该输入数据模式被转换为对应的数据聚焦模式(B)，以用于显示在滤波器SLM上。10.根据前述权利要求中的任一项所述的光学处理系统，其中，所述数据聚焦模式(B)仅包含高至有限最大频率的空间频率分量，从而限制与所述第二输入数据模式(b)相对应的核的有效宽度。11.根据前述权利要求中的任一项所述的光学处理系统，其中，所述第二输入数据模式(b)是具有正分量和负分量的双极性核，并且其中，所述光学卷积是第一数据输入和核的正表示的第一卷积与所述第一数据输入和施加了偏差的核的第二卷积之间的差。12.根据前述权利要求中的任一项所述的光学处理系统，其中，所述SLM是二进制SLM。13.根据前述权利要求中的任...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：奥普特里斯有限公司，
类型：发明
国别省市：