光子神经网络系统技术方案

一种用于对数据帧进行卷积并相加的系统(10)包括第一传感器‑显示设备(14)和第二传感器‑显示设备(26)。每个传感器‑显示设备(14、26)包括发射‑接收模块(82)的阵列(80)。每个发射‑接收模块(82)包括光传感器元件(86)、光发射器元件(84)以及存储体(90)。径向调制器设备(20)被放置在对包括数据帧的光场的发送进行傅立叶变换的位置。由径向调制器设备(20)的调制器元件实现的滤波器对包括数据帧的光场进行卷积，然后由累积电荷的光传感器元件(86)在逐个像素的基础上对该光场进行感测，因此对顺序的经卷积的数据帧的像素值求和。

【技术实现步骤摘要】
【国外来华专利技术】光子神经网络系统
本专利技术涉及神经网络，并且更具体地涉及具有光学处理的卷积神经网络。
技术介绍
神经网络作为计算系统是公知的，其包括许多简单的、高度互连的处理元件，这些处理元件通过其对外部输入的动态状态响应来处理信息。神经网络识别模式，并且对于数据的聚类和分类是有用的。计算机可以利用神经网络来实现机器学习，其中计算机通过分析训练示例来学习执行一些任务。通常，示例已经由用户提前标记。例如，可以向设置为对象识别系统或图像识别系统的神经网络馈送成千个标记为“猫”或“没有猫”的示例图像，并且然后使用结果来标识其他图像中的猫或指示其他图像中没有猫，这视情况而定。可替代地，可以向设置为对象识别系统的这种神经网络馈送成千个图像的示例，这些图像具有各种对象(例如，猫、牛、马、猪、羊、汽车、卡车、船和飞机)并如这样被标记，并且然后使用结果来标识在其他图像中是否具有任何猫、牛、马、猪、羊、汽车、卡车、船或飞机。卷积神经网络(CNN)是一种类型的神经网络，其使用相同神经元的许多相同副本，这使得该网络能够具有许多神经元，并且能够在描述神经元如何表现(这是需要学习的)的实际值的数量很小的同时表示计算上很大的模型。卷积是组合两个信号以形成第三信号的一种方式。CNN通常以软件或可编程数字硬件实现。深度学习是用于堆叠式神经网络(即，包括多个层的网络)的术语。层由节点组成。节点是进行计算的地方，在人脑中的神经元上呈松散模式，当该节点遇到足够的刺激时就会触发。节点将来自数据的输入与系数的集合(或放大或抑制该输入的权重)进行组合，由此为针对算法正在试图学习的任务的输入指派重要性，例如，哪个输入最有助于在没有错误的情况下对数据进行分类。对这些输入乘以权重的乘积进行求和，然后将总和传递通过节点的激活函数，以确定信号是否以及在何种程度上进一步前进通过网络以影响最终结果，例如，分类的动作。节点层是一行这些神经元状的开关，当通过网络馈送输入时，开关会打开或关闭。从接收数据的初始输入层开始，每层的输出同时是后续层的输入。超过三个节点层被认为是“深度”学习。在深度学习网络中，节点的每层基于先前层的输出来对特征的不同集合进行训练，因此数据(例如，图片、图像、语音等)穿过的层越多，节点可以识别的特征就越复杂。在训练期间，利用被称为反向传播的过程来提供调整，以增加网络下次预测相同类型的图像的可能性。再三进行这样的数据处理和反向传播，直到预测相当准确并且没有改进为止。然后，可以在推理模式下利用该神经网络以对新的输入数据进行分类，并预测根据其训练推理出的结果。典型的卷积神经网络除了输入层和输出层外，还具有四个神经元的基本层：卷积层、激活层、池化层和完全连接层。在初始的一个或多个卷积层中，成千个神经元用作滤波器的第一集合，其冲刷图像中的每个部分和像素，从而寻找模式。随着越来越多的图像被处理，每个神经元逐渐学习针对特定特征进行过滤，这改进了准确度。高效地，一个或多个卷积层将图像分解为不同的特征。然后，激活层突出显著特征，例如，在最终标识结果中可能具有价值或重要性的特征。例如，眼睛可能指示脸部而不是煎锅。跨整个图像的所有卷积和激活会生成大量数据，并且可能使计算机的计算能力不堪重负，因此使用池化将数据压缩为更易于处理的形式。池化是选择最佳数据并丢弃其余数据的过程，从而带来较低分辨率的数据集。可以使用几种类型的池化，更常见类型的池化中的一些是“最大池化”和“平均池化”。最后，在完全连接层中，将每个减少的或“池化的”特征图或数据连接到表示神经网络正在学习或已经被启用以标识例如猫、牛、马、猪、羊、汽车、卡车、船和飞机的项目的输出节点(神经元)。当特征图或数据穿过这些输出节点时，每个节点针对节点标识为其特定项目的任何特征图或数据进行投票。针对已经穿过网络的图像数据的网络的最终输出基于个体节点的投票。在网络的训练的早期，投票可能产生更多错误的输出，但是，随着图像和反向传播的数量不断增加以调整权重并优化训练，准确度会改进，因此最终根据输入数据对结果的预测或推理可以相当准确。相关技术的前述示例以及与其相关的限制旨在对主题是说明性的而非排他性或穷举性的。通过阅读说明书并研究附图，相关领域的其他方面和限制对于本领域技术人员将变得显而易见。附图说明并入本文并形成说明书一部分的附图示出了一些但不是唯一的或排他性的示例实施例和/或特征。旨在将本文公开的实施例和附图认为是说明性的而非限制性的。在附图中：图1是针对示例光子神经网络系统的功能框图；图2是用于对图1中的光子神经网络系统的图像进行光学处理和卷积的示例光子卷积组装件的等距视图，第二傅立叶变换透镜的一部分被示出为脱离的以显示第二传感器-显示设备的光传感器-显示组件的阵列；图3是图1中的示例光子神经网络中的示例径向调制器的正面主视图；图4是图3中的示例径向调制器的中心部分的等距视图以及径向调制器的示例光调制器片段的放大的视图；图5是示出了示例光子神经网络系统的示例光子卷积组装件的卷积函数的等距图；图6是图2中的示例光子卷积组装件的示意性俯视平面视图，其示出了显示数据帧(图像)的第一传感器-显示设备以及感测经卷积的数据帧的第二传感器-显示设备；图7是图2中的示例光子卷积组装件的示意性俯视平面视图，其示出了显示数据帧(图像)的第二传感器-显示设备以及感测经卷积的数据帧的第一传感器-显示设备；图8是第一传感器-显示设备中的发射-接收模块的阵列的功能框图；图9是发射-接收模块的阵列的一部分的放大的等距视图；图10是示例发射-接收模块的放大的等距视图；图11是图9和图10中的示例发射-接收模块的示例光发射器元件的透视视图；图12是到传感器-显示设备的外部接口的示例系统接口的功能框图；图13是传感器-显示设备的示例外部接口的功能框图；图14是用于发射-接收模块的阵列的行和列控制线寄存器的示意图；图15是到发射-接收模块的模拟数据线的示意图；图16是在池化链中互连的阵列中的发射-接收模块(trixel)中的一些的示意性表示；图17是发射-接收模块(像素)的池化边界线与相邻的发射-接收模块(trixel)的互连的放大的示意图；图18是用于示例光子神经网络系统10的示例发射接收模块中的存储体(memorybank)的示例存储器移位驱动器；图19是用于存储体的示例模拟存储器读取接口的示意图；图20是示出了对池化链平均的发射-接收模块(trixel)模拟存储器读取的示意图；图21是示出了对池化链最大的发射-接收模块(trixel)模拟存储器读取的示意图；图22是示出了到外部数据线的发射-接收模块(trixel)模拟存储器读取的示意图；图23是示出了发射-接收模块(trixel)模拟存储器峰值保存的示意图；图24示出了发射-接收模块(trixel)模拟存储器峰值重置；图25示出了示例整流线性单元(ReLU)响应的图形表示；图26本文档来自技高网...

【技术保护点】
1.一种用于对数据帧进行卷积并求和的系统，包括：/n第一传感器-显示设备，其包括发射-接收模块的阵列，每个发射-接收模块包括光传感器元件、光发射器元件以及由多个存储器单元组成的存储体；/n第二传感器显示设备，其包括发射-接收模块的阵列，每个发射-接收模块包括光传感器元件、光发射器元件以及由多个存储器单元组成的存储体；/n径向调制器设备，其具有被放置在相对于光轴、所述径向调制器设备的多个径向距离和角度定向处的多个调制器元件；/n第一傅立叶变换透镜和第二傅立叶变换透镜，所述第一傅立叶变换透镜被放置在所述第一传感器-显示设备的所述光发射器元件与所述径向调制器设备之间，所述第二傅立叶变换透镜被放置在所述第一传感器-显示设备的所述光发射器元件与所述径向调制器设备之间，以及所述径向调制器设备被放置在距所述第一傅立叶变换透镜焦距处并且距所述第二傅立叶变换透镜焦距处，使得所述径向调制器设备被放置在所述第一傅立叶变换透镜和所述第二傅立叶变换透镜两者的傅立叶变换平面中。/n

【技术特征摘要】
【国外来华专利技术】20170920 US 62/561,061;20180202 US 62/625,7111.一种用于对数据帧进行卷积并求和的系统，包括：
第一传感器-显示设备，其包括发射-接收模块的阵列，每个发射-接收模块包括光传感器元件、光发射器元件以及由多个存储器单元组成的存储体；
第二传感器显示设备，其包括发射-接收模块的阵列，每个发射-接收模块包括光传感器元件、光发射器元件以及由多个存储器单元组成的存储体；
径向调制器设备，其具有被放置在相对于光轴、所述径向调制器设备的多个径向距离和角度定向处的多个调制器元件；
第一傅立叶变换透镜和第二傅立叶变换透镜，所述第一傅立叶变换透镜被放置在所述第一传感器-显示设备的所述光发射器元件与所述径向调制器设备之间，所述第二傅立叶变换透镜被放置在所述第一传感器-显示设备的所述光发射器元件与所述径向调制器设备之间，以及所述径向调制器设备被放置在距所述第一傅立叶变换透镜焦距处并且距所述第二傅立叶变换透镜焦距处，使得所述径向调制器设备被放置在所述第一傅立叶变换透镜和所述第二傅立叶变换透镜两者的傅立叶变换平面中。


2.根据权利要求1所述的系统，包括系统控制组件，以用于形成滤波器并将所述滤波器馈送到所述径向调制器设备，并且用于对具有来自所述第一传感器-显示设备和所述第二传感器-显示设备的数据帧的光场的发送进行排序，利用在所述径向调制器设备处的所述滤波器对所述数据帧进行卷积，并且感测包括来自所述径向调制器设备的经卷积的数据帧的光场。


3.根据权利要求1所述的系统，其中，所述光传感器元件是电容式光传感器，在所述电容式光传感器中累积来自感测到的光的电荷。


4.一种对卷积神经网络的数据帧进行卷积并求和的方法，包括：
沿着第一光轴在空间域中顺序地投影所述数据帧作为光场；
在傅立叶变换平面处按序列创建对所述光场的傅立叶变换；
在所述傅立叶变换平面处利用光调制器按序列对所述光场进行卷积，所述光调制器具有相对于所述光轴以各种径向距离和角度定向间隔开的光调制片段；
在第一传感器显示位置处将经卷积的光场的序列逆傅立叶变换回到空间域中；
利用在具有电荷构建容量的像素位置处的电容式光传感器在逐个像素的基础上在所述第一传感器-显示位置处感测所述空间域中的所述经卷积的光场中的每一个；以及
允许所述电容式光传感器累积在所述第一传感器-显示位置处按序列感测所述经卷积的光场所产生的所述电荷。


5.根据权利要求4所述的方法，包括在感测到多个经卷积的光场之后将每个传感器中的累积的电荷移位到存储体中的存储器单元，使得所述存储器单元包含针对已经...

【专利技术属性】
技术研发人员：R·J·克瑞尔，J·C·巴亚尔多，D·A·布鲁泽，
申请(专利权)人：视觉动力公司，
类型：发明
国别省市：美国;US