【技术实现步骤摘要】
本专利技术涉及人工智能计算领域，具体涉及一种实现多模态机器学习的光电计算方法及系统。
技术介绍
1、多模态问题指研究的问题或者数据集包含多种模态(multimodal)信息，例如视觉信息、听觉信息、文本信息、嗅觉信息等。多模态数据则可被看作多种数据类型的组合，如图片、数值、文本、符号、音频、时间序列等。多模态机器学习是指对多模态数据的分析并从中学习进而提升自身的算法。研究多模态问题是推动人工智能更好的了解和认知周围世界的关键。多模态机器学习的一个典型应用为跨模态翻译，其目的是学习如何将源模态映射到目标模态，例如：输入一张图像生成一句话描述它，或者输入一句话生成与之匹配的一张图。
2、随着多模态大模型的广泛应用，用于神经网络训练的电子计算芯片的算力、能耗的进步已逐渐放缓，并且目前市场上的电子计算芯片产品被少数公司所垄断。因此开发基于除了电子以外的其他物理量的计算硬件和架构有助于人工智能计算的进一步发展。
3、目前，使用光子代替电子来进行全部的或部分的数据处理与计算已成为解决当前算力不足、减少计算能耗的一种方法。相较于当下的集成电子电路的人工智能计算硬件，光子计算具有实现高速、大规模并行和低功耗人工智能计算的潜力。然而，目前单个光电深度神经网络只能对一类数据进行运算处理，无法实现多模态数据的运算处理。
技术实现思路
1、本申请提供一种实现多模态机器学习的光电计算方法及系统，能够减少电子计算的负荷和能耗，减少对电子计算芯片的内存的要求。
2、第一方面，
3、构建包含光学输入前电子神经网络、空间光场传播、光学输出后电子神经网络的多模态机器学习模型；
4、基于光学输入前电子神经网络计算得到多模态的待处理电子信号的相位图，并通过空间光调制器对相位图进行特定调控；
5、通过多个光电探测器在空间光调制器后端接收特定位置处的光强度信号，并将接收的光强度信号转换为电子信号；
6、将转换得到的电子信号输入光学输出后电子神经网络，以得到最终的数据处理结果。
7、在一种实施方式中，所述多模态的待处理电子信号包括图片信息、声音信息和视频信息。
8、在一种实施方式中，所述基于光学输入前电子神经网络计算得到不同模态的待处理电子信号的相位图，并通过空间光调制器对相位图进行特定调控，具体步骤包括：
9、将多模态的待处理电子信号输入至训练完成的光学输入前电子神经网络，以计算得到显示在空间光调制器上的相位图；
10、将计算得到的相位图导入至空间光调制器，通过空间光调制器对相位图中激光的波前分布进行特定调控。
11、在一种实施方式中，所述相位图为多模态信息的联合表征，用以将多个模态的信息一并映射至统一的多模态向量空间中。
12、在一种实施方式中，所述通过多个光电探测器在空间光调制器后端接收特定位置处的光强度信号，并将接收的光强度信号转换为电子信号，具体步骤包括：
13、在光电探测器后的特定位置处布置多个独立或阵列分布的光电探测器；
14、通过光电探测器对特定位置处光强度信号进行接收，并将接收的光强度信号转换为电子信号。
15、第二方面，本申请实施例提供一种实现多模态机器学习的光电计算系统，用于实现上述所述的光电计算方法，包括：
16、神经网络组件，其包括用于接收多模态的待处理电子信号以生成相位图的光学输入前电子神经网络，以及接收电子信号计算得到最终的数据处理结果的光学输出后电子神经网络；
17、空间光调制器，其用于对光学输入前电子神经网络生成的相位图中激光的波前分布进行特定调控；
18、多个光电探测器，所述光电探测器位于空间光调制器后端，以用于在特定位置处对空间光调制器输出的光强度信号进行接收并发送至光学输出后电子神经网络。
19、在一种实施方式中，
20、所述空间光调制器为反射型空间光调制器；
21、所述空间光调制器上还设有单波长激光器，且所述单波长激光器与空间光调制器间还依次设有准直器、线偏振片和第一分光棱镜。
22、在一种实施方式中，
23、所述空间光调制器为透射型空间光调制器；
24、所述空间光调制器上还设有单波长激光器，且所述单波长激光器与空间光调制器间还依次设有准直器和线偏振片。
25、在一种实施方式中，
26、所述光电探测器和空间光调制器间还设有多个第二分光棱镜，且第二分光棱镜与光电探测器间对应；
27、所述光电探测器为阵列式。
28、在一种实施方式中，
29、所述第二分光棱镜包括2个，所述光电探测器包括3个；
30、所述空间光调制器的后端设置一第二分光棱镜，且该第二分光棱镜的其中一输出端对应设置一光电探测器，另一输出端对应设置另一第二分光棱镜，该第二分光棱镜的两个输出端分别对应设置一光电探测器。
31、本申请实施例提供的技术方案带来的有益效果包括：
32、通过构建由一个可调的空间光调制器作为输入，多个空间光场探测端口作为输出的空间光学系统，在光学输入端前和光学输入端后都设置有可训练的电子神经网络，能够对多模态数据进行机器学习处理，并得到所需的结果，经过训练学习后，可以针对多模态数据集进行处理，并给出最终的综合判断结果，相比于传统的电子计算芯片，本专利技术将一部分计算量用光子传播替代，加速了整体的计算速度，减少了电子计算的负荷和能耗，减少了对电子计算芯片的内存的要求。
本文档来自技高网...【技术保护点】
1.一种实现多模态机器学习的光电计算方法，其特征在于，具体包括以下步骤：
2.如权利要求1所述的一种实现多模态机器学习的光电计算方法，其特征在于：所述多模态的待处理电子信号包括图片信息、声音信息和视频信息。
3.如权利要求2所述的一种实现多模态机器学习的光电计算方法，其特征在于：所述基于光学输入前电子神经网络计算得到不同模态的待处理电子信号的相位图，并通过空间光调制器对相位图进行特定调控，具体步骤包括：
4.如权利要求3所述的一种实现多模态机器学习的光电计算方法，其特征在于：所述相位图为多模态信息的联合表征，用以将多个模态的信息一并映射至统一的多模态向量空间中。
5.如权利要求1所述的一种实现多模态机器学习的光电计算方法，其特征在于，所述通过多个光电探测器在空间光调制器后端接收特定位置处的光强度信号，并将接收的光强度信号转换为电子信号，具体步骤包括：
6.一种实现多模态机器学习的光电计算系统，用于实现权利要求1至5任一项所述的光电计算方法，其特征在于，包括：
7.如权利要求6所述的一种实现多模态机器学习的光电
8.如权利要求6所述的一种实现多模态机器学习的光电计算系统，其特征在于：
9.如权利要求6所述的一种实现多模态机器学习的光电计算系统，其特征在于：
10.如权利要求9所述的一种实现多模态机器学习的光电计算系统，其特征在于：
...【技术特征摘要】
1.一种实现多模态机器学习的光电计算方法，其特征在于，具体包括以下步骤：
2.如权利要求1所述的一种实现多模态机器学习的光电计算方法，其特征在于：所述多模态的待处理电子信号包括图片信息、声音信息和视频信息。
3.如权利要求2所述的一种实现多模态机器学习的光电计算方法，其特征在于：所述基于光学输入前电子神经网络计算得到不同模态的待处理电子信号的相位图，并通过空间光调制器对相位图进行特定调控，具体步骤包括：
4.如权利要求3所述的一种实现多模态机器学习的光电计算方法，其特征在于：所述相位图为多模态信息的联合表征，用以将多个模态的信息一并映射至统一的多模态向量空间中。
5.如权利要求1所述...
【专利技术属性】
技术研发人员：武霖，陶金，肖希，
申请(专利权)人：武汉邮电科学研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。