一种光子反卷积加速系统及其在面向光流估计的应用技术方案

本发明专利技术公开了一种光子反卷积加速系统及其在面向光流估计的应用，系统由激光器、光源调制器、光分束器、MZI、移相器、光平衡探测器组成的结构完成反卷积的运算，替换掉Spiking

【技术实现步骤摘要】
一种光子反卷积加速系统及其在面向光流估计的应用


[0001]本专利技术涉及图像处理与计算机视觉领域，尤其涉及一种光子反卷积加速系统及其在面向光流估计的应用。

技术介绍

[0002]光流(Optical Flow,OF)估计是一项针对被观测物体亮度变化预测其运动变化趋势的技术。其原理是根据像素点之间的相关性，利用神经网络超强的学习、逼近能力，计算出图像序列在相邻帧中像素点之间变化的相关性的大小。近几十年来，光流估计一直是图像处理与计算机视觉领域中一个核心的研究课题。
[0003]随着计算机软硬件水平的提高，光流估计在跟踪、运动分割、导航、图像配准、距离预警等应用领域凸显出越来越重要的作用。特别是在高速运动场景或者微光环境中，由于空间物体运动位置的快速变化或者过低的光线强度，传统相机近乎处于失灵的状态，此时则需要利用对环境变化更加敏感的相机——事件相机来为光流估计提供原始的场景素材。
[0004]事件相机，通常被称为仿生硅视网膜，是一种能通过每个像素阵列单元(类似于视网膜神经节细胞)异步且独立地检测对数尺度的亮度变化的相机。事件相机光流估计，即利用事件相机所拍摄出的高时间分辨率(微秒级)的照片以及光流估计神经网络架构，能预测出被观测物体的运动变化，在车辆行驶预警、监控判别领域发挥出保护使用者生命财产安全的重要作用。
[0005]在事件相机光流估计中，数量众多的神经网络架构(如LiteFlowNet架构和Spiking
‑
FlowNet架构)都通过引入卷积和反卷积来对图片进行降低维度或者提升维度的处理，占用了光流估计架构大量的计算能力。LiteFlowNet架构与Spiking
‑
FlowNet架构相比，属于轻量级神经网络，模型尺寸小、速度相对较快；后者则是脉冲神经网络(Spiking neural network，SNN)和人工神经网络(Artificial neural network，ANN)的混合架构，能耗低、脉冲结构更符合事件相机稀疏输入的特性。上述两种神经网络架构都是基于电学的神经网络架构，只能搭载于电子芯片上，但是随着物理尺寸的减小，电子芯片的“瓶颈效应”越来越明显，通过增加电子计算单元来增速光流估计的方法受到了极大的限制，只能从优化神经网络架构来进行小量增速，提升成本高、难度大、增量小。
[0006]电子神经网络由于其核心芯片在nm尺寸的工艺限制，因此计算速度受限，而光计算的引入可以增加运算的速度。光计算具有低功耗、光速处理和并行处理的能力，因此利用光计算特性，设计一个光子反卷积加速系统来替代电学的反卷积运算部分，能大大降低光流估计的时间从而更好地保护使用者的安全，在车辆行驶预警领域中有着深远地意义。
[0007]光计算的方式主要有以下几种。第一种是采用空间光调制器和介质材料(掩模版)构建出的衍射光子神经网络(Diffractive Optical Neural Networks，DONN)，实现了全光机器学习，完成了手写数字数据集和Fashion数据集的分类，该方式能实现大规模的神经网络，可完成较为复杂的任务。但该方式实际结构过大，不利于集成，并且介质材料的参数一旦训练完成就无法调节，对于卷积运算部分和全连接部分都是如此，使得它在很多领域上
的应用受到了极大的限制。
[0008]第二种是基于相变材料加级联微环结构的全光神经网络，该方式可直接输入光信号，不需要做光电转换处理，但该方式因为其相变材料的特性，在现有材料体系下无法实现负折射率，权重因子只能为正值，拟合效果差，并且相位材料寿命不长，使用周期短，而且响应速度也不快，暂时只能完成简单的任务。
[0009]第三种是基于马赫—曾德尔干涉仪(MZI)实现的光子神经网络。该理论可追溯到1994年Reck等人提出三角分解算法，证明了MZI可实现任意旋转的酉矩阵，而根据奇异值分解的算法，任意矩阵可以表示为一个酉矩阵、对角矩阵与另一个酉矩阵的转置矩阵的乘积，因此可以利用MZI、移相器等器件表示任意矩阵。与衍射光子神经网络和相变材料搭建的光子神经网络相比，基于MZI的光计算方式具有集成度高、可重构强等特点，可以快速准确的完成矩阵的运算。但是现在该光计算方式主要被利用来完成全光卷积运算，就目前来看，并没有基于光子的可直接完成反卷积运算的独立系统。

技术实现思路

[0010]本专利技术综合考虑现有技术的优势和不足，首先提出一种光子反卷积加速系统，利用激光器、光源调制器、光分束器、MZI、移相器、光平衡探测器等光子元器件组成的结构完成反卷积的运算，可替换掉Spiking
‑
FlowNet神经网络架构中占据了大量算力的反卷积运算层，从而可实现计算速度的大大提升，克服基于电的反卷积运算计算慢的问题。同时，利用MZI搭建而成的阵列有着可重构性强的特点，可以利用移相器来改变MZI阵列传输矩阵，使其能完成不同通道的反卷积运算过程。其次，基于此结构，提出了一种利用光子反卷积加速系统在面向光流估计的应用方法，设计了加速的混合光电Spiking
‑
FlowNet神经网络架构，该混合光电神经网络架构充分利用了光计算的并行、低功耗、光速计算的特性，在保留Spiking
‑
FlowNet神经网络架构原始的准确性的前提下，能更加快速、节能的完成光流估计。
[0011]为了实现上述目的，本专利技术提供如下技术方案：
[0012]本专利技术提供一种光子反卷积加速系统，由激光器、分束器阵列、调制器阵列、第一MZI阵列、衰减器模块、第二MZI阵列、移相器模块、光平衡探测器模块以及相位参考模块组成并完成反卷积的运算；分束器阵列由若干个光分束器组成；第一MZI阵列、衰减器模块和第二MZI阵列串联，分别表示奇异值分解算法中的正定矩阵的转置V
T
、对角矩阵∑和另一个正定矩阵U；
[0013]反卷积运算过程如下：
[0014]首先，由一个激光器产生光载波并输入到分束器阵列；
[0015]然后，分束器阵列将一路光信号分为多路，随后输入到调制器阵列中；
[0016]接着，调制器阵列将多路不同的信号同时按照规则调制到光载波上，成为多路第一MZI阵列通路的输入；
[0017]然后，信号通过第一MZI上三角结构，完成信号I与正定矩阵的转置V
T
的矩阵乘法运算V
T
·
I，再通过衰减器完成运算∑
·
V
T
·
I；
[0018]之后，通过第二MZI阵列完成运算，再通过移相器模块对运算结果做一个偏转，使其能正确输出光源的强度值，输出的结果为U
·
∑
·
V
T
·
I；
[0019]最后，将每条通路上连接的MZI数量与波导线补到与最后一条通路相同时，以光源经过相位参考模块的输出相位为准，规定该输出相位为0
°
相位，用平衡探测器检测各条通路的输出相位，将各路的结果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种光子反卷积加速系统，其特征在于，由激光器、分束器阵列、调制器阵列、第一MZI阵列、衰减器模块、第二MZI阵列、移相器模块、光平衡探测器模块以及相位参考模块组成并完成反卷积的运算；分束器阵列由若干个光分束器组成；第一MZI阵列、衰减器模块和第二MZI阵列串联，分别表示奇异值分解算法中的正定矩阵的转置V
T
、对角矩阵∑和另一个正定矩阵U；反卷积运算过程如下：首先，由一个激光器产生光载波并输入到分束器阵列；然后，分束器阵列将一路光信号分为多路，随后输入到调制器阵列中；接着，调制器阵列将多路不同的信号同时按照规则调制到光载波上，成为多路第一MZI阵列通路的输入；然后，信号通过第一MZI上三角结构，完成信号I与正定矩阵的转置V
T
的矩阵乘法运算V
T
·
I，再通过衰减器完成运算∑
·
V
T
·
I；之后，通过第二MZI阵列完成运算，再通过移相器模块对运算结果做一个偏转，使其能正确输出光源的强度值，输出的结果为U
·
∑
·
V
T
·
I；最后，将每条通路上连接的MZI数量与波导线补到与最后一条通路相同时，以光源经过相位参考模块的输出相位为准，规定该输出相位为0
°
相位，用平衡探测器检测各条通路的输出相位，将各路的结果与参考相位进行对比，如果同为0
°
即为正值，如果为180
°
即为负值，将输出校正。2.根据权利要求1所述的一种光子反卷积加速系统，其特征在于，光载波的频率为193.1THz，波长为1550nm。3.根据权利要求1所述的一种光子反卷积加速系统，其特征在于，分束器阵列将一路光信号分为16路。4.根据权利要求1所述的一种光子反卷积加速系统，其特征在于，信号的预处...

【专利技术属性】
技术研发人员：张天，舒赢，樊泽洋，戴键，徐坤，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：