全光智能计算三维感知系统及装置制造方法及图纸

本发明专利技术公开了全光智能计算三维感知系统及装置，该系统，包括参考光输入模块用于产生激光束；全光学结构光编码模块，用于基于激光束调制波前相位以生成空间模式随深度变化的结构光；结构光照明模块用于将生成的结构光照射到物体表面；全光学反射光解码模块，用于对物体反射的结构光中的深度信息在输出平面进行光强映射；三维信息采集模块用于利用光电探测器在输出平面获取光强信息以进行深度信息采集实现三维感知

【技术实现步骤摘要】
全光智能计算三维感知系统及装置


[0001]本专利技术涉及光计算
、
深度探测和三维感知
，特别是涉及全光智能计算三维感知系统及装置
。

技术介绍

[0002]三维感知提供了对物理世界的深度信息的优越表现和理解，使得在建筑业
、
虚拟现实和自动驾驶等各个领域都取得了前所未有的创新
。
人类一直在追求一种简单有效的三维感知技术来更好地感知世界
。
然而，现有的三维感知方法在直接使用光学系统获取三维图像方面面临着巨大的挑战，因为光场传播中固有包含的深度信息在被传统二维摄像机捕获后就丢失了
。
例如，立体视觉方法，使用特征匹配
、
计算立体
、
深度学习算法等方法估计多视图二维图像的差异来获得三维图像
。
然而，复杂的后处理给电子硬件带来了沉重的计算负担
。
它限制了三维感知的速度和适用性，特别是在人工神经网络（
ANN
）基础方法中模型复杂度不断增加的情况下
。
相比于完全依赖后处理，直接干预三维感知的光学过程可以减少电子硬件的计算负担
。
例如，激光探测与测距（
LiDAR
）方案主要利用飞行时间（
ToF
）或频率调制连续波（
FMCW
）实现无需复杂重建算法的三维感知
。
然而，这种方案需要实现精密扫描和精确时间或频率测量，导致并行检测出现瓶颈/>。
目前没有一种三维感知技术能够像二维成像传感器一样广泛应用
。
随着对三维感知物理本质探索的深入，本专利技术希望通过光学成像设备直接获得深度图像，即通过光学方式获得深度信息而无需后处理
。 受益于能效和速度优势，光学计算
近年来引发了研究热潮
。
例如，衍射表面可以将光以特定的调制从输入视场（
FoV
）传输到输出视场
。
通过对光传播进行调制并利用其物理性质，衍射表面已经实现了全光线性变换
、
图像分类
、
脉冲整形
、
波传感和逻辑运算
。
利用光学计算促进三维感知将为高速低功耗应用场景提供前所未有的可能性，包括自动驾驶中超快障碍物避让
、
低功耗无人系统
、
节能智能工厂等
。

技术实现思路

[0003]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一
。
[0004]为此，本专利技术提出了一种全光智能计算三维感知系统，旨在使用光学计算方法解决现实世界的深度探测问题，实现高速
、
低功耗
、
可拓展的三维感知系统，基于衍射表面全光学解决深度探测任务
。
[0005]本专利技术的另一个目的在于提出一种针对任意形状物体三维感知的光学超像素建模和训练方法
。
[0006]本专利技术的第三个目的在于提出一种针对在不同照明和反射率条件下对任意形状物体实现鲁棒三维感知的超像素分类建模和训练方法
。
[0007]本专利技术的第四个目的在于提出一种针对具备先验形状信息物体的光学全局建模和训练方法
。
[0008]本专利技术的五个目的在于提出一种全光智能计算三维感知装置
。
[0009]为达上述目的，本专利技术一方面提出一种全光智能计算三维感知系统，包括参考光输入模块
、
全光学结构光编码模块
、
结构光照明模块
、
全光学反射光解码模块和三维信息采集模块；其中，所述参考光输入模块，包括工作波长的固态激光器，所述固态激光器用于产生激光束；所述全光学结构光编码模块，包括基于编码相位调制信息的相位调制器组成的编码衍射表面，所述编码衍射表面用于基于所述激光束调制波前相位以生成空间模式随深度变化的结构光；所述结构光照明模块，包括多个光学器件，所述多个光学器件用于将生成的所述结构光照射到物体表面；所述全光学反射光解码模块，包括基于解码相位调制信息的相位调制器组成的解码衍射表面，所述解码衍射表面用于对物体反射的结构光中的深度信息在输出平面进行光强映射；所述三维信息采集模块，用于利用光电探测器在输出平面获取光强信息以进行深度信息采集实现三维感知
。
[0010]本专利技术实施例的全光智能计算三维感知系统还可以具有以下附加技术特征：在本专利技术的一个实施例中，所述相位调制器包括空间光调制器，所述相位调制器用于确定每个像素对于结构光的幅度调制系数和相位调制系数；其中，每个像素是一个光学神经元
。
[0011]在本专利技术的一个实施例中，所述编码衍射表面或所述解码衍射表面之间通过自由空间传播构成特定功能的神经网络
。
[0012]为达上述目的，本专利技术另一方面提出一种针对任意形状物体三维感知的光学超像素建模和训练方法，包括：基于预设的第一超像素优化区域构建第一训练数据；利用所述第一训练数据训练超像素的编码和解码衍射表面中的第一神经元数据，以编码超像素的结构光的空间模式中的深度信息和解码超像素的结构光的反射的光学模式以确定第一目标深度信息；通过智能优化的光学连接将所述第一目标深度信息映射到输出平面兴趣区域的光强上
。
[0013]在本专利技术的一个实施例中，构建所述超像素的编码和解码衍射表面，包括：优化编码超像素和解码超像素使得结构光的传播约束在超像素区域内以得到结构光约束结果；基于所述结构光约束结果对优化后的编码超像素和解码超像素进行复制拼接以得到对应的编码衍射表面和解码智能衍射表面
。
[0014]在本专利技术的一个实施例中，所述第一训练数据，包括训练集
、
测试集和损失函数；所述第一神经元数据，包括神经元的幅度和相位调制系数
。
[0015]为达上述目的，本专利技术另一方面提出一种针对在不同照明和反射率条件下对任意形状物体实现鲁棒三维感知的超像素分类建模和训练方法，包括：基于预设的第二超像素优化区域构建第二训练数据；
利用所述第二训练数据训练超像素的编码和解码衍射表面中的第二神经元数据，以编码超像素的结构光的空间模式中的深度信息和解码超像素的结构光的反射的光学模式以确定第二目标深度信息；将第二目标深度信息划分为第一预设个数的深度区间，并将第一预设个数的深度区间映射到输出平面上第二预设个数的预设区域，以将最大光强度所在区域确定为分类结果
。
[0016]为达上述目的，本专利技术另一方面提出一种针对具备先验形状信息物体的光学全局建模和训练方法，包括：基于全局尺寸的优化区域构建第三训练数据；利用所述第三训练数据训练超像素的编码和解码衍射表面中的第三神经元数据，以编码超像素的结构光的空间模式中的深度信息和解码超像素的结构光的反射的光学模式以构成编码衍射表面和解码衍射表面；根据预设需求通过基于编码衍射表面和解码衍射本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种全光智能计算三维感知系统，其特征在于，包括：参考光输入模块
、
全光学结构光编码模块
、
结构光照明模块
、
全光学反射光解码模块和三维信息采集模块；其中，所述参考光输入模块，包括工作波长的固态激光器，所述固态激光器用于产生激光束；所述全光学结构光编码模块，包括基于编码相位调制信息的相位调制器组成的编码衍射表面，所述编码衍射表面用于基于所述激光束调制波前相位以生成空间模式随深度变化的结构光；所述结构光照明模块，包括多个光学器件，所述多个光学器件用于将生成的所述结构光照射到物体表面；所述全光学反射光解码模块，包括基于解码相位调制信息的相位调制器组成的解码衍射表面，所述解码衍射表面用于对物体反射的结构光中的深度信息在输出平面进行光强映射；所述三维信息采集模块，用于利用光电探测器在输出平面获取光强信息以进行深度信息采集实现三维感知
。2.
根据权利要求1所述的系统，其特征在于，所述相位调制器包括空间光调制器，所述相位调制器用于确定每个像素对于结构光的幅度调制系数和相位调制系数；其中，每个像素是一个光学神经元
。3.
根据权利要求1所述的系统，其特征在于，所述编码衍射表面或所述解码衍射表面之间通过自由空间传播构成特定功能的神经网络
。4.
应用于权利要求1‑3中任一一项所述的系统的针对任意形状物体三维感知的光学超像素建模和训练方法，其特征在于，所述方法包括：基于预设的第一超像素优化区域构建第一训练数据；利用所述第一训练数据训练超像素的编码和解码衍射表面中的第一神经元数据，以编码超像素的结构光的空间模式中的深度信息和解码超像素的结构光的反射的光学模式以确定第一目标深度信息；通过智能优化的光学连接将所述第一目标深度信息映射到输出平面兴趣区域的光强上
。5.
根据权利要求4所述的方法，其特征在于，构建所述超像素的编码和解码衍射表面，包括：优化编码超像素和解码超像素使得结构光的传播约束在超像素区域内得到结构光约束结果；基于所述结构光约束结果对优化后的编码超像素和解码超像素进行复制拼接以得到对应的编码衍射表面和解码智能衍射表面
。6.
根据权利要求4所述的方法，其特征在于，所述第一训练数...

【专利技术属性】
技术研发人员：方璐，戴琼海，严涛，周天贶，
申请(专利权)人：清华大学，
类型：发明
国别省市：