一种基于深度光学的轻量化双目立体视觉相机的成像方法和装置制造方法及图纸

本发明专利技术公开了一种基于深度光学的轻量化双目立体视觉相机的成像方法和成像装置，包括：构建物理成像模型，并基于物理成像模型编码得到预模拟左右视图；基于神经网络构建用于预测深度图和全焦图的生成模型，以预模拟左右视图作为生成模型的输入，对生成模型的参数和物理成像模型中左右光学元件的面型高度参数进行联合优化；按照优化的面型高度参数制造左右光学元件，并采用实拍方式获得左右光学元件的实际点扩散函数和编码得到再模拟左右视图；利用再模拟左右视图对生成模型再优化；采集实拍左右视图，并利用再优化后的生成模型预测高质量全焦图和深度图的预测。该成像方法和装置在不同场景下均能实现快速而准确的深度估计，提供可靠的距离信息。提供可靠的距离信息。提供可靠的距离信息。

【技术实现步骤摘要】
一种基于深度光学的轻量化双目立体视觉相机的成像方法和装置


[0001]本专利技术属于计算机视觉与光学设计的交叉领域，具体涉及一种基于深度光学的轻量化双目立体视觉相机的成像方法和装置。

技术介绍

[0002]由于双目视差的存在，人眼可以轻松地感知物体的远近，这就是立体视觉。而立体视觉相机则赋予机器人或其他设备类似人眼的功能，不仅能将三维空间通过光学系统映射到二维的传感器，还附带了深度信息，对三维重建、自动驾驶、机器人导航等工业界热门应用都具有重要价值。
[0003]深度信息的获取，即深度估计，是立体视觉相机的核心技术。随着技术发展，有许多手段可以直接测量得到准确的深度信息，例如经典的飞行时间技术(time
‑
of
‑
flight,TOF)。TOF技术通过出射光与传感器接收到经物体的反射光之间的时间差或者相位差，计算物体的深度，其中出射光往往是经过调制的近红外光。这类技术虽然测算精准，但需要额外的设备，不利于设备的轻量化和小型化。
[0004]此外，基于图像的深度估计，则根据拍摄得到的一个或多个视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度光学的轻量化双目立体视觉相机的成像方法，其特征在于，包括以下步骤：构建双目立体视觉相机中左右光学元件的物理成像模型，并基于物理成像模型编码得到预模拟左右视图；基于神经网络构建用于预测深度图和全焦图的生成模型，以预模拟左右视图作为生成模型的输入，对生成模型的参数和物理成像模型中左右光学元件的面型高度参数或透过率参数进行联合优化；按照优化的面型高度参数或透过率参数制造左右光学元件，将左右光学元件分别装配到双目立体视觉相机中并采用实拍方式获得左右光学元件的实际点扩散函数，基于实际点扩散函数和物理成像模型编码得到再模拟左右视图；利用再模拟左右视图对生成模型再优化；利用装配有左右光学元件的双目立体视觉相机采集实拍左右视图，并利用再优化后的生成模型基于实拍左右视图预测高质量全焦图和深度图。2.根据权利要求1所述的基于深度光学的轻量化双目立体视觉相机的成像方法，其特征在于，所述物理成像模型包括：获取的左右视角下的两组参考图，左右光学元件的两组面型高度参数或透过率参数，依据两组面型高度参数或透过率参数分别通过波传播理论推导的两组点扩散函数，其中，每组参考图包括高质量RGB图和深度图；所述基于物理成像模型编码得到预模拟左右视图，包括：将左右视角下两组参考图分别与左右光学元件对应的两组点扩散函数进行卷积计算以实现编码过程，得到预模拟左右视图。3.根据权利要求1所述的基于深度光学的轻量化双目立体视觉相机的成像方法，其特征在于，所述光学元件包括衍射光学元件、折射光学元件、振幅型掩模版；当光学元件为衍射光学元件或折射光学元件时，优化光学元件的面型高度参数；当光学元件为振幅型掩模版时，优化光学元件的透过率参数。4.根据权利要求1所述的基于深度光学的轻量化双目立体视觉相机的成像方法，其特征在于，所述生成模型包括基于生成式对抗网络或扩散模型构建的生成器。5.根据权利要求2所述的基于深度光学的轻量化双目立体视觉相机的成像方法，其特征在于，在对生成模型的参数和物理成像模型中左右光...

【专利技术属性】
技术研发人员：彭炳南，陈伟，祁冰芸，彭祎帆，王锐，李海峰，
申请(专利权)人：御光揽数杭州智能科技有限公司，
类型：发明
国别省市：