一种基于波前编码的双目立体视觉三维重建系统和方法技术方案

本发明专利技术属于计算机视觉技术领域，具体为一种基于波前编码的双目立体视觉的三维重建系统和方法。本发明专利技术系统包括两个编码相机、调节架及计算机处理系统；编码相机包括自由曲面相位板和光学成像系统、图像传感器；相位板放置在光学成像系统的入瞳位置，构成编码相机；图像传感器将采集到的图像传到计算机处理系统。两个编码相机固定在调节架上，光轴相互平行，采集两幅具有视差的编码图像用于双目立体视觉的三维重建。三维重建方法包括：编码图像的生成和采集；编码相机标定；解码图像特征点提取；立体匹配；计算深度；三维空间点重建。本发明专利技术可以扩展双目相机景深，提高深度测量精度，在机器人导航、自动驾驶、医疗影像等领域具有广泛的应用前景。广泛的应用前景。广泛的应用前景。

【技术实现步骤摘要】
一种基于波前编码的双目立体视觉三维重建系统和方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于波前编码的双目立体视觉三维重建系统和方法。

技术介绍

[0002]传统立体成像系统在成像体积和信噪比之间需要进行权衡，因为光圈的大小对这两个变量的影响相互冲突。光圈越小，成像体积就越小，但信噪比会降低；而光圈越大，成像体积就越大，但信噪比会提高。如果要获得清晰的图像特征，就需要确保相机的景深足够大以覆盖整个体积。同时光圈面积的缩小将降低到达传感器的通光亮。所以，在光线环境受限的情况下难以获得大体积、高质量和高分辨率的立体三维重建图像。
[0003]此外，深度学习算法和图像处理技术可以通过训练模型来学习图像的特征和模式，从而提高图像的清晰度和减少噪声的影响。但它们是对于成像系统获得图像的优化，优化结果受到中间图像质量的限制。而处于不同深度的物体在同一图像中模糊程度不同，这样的图像难以恢复到所需的清晰水平。
[0004]相比之下，波前编码技术联合光学成像阶段和数字处理阶段，具体表现为利用相位板对波前信息进行编码调制，使其在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于波前编码的双目立体视觉的三维重建系统，其特征在于，包括：两个相同的编码相机、一个调节架及计算机处理系统；其中：所述编码相机，由自由曲面相位板和光学成像系统、图像传感器三部分组成；所述自由曲面相位板放置在光学成像系统的入瞳位置，构成编码光学镜头；编码光学镜头和图像传感器的相对位置通过螺纹调节和固定，使光学镜头成像在图像传感器上；所述自由曲面相位板对待观测物体的光场进行编码，经过编码光学镜头得到编码图像；图像传感器将采集到的编码图像传输到计算机处理系统中，供后续处理使用；所述两个编码相机固定在调节架上，调节调节架使两个编码相机光轴相互平行，使用编码相机采集两幅具有视差的编码图像，用于双目立体视觉的三维重建；所述的计算机处理系统，用于驱动两个编码相机进行编码图像的采集，并且通过其中的解码网络对左右两幅编码图像进行解码，获得清晰的纹理图像；再根据解码图像计算深度信息，实现三维重建。2.根据权利要求1所述的三维重建系统，其特征在于，所述编码相机中：(1)自由曲面相位板采用高阶多项式类型：z(x,y)＝α(x3+y3)+β(x7+y7)+ω(x
11
+y
11
)，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，z是相位板面型矢高，x和y是相位板位置坐标；α，β，ω分别为相位板多项式面型函数参数的三次项、七次项、和十一次项系数，三个参数参由联合优化网络优化；光线经过相位板产生光程差，引入的相位变化为：其中，n为相位板相对折射率；(2)设定景深扩展目标，依据需求对于景深扩展范围进行设计；选择不同的离焦位置的点扩散函数或者调制传递函数与正焦位置的结果进行比较，计算偏离程度，为相位板参数优化做准备；(3)利用光学设计平台和编程软件进行参数的联合优化；具体过程为：使用光学设计平台获取点扩散函数或者调制传递函数的信息，以不同位置的离焦一致性作为优化目标，传递到编程软件进行参数的优化；(4)联合优化后得到高阶相位板的参数，使用蒙特卡罗模拟得到相位板加工误差和装配公差；检测是否满足加工要求；将加工的高阶相位板立体对放置在双目相机入瞳处使用固定装置固定，组装成编码相机。3.根据权利要求2所述的三维重建系统，其特征在于，所述解码网络，其编解码过程为：(1)建立建立视差相关的编码相机点扩散函数的数学模型；编码相机中引入相位板，相移由离焦相移和相位板引入的相移两部分组成；通过建立视差相关的点扩散函数数学模型，对仿真的不同视差的点扩散函数进行旋转、缩放、加噪声处理以增强网络的鲁棒性，并获得点扩散函数数据集，为下一步的清晰图像编码做准备；(2)输入左右清晰图像对，利用仿真点扩散函数进行编码；给定左右清晰图像数据集作为输入；然后，从步骤1中的点扩散函数数据集中随机挑选一些点扩散函数和清晰图像卷积，并随机添加加性高斯噪声，获得编码图像；(3)对编码图像解码，训练网络参数
使用这些包含噪声的编码图像，训练解码网络；利用深度学习方法如生成对抗网络中的生成器生成解码图像，通过最小化重建纹理图像和真实清晰图像之间的差距优化网络参数。4.根据权利要求3所述的三维重建系统，其特征在于，所述解码网络中：(1)所述建立视差相关的编码相机点扩散函数的数学模型，具体为：假设光瞳为圆形，波前编码成像系统在二维平面的相位函数P(x,y)表达为：其中:(x,y)为光瞳的空间坐标，D为入瞳直径，和分别为离焦和相位板引起的相位变化；离焦引起的相位变化表示为视差相关的函数:λ为入射光的波长，f为焦距，b为两个视图之间的基线，d0为正焦情况下对应的视差值，d为离焦情况下的视差值；利用光学设计平台获得不同视差下的点扩散函数仿真数据，进一步进行旋转、缩放、加噪声处理以增强网络的鲁棒性，并获得点扩散函数数据集；(2)所述输入左右清晰图像对，利用仿真点扩散函数进行编码，具体为：给定左右清晰图像数据集作为输入；然后，从(1)中的点扩散函数数据集中随机挑选一些点扩散函数和清晰图像进行卷积，并随机添加加性高斯噪声，获得编码图像；I
out
＝I
in
*PSF(x,y)+AGWN，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)I
out
为编码图像，I
in

【专利技术属性】
技术研发人员：王军华，吕宇星，李一丹，胡凯，蒋颖，叶璐，
申请(专利权)人：复旦大学，
类型：发明
国别省市：