基于NUFFT和Unet的可控倾斜全息图重建方法技术

本发明专利技术公开了一种基于NUFFT和Unet的的可控倾斜全息图重建方法，技术思路是：将Unet网络生成全息图的过程当做一个优化过程，首先通过Unet网络直接生成初始全息图，然后通过预设的传播模型得到想要的倾斜图像，而后利用损失函数的梯度下降算法优化全息图及Unet网络；在优化过程中，可以利用预设的传播模型控制生成图像的倾斜程度。相比获得全息图的传统方法，本发明专利技术重建得到的全息图，具有图像质量高、有连续深度线索和无用户视角限制等优点，能给予使用者更好的体验，有望在AR/XR等场景中获得实际应用。实际应用。实际应用。

【技术实现步骤摘要】
基于NUFFT和Unet的可控倾斜全息图重建方法


[0001]本专利技术属于全息显示
，具体涉及一种结合NUFFT和Unet的可控倾斜全息图重建方法。

技术介绍

[0002]随着深度学习的发展，以及终端设备算力的提升，深度学习已经被应用于很多场景中。全息显示能重建真实的三维光场，为使用者带来真实的深度线索，被认为是下一代AR、VR或XR中最有应用前景的技术，它将给工业、教育、游戏、医疗等领域带来革命性的变化。但传统算法在生成全息图时仍然需要多次迭代，计算时间长，难以应用于现实生活场景中。而在目前已经商业化的AR、VR或XR产品中，往往通过给左右眼提供不同的图像来实现双目视觉差，或者虚化背景图像提供心理暗示等方式为使用者提供观看立体图像的感受。这些基于平面光显示的技术最大的问题是不能提供单目深度线索，因此会导致长时间使用产品后产生视觉疲劳、头晕和由辐辏冲突引起的恶心等不适。全息三维显示是一种利用波前信息实现三维场景重建的显示方式，它可以准确地重建三维目标的强度和深度信息。近年来长足发展的计算全息技术可以省去传统全息技术中复杂的干涉记录过程，利用空间光调制器和计算机数值计算出的全息图即可实现全息显示的过程。因此，将深度学习与全息显示相结合，省去生成全息图时的迭代过程，将成为未来全息显示发展的优选方案。
[0003]在计算全息中，为了得到某一位置的光场传播一定距离后新的光场分布，需要使用衍射算法，常见的衍射算法有点源法和角谱法。点源法通过计算目标场中每个点的衍射并进行叠加来得到衍射后的平面光场分布，优点是可以计算三维目标的衍射，缺点是计算速度慢。角谱法通过对复场分布做傅立叶分析，计算平面光场在空间上沿特定方向传播后角谱的变化，优点是计算速度快，缺点是只能计算平行光的衍射，难以提供光场在空间中连续传播的深度线索，同时也极大地限制了用户在使用中的观察视角。

技术实现思路

[0004]本专利技术旨在提出一种基于NUFFT和Unet的可控倾斜全息图重建方法，技术思路是：将Unet网络生成全息图的过程当做一个优化过程，首先通过Unet网络直接生成初始全息图，然后通过预设的传播模型得到想要的倾斜图像，而后利用损失函数的梯度下降算法优化全息图及Unet网络；在优化过程中，可以利用预设的传播模型控制生成图像的倾斜程度。相比获得全息图的传统方法，本专利技术重建得到的全息图，具有图像质量高、有连续深度线索和无用户视角限制等优点，能给予使用者更好的体验，有望在AR/XR等场景中获得实际应用。
[0005]本专利技术的技术方案如下：
[0006]基于NUFFT和Unet的可控倾斜全息图重建方法，包括以下4个步骤：
[0007]步骤1：根据输入的目标图像通过Unet网络生成初始全息图的相位值。而后通过复数操作获得初始全息图。对于初始全息图的相位值，一种替代方案是使用在(
‑
π，π)内的随
机相位作为初始全息图的相位值。
[0008]步骤2：利用传统衍射算法(角谱法)从初始全息图重建全息平面图像，得到重建的复振幅光场。而后通过NUFFT即非均匀傅里叶变换的方法得到全息平面图像旋转一定角度后的倾斜光场。并将多个重建平面图像叠加得到重建的立体图像。最终将重建的振幅和目标立体图像代入损失函数，得到立体图像的总振幅损失值。
[0009]步骤3：将损失值对全息图Ho进行梯度计算，根据反向传播算法对初始全息图进行优化。若要对Unet进行训练，则将梯度再向Unet网络传播，对Unet网络持续优化。当优化的次数满足设定的次数，或重建图像的质量达到要求后，停止优化过程。
[0010]步骤4：将优化后的全息图或使用Unet网络生成的全息图加载到空间光调制器上，获得立体图像的重建。
[0011]进一步，所述的Unet网络是指预先设定的可进行优化的图像生成结构，其参数由实际场景需求决定。输入与输出大小应为2的n次方的倍数，n表示网络层数。
[0012]进一步，所述的复数操作是指将振幅为定值的光场与生成的相位值进行叠加得到的复数光场。
[0013]进一步，在(
‑
π，π)内的随机相位是指在其范围内的任意值。
[0014]进一步，所述的利用衍射算法从初始全息图重建全息图像，得到重建的复振幅光场是指使用角谱法或其他计算过程可微分的衍射算法计算全息图在目标平面重建的复振幅光场分布。
[0015]进一步，所述的NUFFT即非均匀傅里叶变换，是指当频域采样的空间频率不再是均匀时，可以通过输入非均匀的采样频率进行采样达到快速傅里叶变换效果的方法。
[0016]进一步，所述的重建图像的倾斜程度是指重建图像所在平面与空间光调制器所在平面的夹角。由于在图像任意位置，光场沿中轴线的旋转中，其频域的变化体现在采样频率的变化中，不同的采样频率可以控制图像不同的倾斜程度。因此可以通过改变采样频率来控制重建图像的倾斜程度。
[0017]进一步，所述的重建立体图像是指在对应的衍射平面处接收重建的全息图像的叠加，同时在叠加的过程中考虑且仅考虑所需要优化的部分，其他部分以置零的方式避免图像内容的重复计算。
[0018]进一步，所述的初始全息图或Unet生成的全息图是指纯相位全息图。由于现有的商业化空间光调制器只有纯相位型或纯振幅型，而纯相位型空间光调制器衍射效率更高，所以本专利技术计算得到的是纯相位全息图。
[0019]进一步，所述的损失函数是指均方损失函数。
[0020]进一步，所述的总损失值是指立体图像中每一层重建图像的振幅与对应的目标代入损失函数计算得到的损失值，再根据这层图像的面积进行加权求和得到的总损失值。
[0021]进一步，将损失值对全息图Ho进行梯度计算，根据反向传播算法对初始全息图进行优化是指将计算得到的总损失函数loss对初始平面上纯相位全息图Ho进行梯度计算，得到梯度值根据反向传播公式Hi＝Ho
‑
lr*Grad，得到更新后的纯相位全息图Hi，其中lr是学习率。
[0022]进一步，所述的持续优化，是指不断重复将全息图重建、计算总损失值、进行梯度计算，最后根据反向传播算法对全息图进行更新的过程。
[0023]进一步，所述的当优化次数满足设定的次数，或重建图像质量达到要求后，停止优化过程是指优化的次数达到设定的上限，或重建的图像通过图像质量评估函数计算得到的分数达到设定的阈值时，停止优化，并保留最后一次迭代得到的全息图作为优化后的全息图。
[0024]进一步，所述的空间光调制器是指纯相位空间光调制器。当一级衍射像与二级衍射像在重建平面产生叠加时，还需要使用4f系统滤波消除二级衍射及更高级的衍射图像。
[0025]本专利技术的有益效果在于：
[0026]1)获得可调节的倾斜图像：本专利技术是一种迭代优化方法，可以通过重建过程中重建图像的倾斜度，使得计算全息图的重建图像不断向设定的目标优化。由于重建图像的倾斜度由传播过程对图像的采样频率决定，因此可以通过改变采样频率来实现对图像倾斜度的调节本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于NUFFT和Unet的可控倾斜全息图重建方法，其特征在于，包括以下步骤：步骤1：根据输入的目标图像通过Unet网络生成初始全息图的相位值，而后通过复数操作获得初始全息图；步骤2：利用角谱法从初始全息图重建全息平面图像，得到重建的复振幅光场，而后通过NUFFT即非均匀傅里叶变换的方法得到全息平面图像旋转后的倾斜光场，将多个重建平面图像叠加得到重建的立体图像，将重建的振幅和目标立体图像代入损失函数，得到立体图像的总振幅损失值；步骤3：将损失值对全息图Ho进行梯度的计算，根据反向传播算法对初始全息图进行优化，若要对Unet网络进行训练，则将梯度再向Unet网络传播，对Unet网络持续优化，当优化的次数满足设定的次数，或重建图像的质量达到要求后，停止优化过程；步骤4：将优化好的全息图或使用Unet网络生成的全息图加载到空间光调制器上，从而获得立体图像的重建。2.根据权利要求1所述的基于NUFFT和Unet的可控倾斜全息图重建方法，其特征在于，在步骤1中Unet网络用于生成仅表示相位的全息图，且Unet网络生成的全息图是纯相位全息图；对于初始全息图的相位值，使用在[
‑
π，π]内的随机相位...

【专利技术属性】
技术研发人员：乐孜纯，郑宇杭，沈晨航，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：