基于深度学习的大尺寸二维计算全息图实时生成方法技术

本发明专利技术的一种基于深度学习的大尺寸二维计算全息图实时生成方法，包括利用分解法消除大尺寸图像的不同图像块之间的数据依赖性，之后利用带宽补偿和空间位移补偿来确保不同图像块在全息平面中的正确映射；在消除了图像块之间的数据依赖性后，利用深度学习中U

【技术实现步骤摘要】
基于深度学习的大尺寸二维计算全息图实时生成方法


[0001]本专利技术涉及计算机全息
，具体涉及一种深度学习的大尺寸二维计算全息图实时生成方法。

技术介绍

[0002]计算机生成全息图(Computer
‑
generated Hologram，CGH)所呈现具有连续深度感觉的三维(3D)场景的能力对虚拟和增强现实、人机交互、医学成像等方面产生了深远的影响，因而CGH的应用被认为是最有前途的3D显示候选技术。
[0003]传统的计算全息技术可以在相对较宽的观察范围内捕获干涉图案，这通常是利用光调制设备改变光的振幅或相位，以逐像素获取的方式得以实现。在相同尺寸下，人眼的3D双目视场的灵敏度为147亿像素，因此，CGH计算需要在物体和全息图平面上至少处理十亿像素大小的数据。此外，针对大尺寸的数据，全息显示器需要巨大的空间带宽以满足视场角度和奈奎斯特采样的要求，逐个扫描的方式在这种数据量大的全息图的实时生成中很难适用，并且这种情况下，如果通过常规迭代的方法处理会出现消耗内存、速率低下等问题。
[0004]在对CGH计算的实现中，由于计算纯相位的CGH的问题是一个不适定问题，即：解决方案的数量是多种的或者不确定的，在这里常见的解决方式有迭代投影算法或非凸的优化方法等，但采用这些方法都会面临着计算量大、消耗时间长以及对硬件要求高等挑战。这里已经提出了几种非迭代方法来实现快速计算CGH，比如空间复用和相位编码等。然而，这些方法涉及到的复杂调制以及对分辨率的牺牲依然会导致较大的误差，难以十分准确的测量。所有这些处理CGH方法主要依赖于耗时的迭代算法，这些算法必须执行多次循环迭代才能得到可行的解决方案，并且最终生成的图像质量也不高。
[0005]深度学习技术解决了许多过去计算成像领域难以解决的难题，还在信息获取能力、成像的功能、核心性能指标(如成像空间分辨率、时间分辨率、灵敏度等)上获得了显著提升。将深度学习应用到处理CGH计算中，不仅可以保证生成质量，同时也可以实现实时生成。
[0006]但是，如果直接使用深度学习训练大尺寸的数据，会面临着对内存要求太高，训练时间过长等瓶颈，这些限制都会对实时捕获二维全息图产生一些不良影响。因此考虑可以对原先大尺寸的数据进行分解处理，将分解后的子对象采用深度学习方法分别生成对应的子全息图最后再进行合成与叠加以获得原始数据的全息图。

技术实现思路

[0007]本专利技术提出的一种深度学习的大尺寸二维计算全息图实时生成方法，可解决上述技术背景中的问题。
[0008]为实现上述目的，本专利技术采用了以下技术方案：
[0009]一种深度学习的大尺寸二维计算全息图实时生成方法，包括以下步骤，
[0010]利用分解法将待处理大尺寸目标图像沿横向和纵向等分成若干份，得到若干个子
目标图像；之后利用带宽补偿和空间位移补偿来确保子图像块在全息平面中的正确映射；
[0011]在消除了图像块之间的数据依赖性后，利用深度学习中U
‑
net架构通过非迭代生成经过补偿后得到图像块对应的子子全息图，再利用空间移位将同一图像块在不同空间位置生成的子子全息图合成为一幅子全息图；
[0012]最后将不同图像块对应的子全息图进行复振幅叠加并提取相位得到最终全息图。
[0013]进一步的，利用分解法将待处理大尺寸目标图像沿横向和纵向等分成若干份，得到若干个子目标图像；之后利用带宽补偿和空间位移补偿来确保子图像块在全息平面中的正确映射，具体包括：
[0014]设计算N
×
N大小的二维大尺寸数据的CGH，需要对一个N
×
N大小的二维目标进行FFT操作，对于二维离散傅里叶变化，其中N个数据点相互依赖；
[0015]将对象分解为K个子对象，针对每个子对象进行二维傅里叶变换，通过以K为周期，划分成K个子周期，使其仅在Δf
s
区间有数据，而Δk子区间所需的数据通过傅里叶变换的移位特性生成，最终生成K个大小为N
×
N的子全息图，每个子全息图对应一个子对象，若成功地以原始分辨率重建子对象，则数据依赖性被打破；
[0016][0017][0018]P
BC
＝e
‑
i(kΔKpΔx+jΔJqΔy)
[0019]其中，F(nΔf
s
+kΔK,mΔg
s
+jΔJ)表示插值运算，(nΔf
s
+kΔK,mΔg
s
+jΔJ)表示进行插值运算傅里叶平面的坐标，Δf
s
和Δg
s
分别表示傅里叶平面横向采样间隔和纵向采样间隔，Δx和Δy分别表示空间平面横向采样间隔和纵向采样间隔，O(pΔx,qΔy)表示空间平面的数据点，用于表示傅里叶平面数据点的位置；K表示待处理大尺寸目标图像横纵方向分解的份数；ΔK表示将Δf
s
分成K份，ΔJ表示将Δg
s
分成K份，k＝1,2,
…
,K；j＝1,2,
…
,K；kΔK、jΔJ表示进行插值运算的横纵最小间隔，P
BC
表示插值运算的傅里叶展开形式；
[0020]所有Δk个子对象都在中心被重建，为了将它们移回原来的位置，针对这里存在的差值项，采用使其与相位补偿项数之间相乘，如下所示；
[0021][0022]Lp1＝exp[
‑
i(kΔKpΔx+jΔJqΔy)][0023]Lp2＝exp[
‑
i(s1nΔf
s
pΔx+s2mΔg
s
qΔy)][0024][0025]其中，F(nΔf
s
+kΔK,mΔg
s
+jΔJ)f(s1nΔf
s
,s2mΔg
s
)表示移位运算，s1、s2为中间变量，s1nΔf和s2mΔg
s
分别表示移位运算的横向间隔和纵向间隔，相位补偿中划分为带宽补偿Lp1与位置补偿Lp2。
[0026]进一步的，在消除了图像块之间的数据依赖性后，对每个子目标图像块进行处理；利用深度学习中U
‑
net架构通过非迭代生成经过补偿后得到图像块对应的子子全息图，再利用空间移位将同一图像块在不同空间位置生成的子子全息图合成为一幅子全息图，具体包括：
[0027]全息编码器的编码器部分采用U
‑
Net结构实现，U
‑
Net网络包括卷积层、最大池化层即下采样区、反卷积层上采样区以及ReLU非线性激活函数，整个网络分为若干层，利用端到端的映射，每一层都有对应的上采样以及下采样区，每一层的输入对应的输出都作为下一层的输入，在上采样过程中用到了下采样的结果；
[0028]首先将目标图像输入U
‑
net，后来通过U
‑
net结构输出预测相位获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的大尺寸二维计算全息图实时生成方法，其特征在于，包括以下步骤，利用分解法将待处理大尺寸目标图像沿横向和纵向等分成若干份，得到若干个子目标图像；之后利用带宽补偿和空间位移补偿来确保子图像块在全息平面中的正确映射；在消除了图像块之间的数据依赖性后，对每个子目标图像块进行处理；利用深度学习中U
‑
net架构通过非迭代生成经过补偿后得到图像块对应的子子全息图，再利用空间移位将同一图像块在不同空间位置生成的子子全息图合成为一幅子全息图；最后将不同图像块对应的子全息图进行复振幅叠加并提取相位得到最终全息图。2.根据权利要求1所述的深度学习的大尺寸二维计算全息图实时生成方法，其特征在于：利用分解法将待处理大尺寸目标图像沿横向和纵向等分成若干份，得到若干个子目标图像；之后利用带宽补偿和空间位移补偿来确保子图像块在全息平面中的正确映射；具体包括：设计算N
×
N大小的二维大尺寸数据的CGH，需要对一个N
×
N大小的二维目标进行FFT操作，对于二维离散傅里叶变化，其中N个数据点相互依赖；将对象分解为K个子对象，针对每个子对象进行二维傅里叶变换，通过以K为周期，划分成K个子周期，使其仅在Δf
s
区间有数据，而Δk子区间所需的数据通过傅里叶变换的移位特性生成，最终生成K个大小为N
×
N的子全息图，每个子全息图对应一个子对象，若成功地以原始分辨率重建子对象，则数据依赖性被打破；始分辨率重建子对象，则数据依赖性被打破；P
BC
＝e
‑
i(kΔKpΔx+jΔJqΔy)
其中，F(nΔf
s
+kΔK,mΔg
s
+jΔJ)表示插值运算，(nΔf
s
+kΔK,mΔg
s
+jΔJ)表示进行插值运算傅里叶平面的坐标，Δf
s
和Δg
s
分别表示傅里叶平面横向采样间隔和纵向采样间隔，Δx和Δy分别表示空间平面横向采样间隔和纵向采样间隔，O(pΔx,qΔy)表示空间平面的数据点，用于表示傅里叶平面数据点的位置；K表示待处理大尺寸目标图像横纵方向分解的份数；ΔK表示将Δf
...

【专利技术属性】
技术研发人员：张成，张如，张莉茹，陈明生，吴峰，沈川，程鸿，韦穗，
申请(专利权)人：安徽大学，
类型：发明
国别省市：