【技术实现步骤摘要】
本申请涉及计算成像，特别涉及一种基于波动光学的全息计算方法、装置、电子设备及介质。
技术介绍
1、相关技术中，主要通过光学器件对光信号进行精准调控，实现场景全视觉信息重建的3d显示技术，能够提供人眼所需的全部视觉深度提示信息，有效缓解人眼疲劳的显示体验。
2、然而，相关技术中，由于目前的全息显示算法，采用的是单个观测位置下基于场景内容进行建模求解全息图的方法，缺少场景在多个观测位置下的信息全局表征，导致全息图的计算受到了视点数目和计算资源的限制，无法实时地对复杂场景进行不同观测位置下的全息图生成与高质量显示，严重制约了计算全息显示技术的实际显示效果和使用体验。
技术实现思路
1、本申请提供一种基于波动光学的全息计算方法、装置、电子设备及存储介质，以解决了相关技术中，由于在单个观测位置下基于场景内容进行建模求解全息图，导致缺乏对场景在多个观测位置下的信息全局表征，容易造成视线范围受限，增加计算的成本，影响全息图计算的实时性，且降低了处理复杂场景的能力等问题。
2、本申请第一方面实施例提供一种基于波动光学的全息计算方法，包括以下步骤：采集场景在多个观测位置下的rgb真值图和对应的观测位姿信息；从所述多个观测位置中选择参考观测位置，根据所述参考观测位置及对应的第一观测位姿信息构造所述参考观测位置下的第一特征图体空间及对应的第一可学习特征值；在除所述参考观测位置之外剩余的多个观测位置中选择训练观测位置，根据所述训练观测位置对应的第二观测位姿信息和所述第一观测位姿信息
3、可选地，在本申请的一个实施例中，所述第二可学习特征值为：
4、
5、其中，为可学习特征值，可以为但不限于插值操作，为参考观测位置的特征体空间，⊙可以为旋转操作，为训练观测位置的特征体空间。
6、可选地，在本申请的一个实施例中，所述基于所述第二可学习特征值构建多层卷积神经网络，包括：将所述第二可学习特征值沿着z方向分布为第一至第n层特征值，累加n层特征值，以输出n层对应的全息图，其中，n为正整数。
7、可选地，在本申请的一个实施例中，所述全息图为：
8、
9、其中，为训练观测位置下的全息图，cnnd为卷积神经网络，为第d层的特征值。
10、可选地，在本申请的一个实施例中，所述重建图像为：
11、
12、其中，recontrain为训练观测位置下的重建图像，diffrac可以为菲涅尔或角谱传播方法，但不限于菲涅尔或角谱传播法，为训练观测位置下的全息图；
13、所述损失函数为：
14、
15、其中，为损失函数，posetrain为训练观测位置的位姿信息，loss为损失函数计算过程，recontrain为训练观测位置下的重建图像，rgbtrain为训练观测位置下的rgb真值图。
16、本申请第二方面实施例提供一种基于波动光学的全息计算装置，包括：采集模块，用于采集场景在多个观测位置下的rgb真值图和对应的观测位姿信息；构造模块，用于从所述多个观测位置中选择参考观测位置，根据所述参考观测位置及对应的第一观测位姿信息构造所述参考观测位置下的第一特征图体空间及对应的第一可学习特征值；第一计算模块，用于在除所述参考观测位置之外剩余的多个观测位置中选择训练观测位置，根据所述训练观测位置对应的第二观测位姿信息和所述第一观测位姿信息计算观测位置之间的旋转矩阵，并根据所述第一特征图体空间和所述旋转矩阵计算所述训练观测位置的第二特征图体空间，以得到所述第二特征图体空间对应的第二可学习特征值；第二计算模块，用于基于所述第二可学习特征值构建多层卷积神经网络，输出训练观测位置下的全息图，并根据所述全息图计算所述训练观测位置下的重建图像，以根据所述重建图像和所述训练观测位置下的rgb真值图计算损失函数，直至所有观测位置完成训练，得到最终卷积神经网络，以计算任意观测位置下的全息图。
17、可选地，在本申请的一个实施例中，所述第二可学习特征值为：
18、
19、其中，为可学习特征值，可以为但不限于插值操作，为参考观测位置的特征体空间，⊙可以为旋转操作，为训练观测位置的特征体空间。
20、可选地，在本申请的一个实施例中，所述第二计算模块还用于将所述第二可学习特征值沿着z方向分布为第一至第n层特征值，累加n层特征值，以输出n层对应的全息图，其中，n为正整数。
21、可选地，在本申请的一个实施例中，所述全息图为：
22、
23、其中，为训练观测位置下的全息图，cnnd为卷积神经网络，为第d层的特征值。
24、可选地，在本申请的一个实施例中，所述重建图像为：
25、
26、其中，recontrain为训练观测位置下的重建图像，diffrac可以为菲涅尔或角谱传播方法，但不限于菲涅尔或角谱传播法，为训练观测位置下的全息图；
27、所述损失函数为：
28、
29、其中，为损失函数，posetrain为训练观测位置的位姿信息，loss为损失函数计算过程，recontrain为训练观测位置下的重建图像，rgbtrain为训练观测位置下的rgb真值图。
30、本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于波动光学的全息计算方法。
31、本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于波动光学的全息计算方法。
32、本申请实施例可以采集场景在多个观测位置下的rgb真值图和对应的观测位姿信息，可以构造参考观测位置下的第一特征图体空间及对应的第一可学习特征值，通过选择训练观测位置，可以计算观测位置之间的旋转矩阵并计算第二特征图体空间，以得到对应的第二可学习特征值，可以构建多层卷积神经网络，输出训练观测位置下的全息图，并计算训练观测位置下的重建图像，以计算损失函数，直至完成训练得到最终卷积神经网络，从而可以快速高效地生成场景在不同观测位置下的全息图，提高全息显示的实时性，并有效提高图像的分辨率和质量。由此，解决了相关技术中，由于在单个观测位置下基于场景内容进行建模求解全息图，导致缺乏对场景在多个观测位置下的信息全局表征，容易造成视本文档来自技高网...
【技术保护点】
1.一种基于波动光学的全息计算方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述第二可学习特征值为：
3.根据权利要求1所述的方法，其特征在于，所述基于所述第二可学习特征值构建多层卷积神经网络，包括：
4.根据权利要求3所述的方法，其特征在于，所述全息图为：
5.根据权利要求4所述的方法，其特征在于，其中，
6.一种基于波动光学的全息计算装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，所述第二可学习特征值为：
8.根据权利要求6所述的装置，其特征在于，所述第二计算模块还用于将所述第二可学习特征值沿着z方向分布为第一至第N层特征值，累加N层特征值，以输出N层对应的全息图，其中，N为正整数。
9.根据权利要求8所述的装置，其特征在于，所述全息图为：
10.根据权利要求9所述的装置，其特征在于，其中，
11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的基于波动光学的全息计算方法。
...【技术特征摘要】
1.一种基于波动光学的全息计算方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述第二可学习特征值为：
3.根据权利要求1所述的方法，其特征在于，所述基于所述第二可学习特征值构建多层卷积神经网络，包括：
4.根据权利要求3所述的方法，其特征在于，所述全息图为：
5.根据权利要求4所述的方法，其特征在于，其中，
6.一种基于波动光学的全息计算装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，所述第二可学习特征值为：
8.根据权利要求6所述的装置，其特征在于，所述第二计算模块还用于将所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。