基于卷积神经网络的超分辨率集成成像3D显示方法技术

提供一种基于卷积神经网络的超分辨率集成成像3D显示技术，其主要步骤包括：通过微透镜阵列采集三维场景信息生成低分辨率元素图像及其对应的噪声矩阵与高分辨率元素图像；将低分辨率元素图像与随机噪声矩阵作为输入，通过训练好的NSRNet神经网络生成高分辨率重建图像；将高分辨率重建图像与原始高分辨率图像进行基于权重的像素级融合得到最终的高质量重建图像，从而实现了对集成成像3D显示技术中空间分辨率和噪声的双重优化。本方法可以快速高效生成元素图像阵列，降低图像噪声和模糊程度，有效提高集成成像3D显示的重建图像的质量。量。量。

【技术实现步骤摘要】
基于卷积神经网络的超分辨率集成成像3D显示方法


[0001]本专利技术涉及集成成像技术，更具体的说，本专利技术涉及一种基于卷积神经网络的超分辨率集成成像3D显示技术。

技术介绍

[0002]集成成像3D显示技术是一种利用微透镜阵列来采集并重建三维场景信息的裸眼3D立体成像技术。在该技术中，微透镜阵列起到采集和重建的作用，在每个微透镜上获取不同视角的元素图像并通过合成元素图像阵列将其重建成完整的立体图像。集成成像3D显示技术受其信息采集过程中的元素图像数目限制，使重构图像的空间分辨率较低。此外，由于系统噪声和微透镜阵列的像差等因素的影响，集成成像3D显示技术在3D信息的重建过程中会引入一定程度的噪声模糊。
[0003]深度学习中的卷积神经网络近年来在图像处理领域展现出了广泛的应用前景。传统的集成成像重建算法在处理复杂的高分辨率图像时常常存在着计算复杂度高、噪声模糊严重、图像细节损失等问题。而训练卷积神经网络得到的超分辨率神经网络模型可以有效弥补这些问题，提高集成成像元素图像阵列重建的质量和速度。在集成成像3D显示领域中，将深度学习应用于元素图像阵列的生成，能够显著降低图像的生成时间，同时还能有效提升元素图像阵列的分辨率和图像质量。
[0004]例如，专利CN 109147036 A提出了一种基于深度学习的集成成像微图像阵列快速生成方法，该方法包括三维场景稀疏视差信息的获取、低分辨率微图像阵列的合成和高分辨率微图像阵列的重建三个过程。也就是说，该方法通过利用基于深度学习的快速卷积神经网络图像超分辨率算法实现三维场景的高分辨率重建。但该方法中网络模型的高分辨率处理过程耗时较长，同时低分辨率元素图像的生成过程也带来了噪声模糊的问题。
[0005]例如，专利CN 106067162 B公开了一种集成成像超分辨率微单元图像阵列采集与重构方法，该方法包括设置多值编码掩膜阵列、获取低分辨率压缩编码微单元图像阵列、图像预处理和重构超分辨率微单元图像阵列四个过程。该方法通过在微透镜阵列的中间像平面添加多值编码掩膜阵列，记录多幅低分辨率压缩编码微单元图像阵列，采用稀疏优化重构算法获得超分辨率微单元图像阵列。该方法需要将将多值编码掩膜阵列置于集成成像模型中微透镜阵列的中间像平面处，因此需要对多值编码掩膜阵列上的每个正方形区域中心与每个微透镜中心进行对准操作，增加了系统的复杂度，存在系统操作不便、占用体积较大的问题。此外，该方法需要通过中值滤波器对获得的多幅低分辨率压缩编码微单元图像阵列进行预处理，滤除多幅低分辨率压缩编码微单元图像阵列中的噪声，存在计算复杂度较高引起的图像处理时间较长、显示效果不佳的问题。
[0006]鉴于上述，本专利技术旨在提供一种基于卷积神经网络的超分辨率集成成像3D显示方法，来解决上述的一个或多个技术问题。

技术实现思路

[0007]为了解决现有技术中的一个或多个技术问题，根据本专利技术一方面，提供了一种基于卷积神经网络的超分辨率集成成像3D显示方法，其特征在于包括以下步骤：
[0008]根据多个不同三维场景获取不同视角的低分辨率元素图像及其对应的同视角高分辨率元素图像；
[0009]将低分辨率元素图像及其对应的高分辨率元素图像分别合成为大量的对应的元素图像阵列；
[0010]采集每一低分辨率元素图像阵列对应的噪声矩阵；
[0011]将低分辨率元素图像阵列及其对应噪声矩阵制作成训练数据集；
[0012]构建图像去噪声超分辨率残差神经网络(NSRNet)算法模型；
[0013]训练NSRNet网络模型并更新网络权重参数；
[0014]保存最优的训练结果对应的NSRNet对应的网络模型；
[0015]将基于NSRNet获得的重建超分辨率元素图像阵列与原始高分辨率图像进行基于权重的像素级图像融合；
[0016]将融合后的元素图像阵列作为显示图像元加载至显示面板，利用微透镜阵列进行快速高质量集成成像三维显示。
[0017]根据本专利技术又一方面，所述NSRNet神经网络包括输入层、特征提取层、映射重建层和输出层的层级结构。
[0018]根据本专利技术又一方面，所述NSRNet神经网络的特征提取层包括多个卷积层和密集残差单元，特征重建层包括反卷积层和多个上采样层，输出层为一卷积层。
[0019]根据本专利技术又一方面，所述低分辨率图像和噪声矩阵通过以下公式计算：
[0020]LR＝DSN(I)+I
[0021]N＝σ
·
N(0,1)
[0022]其中LR是低分辨率图像，DSN()是降采样操作，I是高分辨率图像，N是噪声矩阵，σ是标准差，N(0,1)是正态分布。
[0023]根据本专利技术又一方面，所述NSRNet神经网络结构包括：
[0024]多个密集残差单元(RDU),其中每个密集残差单元由两个卷积层和一个残差单元组成；
[0025]多个残差单元，每个残差单元包括两个卷积层、一个跳跃连接和两组批归一化(Batch Normalization,BN)操作；
[0026]两个上采样层，每个上采样层包括一个反卷积操作；
[0027]输出层为一个卷积层。
[0028]根据本专利技术又一方面，所述NSRNet网络模型的训练流程包括：
[0029]将低分辨率图像和噪声矩阵训练集输入NSRNet网络模型进行训练；
[0030]定义均方误差损失函数并计算损失；
[0031]使用反向传播算法更新模型权重和偏差；
[0032]重复上述步骤直到损失函数达到收敛。
[0033]根据本专利技术又一方面，所述NSRNet网络模型的训练流程特征在于包括以下步骤：
[0034]采集一批高分辨率图像和相应的低分辨率图像，将低分辨率图像和噪声矩阵输入
NSRNet网络模型进行训练；
[0035]定义均方误差损失函数并计算损失；
[0036]使用反向传播算法更新模型权重和偏差；
[0037]重复上述步骤直到损失函数达到收敛。
[0038]根据本专利技术又一方面，所述超分辨率元素图像阵列的重建采用以下公式：
[0039]HR＝LR
‑
HN
[0040]其中HR是高分辨率图像，LR是低分辨率图像，HN是NSRNet网络模型输出的噪声矩阵。
[0041]根据本专利技术又一方面，所述超分辨率元素图像阵列的重建还包括将HR与原始高分辨率图像进行基于权重的像素级图像融合。
[0042]根据本专利技术又一方面，所述噪声矩阵数据包括集成成像系统中噪声和模糊引起的图像失真。
[0043]根据本专利技术又一方面，在集成成像系统中采集得到低分辨率元素图像时，采用微透镜阵列采集的方式。
[0044]与现有技术相比，本专利技术具有以下一个或多个技术效果：
[0045]首先，本专利技术利用NSRNet神经网络进行高分辨率图像的重建，从而能够在集成成像3D显示过程中实现准确的图像超分辨率重建，进一步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的超分辨率集成成像3D显示方法，其特征在于包括以下步骤：根据多个不同三维场景获取不同视角的低分辨率元素图像及其对应的高分辨率元素图像；将低分辨率元素图像及其对应的高分辨率元素图像分别合成对应的元素图像阵列；采集每一低分辨率元素图像阵列对应的噪声矩阵；将低分辨率元素图像阵列及其对应噪声矩阵制作成训练数据集；构建图像去噪声超分辨率残差神经网络(NSRNet)算法模型；训练NSRNet网络模型并更新网络权重参数；保存最优的训练结果对应的NSRNet对应的网络模型；将基于NSRNet获得的重建超分辨率元素图像阵列与原始高分辨率图像进行基于权重的像素级图像融合；将融合后的元素图像阵列作为图像源加载至显示面板，利用微透镜阵列进行快速高质量集成成像三维显示。2.根据权利要求1所述的基于卷积神经网络的超分辨率集成成像3D显示方法，其特征在于所述NSRNet神经网络包括输入层、特征提取层、映射重建层和输出层的层级结构。3.根据权利要求2所述的基于卷积神经网络的超分辨率集成成像3D显示方法，其特征在于层级结构中的特征提取层包括多个卷积层和密集残差单元，特征重建层包括反卷积层和多个上采样层，输出层为一卷积层。4.根据权利要求1
‑
3任一项所述的基于卷积神经网络的超分辨率集成成像3D显示方法，其特征在于低分辨率图像和噪声矩阵通过以下公式计算：LR＝DSN(I)+IN＝σ
·
N(0,1)其中LR是低分辨率图像，DSN()是降采样操作，I是高分辨率图像，N是噪声矩阵，σ是标准差，N(0,1)是正态分布。5.根据权利要求1
‑
3任一项所述的基于卷积神经网络的超分辨率集成成像3D显示方法，其特征在于采用的卷积神经网络模型是一个NSRNet网络模型，其结构包括：多个密集残差单元(RDU),其中每个密集残差单元由两个卷积层和一个残差单元组成；多个残差单元，每个残...

【专利技术属性】
技术研发人员：刘娟，曹朔，马皓文，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：