本申请涉及图像处理技术领域，特别涉及一种光场深度估计方法、装置、电子设备及存储介质，方法包括：对光场RGB图像进行伽马校正，生成光场伽马校正RGB图像；将光场伽马校正RGB图像、光场深度图和光场仿真点传输函数仿真图像进行前向RGB生成以仿真光场散焦图像，得到仿真光场RGB图像；利用注意力学习神经网络对仿真光场RGB图像进行光场深度估计，得到光场的估计深度图和全聚焦图像。从正向建立光场散焦成像模型提高深度估计准确度，基于光场散焦成像模型的光学图像，从逆向构建注意力学习神经网络快速估计场景深度，同时获得全聚焦图像，提高了光场深度估计的准确度，降低了算法计算量，提高了估计效率，可以进行实时估计。可以进行实时估计。可以进行实时估计。
【技术实现步骤摘要】
光场深度估计方法、装置、电子设备及存储介质
[0001]本申请涉及图像处理
，特别涉及一种光场深度估计方法、装置、电子设备及存储介质。
技术介绍
[0002]光场深度估计是光学三维测量的代表技术之一，在智能制造、机器人视觉、自动驾驶、工业检测、虚拟现实、航空探测及元宇宙等领域具有重要的应用价值。现有光场深度估计方法主要分为两大类：基于优化的估计方法和基于数据驱动的深度学习方法。
[0003]基于优化的传统方法主要基于对场景特性的分析，通过手动设计场景特征，并以此建立匹配代价函数。深度估计被转化为优化代价函数的问题。由于手动设计特征难以充分表达场景结构特点，优化的传统方法在处理遮挡、弱纹理等场景时，难以令人满意。此外，其构建的模型往往存在结构复杂且求解困难等问题，无法满足实时性要求。
[0004]基于数据驱动的深度学习方法严重依赖训练数据的数量和质量。模型均基于监督学习进行设计和训练，数据集则是通过光线追迹等方式人工合成。一方面，光场成像的特性决定了常规的结构光扫描或深度探测器，难以获得满足光场数据集要求的深度真值。因此，光场视差估计研究尚未能建立包含真实场景准确视差值的大规模数据集。另一方面，合成数据集中的样本数量有限，即使采用数据增强等方法，也难以获得充足的训练数据。这带来的问题是完全在合成数据集上训练的模型，无法在真实场景上获得相近的泛化性能。
[0005]此外，不管是优化的估计方法还是基于数据驱动的深度学习方法，均是从光学系统成像后的图像出发，采用不同的手段估计光学图像的深度信息，即均假设理想的小孔成像模型。然而实际的光学成像系统是存在不同程度的像差的，成像模型带来的误差是影响当前深度估计算法准确度的关键元素之一。
[0006]综上，现有光场深度存在以下问题：1、成像模型的误差以及优化算法误差使得光场深度估计准确度有待提高。
[0007]2、算法的复杂度导致计算量大，算法效率不高，无法满足实时性要求。
技术实现思路
[0008]本申请提供一种光场深度估计方法、装置、电子设备及存储介质，从正向建立光场散焦成像模型以提高深度估计准确度，基于光场散焦成像模型的光学图像，从逆向构建注意力学习神经网络以快速估计场景深度，同时获得全聚焦图像。
[0009]本申请第一方面实施例提供一种光场深度估计方法，包括以下步骤：对光场RGB图像进行伽马校正，生成光场伽马校正RGB图像；将所述光场伽马校正RGB图像、光场深度图和光场仿真点传输函数仿真图像进行前向RGB生成以仿真光场散焦图像，得到仿真光场RGB图像；利用注意力学习神经网络对所述仿真光场RGB图像进行光场深度估计，得到光场的估计深度图和全聚焦图像。
[0010]可选地，在本申请的一个实施例中，在得到所述仿真光场RGB图像之前，还包括：根
据光场相机参数和点源场传播过程，计算物方点经过主透镜的波函数；利用微透镜阵列的相位调制函数对所述波函数进行调制；采集相机像素对特定频率的分量，根据调制后的波函数和所述特定频率的分量计算点传输函数，并对所述点传输函数进行数值模拟及并采用双线性插值、拟合、对称补全和归一化操作，得到仿真点传输函数图；基于所述仿真点传输函数图对物方深度值进行随机采样，模拟仿真随机采样深度下的仿真点传输函数，得到所述光场仿真点传输函数仿真图像。
[0011]可选地，在本申请的一个实施例中，所述将所述光场伽马校正RGB图像、光场深度图和光场仿真点传输函数仿真图像进行前向RGB生成以仿真光场散焦图像，得到仿真光场RGB图像，包括：对所述光场深度图进行离散化，得到所述光场深度图对应的二进制深度掩膜；将所述光场伽马校正RGB图像与所述二进制深度掩膜相乘，得到对应的光场深度切片RGB图；将所述光场深度切片RGB图、所述二进制深度掩膜和所述光场仿真点传输函数仿真图像输入光场非线性成像模型，得到所述仿真光场RGB图像。
[0012]可选地，在本申请的一个实施例中，所述利用注意力学习神经网络对所述仿真光场RGB图像进行光场深度估计，得到光场的估计深度图和全聚焦图像，包括：利用所述仿真光场RGB图像和RL迭代与估计算法获得初始光场聚焦序列，利用光场子孔径图像经所述注意力学习神经网络得到所述光场的估计深度图；将所述光场子孔径图像与所述初始光场聚焦序列级联，通过编解码网络输出估计的光场重聚焦序列，将所述光场重聚焦序列与连续深度体进行相乘，得到所述全聚焦图像。
[0013]可选地，在本申请的一个实施例中，在利用注意力学习神经网络对所述仿真光场RGB图像进行光场深度估计，得到光场的估计深度图和全聚焦图像之后，还包括：将所述估计深度图与所述全聚焦图像分别与其真值比较，计算损失函数，后向传播误差训练所述注意力学习神经网络参数。
[0014]本申请第二方面实施例提供一种光场深度估计装置，包括：处理模块，用于对光场RGB图像进行伽马校正，生成光场伽马校正RGB图像；生成模块，用于将所述光场伽马校正RGB图像、光场深度图和光场仿真点传输函数仿真图像进行前向RGB生成以仿真光场散焦图像，得到仿真光场RGB图像；估计模块，用于利用注意力学习神经网络对所述仿真光场RGB图像进行光场深度估计，得到光场的估计深度图和全聚焦图像。
[0015]可选地，在本申请的一个实施例中，还包括：输出模块，用于在得到所述仿真光场RGB图像之前，根据光场相机参数和点源场传播过程，计算物方点经过主透镜的波函数，利用微透镜阵列的相位调制函数对所述波函数进行调制，采集相机像素对特定频率的分量，根据调制后的波函数和所述特定频率的分量计算点传输函数，并对所述点传输函数进行数值模拟及并采用双线性插值、拟合、对称补全和归一化操作，得到仿真点传输函数图，基于所述仿真点传输函数图对物方深度值进行随机采样，模拟仿真随机采样深度下的仿真点传输函数，得到所述光场仿真点传输函数仿真图像。
[0016]可选地，在本申请的一个实施例中，所述生成模块，进一步用于，对所述光场深度图进行离散化，得到所述光场深度图对应的二进制深度掩膜；将所述光场伽马校正RGB图像与所述二进制深度掩膜相乘，得到对应的光场深度切片RGB图；将所述光场深度切片RGB图、所述二进制深度掩膜和所述光场仿真点传输函数仿真图像输入光场非线性成像模型，得到所述仿真光场RGB图像。
[0017]可选地，在本申请的一个实施例中，所述估计模块，进一步用于，利用所述仿真光场RGB图像和RL迭代与估计算法获得初始光场聚焦序列，利用光场子孔径图像经所述注意力学习神经网络得到所述光场的估计深度图；将所述光场子孔径图像与所述初始光场聚焦序列级联，通过编解码网络输出估计的光场重聚焦序列，将所述光场重聚焦序列与连续深度体进行相乘，得到所述全聚焦图像。
[0018]可选地，在本申请的一个实施例中，还包括：训练模块，用于将所述估计深度图与所述全聚焦图像分别与其真值比较，计算损失函数，后向传播误差训练所述注意力学习神经网络参数。
[0019]本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种光场深度估计方法，其特征在于，包括以下步骤：对光场RGB图像进行伽马校正，生成光场伽马校正RGB图像；将所述光场伽马校正RGB图像、光场深度图和光场仿真点传输函数仿真图像进行前向RGB生成以仿真光场散焦图像，得到仿真光场RGB图像；以及利用注意力学习神经网络对所述仿真光场RGB图像进行光场深度估计，得到光场的估计深度图和全聚焦图像。2.根据权利要求1所述的方法，其特征在于，在得到所述仿真光场RGB图像之前，还包括：根据光场相机参数和点源场传播过程，计算物方点经过主透镜的波函数；利用微透镜阵列的相位调制函数对所述波函数进行调制；采集相机像素对特定频率的分量，根据调制后的波函数和所述特定频率的分量计算点传输函数，并对所述点传输函数进行数值模拟及并采用双线性插值、拟合、对称补全和归一化操作，得到仿真点传输函数图；基于所述仿真点传输函数图对物方深度值进行随机采样，模拟仿真随机采样深度下的仿真点传输函数，得到所述光场仿真点传输函数仿真图像。3.根据权利要求1或2所述的方法，其特征在于，所述将所述光场伽马校正RGB图像、光场深度图和光场仿真点传输函数仿真图像进行前向RGB生成以仿真光场散焦图像，得到仿真光场RGB图像，包括：对所述光场深度图进行离散化，得到所述光场深度图对应的二进制深度掩膜；将所述光场伽马校正RGB图像与所述二进制深度掩膜相乘，得到对应的光场深度切片RGB图；将所述光场深度切片RGB图、所述二进制深度掩膜和所述光场仿真点传输函数仿真图像输入光场非线性成像模型，得到所述仿真光场RGB图像。4.根据权利要求1所述的方法，其特征在于，所述利用注意力学习神经网络对所述仿真光场RGB图像进行光场深度估计，得到光场的估计深度图和全聚焦图像，包括：利用所述仿真光场RGB图像和RL迭代与估计算法获得初始光场聚焦序列，利用光场子孔径图像经所述注意力学习神经网络得到所述光场的估计深度图；将所述光场子孔径图像与所述初始光场聚焦序列级联，通过编解码网络输出估计的光场重聚焦序列，将所述光场重聚焦序列与连续深度体进行相乘，得到所述全聚焦图像。5.根据权利要求4所述的方法，其特征在于，在利用注意力学习神经网络对所述仿真光场RGB图像进行光场深度估计，得到光场的估计深度图和全聚焦图像之后，还包括：将所述估计深度图与所述全聚焦图像分别与其真值比较，计算损失函数，后向传播误差训练所述注意力学习神经网络参数。6.一种光场深度估计装置，其特征在于，包括：处理模块，用于对光场RGB图像进行伽马校正...
【专利技术属性】
技术研发人员：戴琼海，岳冬晓，于涛，吴嘉敏，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。