作为平面扫描体的替代方案的局部光场流制造技术

本发明专利技术提供了一种用于图像处理的设备和方法。在一个实施方案中，该方法包括访问由至少一个参考相机捕获的多个图像，其中图像表示对应于所述同一场景的多个视图。然后从所述图像生成多个平面扫描体(PSV)切片，并且针对每个切片，从至少参考相机校准参数计算流图，并且使用该流图，生成平面扫描体的前一切片。生成平面扫描体的前一切片。生成平面扫描体的前一切片。

【技术实现步骤摘要】
【国外来华专利技术】作为平面扫描体的替代方案的局部光场流


[0001]本公开一般涉及光场传输和处理，包括深度估计和视图合成，并且更具体地涉及使用神经网络的技术和系统。

技术介绍

[0002]许多装置和系统允许通过生成场景的图像和/或视频数据来捕获场景。例如，常规相机可用于出于不同目的捕获场景的图像。一种这样的用途是提供场景几何体的3D重建。另一种是渲染场景的虚拟视图。
[0003]光场相机和全光相机提供比常规相机更多的信息。这是因为相机能够采集光场数据并且捕获从场景发出的光场。这是场景中的光的强度。一种类型的光场相机使用放置在原本常规图像传感器前面的微透镜阵列来感测强度、颜色和方向信息。这允许从提供比常规相机更多的信息的单个场景显现若干图片。
[0004]近年来，相机并且特别是光场相机已经用于深度或神经网络的越来越多的领域。深层或神经网络(DNN)是在输入层和输出层之间具有多个层的人工神经网络(ANN)。DNN找到正确的数学运算以将输入转变为输出，无论其是线性关系还是非线性关系。与大多数传统的机器学习算法不同，这些深度学习网络在没有人为干预的情况下执行自动特征提取。在一些情况下，神经网络可用于执行深度估计和视图合成以及其他任务。考虑到由基于神经网络的系统保存的大量数据，此类系统可以生成高质量3D重建和视图合成结果。虽然神经网络(例如，深度学习网络)已被证明在各种任务中是非常通用且准确的，但此类网络需要高内存带宽和高计算成本。
[0005]不管其目的(视图合成、深度估计等)如何，光场处理都需要知道下层射线几何形状。采集装置必须被校准，但是直接向算法馈送校准参数集是不方便的。一个问题是现有装置和所需校准模型的多样性(全光相机与相机装置、失真多项式等)，其导致异构(且潜在地计算复杂)处理。恢复算法中的计算均匀性的常见方式，特别是当处理卷积神经网络(CNN)时，包括预先将光场图像转变为平面扫描体(PSV)。然而，平面扫描体是冗余的，并且导致显著的内存占用。因此，需要用于图像传输和处理的改进技术，特别是由神经或深层网络提供的那些技术。

技术实现思路

[0006]附加特征和优点通过类似技术实现，并且其他实施方案和方面在本文中详细描述并且被认为是要求保护的专利技术的一部分。为了更好地理解具有优点和特征的本专利技术，参考说明书和附图。
[0007]提供了一种用于图像处理的设备和方法。在一个实施方案中，该方法包括访问由至少一个参考相机捕获的多个图像，其中图像表示对应于所述同一场景的多个视图。然后从所述图像生成多个平面扫描体(PSV)切片，并且针对每个切片，从至少参考相机校准参数计算流图，并且使用该流图，生成平面扫描体的前一切片。
[0008]在另一个实施方案中，提供了一种方法和设备，其中该设备具有处理器，该处理器被配置为：获得第一平面扫描体(PSV)切片及其相关联流图，并且用于确定与第一PSV相关联的相机校准参数，并且基于所述第一PSV切片和所述相机参数生成至少前一PSV切片或下一PSV切片。
附图说明
[0009]通过结合附图考虑以下具体实施方式可以容易地理解本公开的教导内容，其中：
[0010]图1是根据一个实施方案的被处理成平面扫描体(PSV)切片的光场预处理块的框图；
[0011]图2是根据一个实施方案的被扭曲到另一相机上的输入图像的图示，呈现其坐标系中的深度；
[0012]图3是根据一个实施方案的用于参考相机和另一相机的分量以及所得PSV的图示；
[0013]图4是示例性示意性PSV几何体的图示；
[0014]图5是一个实施方案的流程图图示；
[0015]图6是可以结合一个或多个实施方案的具体实施使用的装置的图示；
[0016]图7和图8是可以结合分别示出编码器和解码器的一个或多个实施方案的具体实施使用的装置的另选实施方案；
[0017]图9是另一个实施方案的流程图图示；并且
[0018]图10是示例性符号表的图示。
[0019]应当理解，附图的目的是为了说明本专利技术的概念，而不一定是用于说明本专利技术的唯一可能配置。为了便于理解，在可能的情况下，已经使用相同的附图标号来表示附图中共有的相同元件。
具体实施方式
[0020]图1是光场阵列的示例。在图1中，共同标记为110的数字提供n个视图的光场阵列，该光场阵列还包括校准参数。然后将阵列110设置成n个平面扫描体，如120处所示。实际上，来自不同视图/子孔径图像的光场样本在如120处所示的平面扫描体中被对准到同一2D坐标系上。这种重新采样极大地简化了后续处理；在这一点上，不需要考虑校准参数。然而需注意，这种简化并不是自由的：平面扫描体表现出比它们所源自的原始光场更多的冗余。这是通过预处理完成的，但是一旦执行了该步骤，数据就可以准备好进行处理，如130处所示。这是恢复算法中的计算均匀性的一种方式，特别是当处理卷积神经网络(CNN)时，包括预先将光场图像转变为平面扫描体(PSV)。
[0021]图2提供了将图像扭曲到另一相机或相机获得的数据上的示例。将输入图像重新采样到平面扫描体中包括通过该参考相机的坐标系中的固定深度处的连续平面将该图像扭曲到参考相机上(参见图2)。深度值通常以1/z在[z
min
；z
max
]范围中被均匀地采样。
[0022]重新参见图2，将输入图像210扭曲到另一相机220上，呈现其坐标系230的深度。如所描绘的，如果没有来自输入图像的像素映射在其上，则所得PSV切片的某部分可以保持未知。这就是平面扫描体通常呈现4个通道的原因：即RGBM，其中RGB代表红色、绿色和蓝色，并且M表示二进制占用掩码(有效/未知)。在这个意义上，平面扫描体因此通常被称为4维张
量：[H，W，D，4]，其中W和H表示参考相机的宽度和高度，以像素为单位，并且D表示切片在体积中的数量(即，所考虑的固定深度平面的数量)。
[0023]图10提供了可以有助于讨论如结合图1和图2所讨论的数学和几何概念的符号表。
[0024]在许多光场应用中，为了理解所涉及的参数，以下讨论可以提供对理解的帮助。
[0025]在该示例中，向量被认为由定义，z≠0。向量的透视投影被写为如下：
[0026][0027]存在一种相机，该相机具有K作为其内在矩阵：
[0028][0029]其中：
[0030]·
f表示针孔
‑
传感器距离(通常被误称为“焦距”)，以像素表示；
[0031]·
表示针孔在传感器上的投影的像素坐标(“主点”)；
[0032]·
α表示像素的纵横比；
[0033]·
γ：偏斜系数，以像素为单位。
[0034]使P为相机的姿态矩阵。其对相机在参考(“世界”)坐标系中的位置和取向进行拍照：
[0035][0036]其中R是旋转矩阵：
[0037][0038]并且T是平移向量：
[0039本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，所述方法包括：访问由至少一个相机捕获的多个图像；其中所述图像表示对应于同一场景的多个视图；从所述图像生成多个平面扫描体(PSV)切片，并且针对每个切片，从所述相机的一个或多个参数计算流图；使用所述流图来生成所述平面扫描体的下一切片和前一切片中的至少一者。2.一种设备方法，所述设备方法包括：至少一个处理器，所述至少一个处理器被配置为：访问由至少一个相机捕获的多个图像；其中所述图像表示对应于同一场景的多个视图；从所述图像生成多个平面扫描体(PSV)切片，并且针对每个切片，从所述相机的一个或多个参数计算流图；从给定切片生成用于所述平面扫描体的下一切片和前一切片中的至少一者的对应流图。3.根据权利要求1所述的方法或根据权利要求2所述的设备，其中用于所述下一切片的所述对应流图是不同的。4.根据权利要求1所述的方法或根据权利要求2所述的设备，其中用于所述前一切片的所述对应流图是不同的。5.根据权利要求1和2至4中任一项所述的方法或根据权利要求2至4中任一项所述的设备，其中为所述PSV的每个切片提供位移分量，并且所述位移分量被附加到捕获从当前切片到所述下一切片的流的每个切片。6.根据权利要求1或3至5所述的方法或根据权利要求2至5所述的设备，其中所述图像由光场相机捕获。7.根据权利要求6所述的方法或根据权利要求6所述的设备，其中所述场景的请求视图不被包括在接收图像中所包括的所述场景的所述多个视图中。8.根据权利要求5至7中任一项所述的方法或根据权利要求5至7中任一项所述的设备，其中所述位移分量在与内容有关的编码光场数据的传输已经被生成和接收之后出现。9.根据权利要求1或3至8中任一项所述的方法或根据...

【专利技术属性】
技术研发人员：G，
申请(专利权)人：交互数字VC控股法国有限公司，
类型：发明
国别省市：