飞行时间深度增强制造技术

一种图像处理系统，用于接收输入飞行时间深度图，所述输入飞行时间深度图表示图像中的物体在所述相应图像中多个像素位置处与相机之间的距离，并用于根据所述图生成所述图像的改进的飞行时间深度图，所述输入飞行时间深度图从至少一个相关图像生成，所述相关图像表示在给定相移下在所述多个像素位置处发射光信号与反射光信号之间的重叠，所述系统用于根据所述相应图像和至少一个相关图像的颜色表示从所述输入飞行时间深度图生成所述改进的飞行时间深度图。行时间深度图。行时间深度图。

【技术实现步骤摘要】
【国外来华专利技术】Zanuttigh的“用于ToF传感器中的多路径误差消除的深度学习(Deep learning for multi
‑
path error removal in ToF sensors)”，2018年欧洲计算机视觉会议记录中，经典立体视觉与飞行时间传感融合，以提高两种合成创建的数据模态的分辨率和准确度。RGB数据输入流水线不会被学习，因此RGB的使用只能通过利用预测的立体声深度图来间接进行。对ToF数据进行单独重投影，并使用双边滤波器对ToF数据进行上采样。
[0010]US 8,134,637 B2提出了一种在不学习的情况下借助RGB图像超解析ToF传感器的深度图像的方法。该方法不是单一步骤方法，因此该方法的多个单独模块会传播误差，每个误差会通过流水线累积。
[0011]期望开发一种用于生成图像的增强的ToF深度图的方法。

技术实现思路

[0012]根据第一方面，提供了一种图像处理系统，所述图像处理系统用于接收输入飞行时间深度图，所述输入飞行时间深度图表示图像中的物体在所述相应图像中多个像素位置处与相机之间的距离，并用于根据所述图生成所述图像的改进的飞行时间深度图，所述输入飞行时间深度图从至少一个相关图像生成，所述相关图像表示在给定相移下在所述多个像素位置处发射光信号与反射光信号之间的重叠，所述系统用于根据所述相应图像和至少一个相关图像的颜色表示从所述输入飞行时间深度图生成所述改进的飞行时间深度图。
[0013]因此，输入ToF深度图可以用RAW相关信号的特征丰富，并用对齐彩色图像的共模态引导进行处理。因此，所述系统利用了跨模态优势。ToF深度误差也可以得到校正。丢失的数据可以被恢复，多路径模糊性可以通过RGB引导得到解决。
[0014]所述相应图像的所述颜色表示的分辨率可以比所述输入飞行时间深度图和/或所述至少一个相关图像的分辨率高。这可以提高改进的飞行时间深度图的分辨率。
[0015]所述系统可以用于通过经训练的人工智能模型生成改进的飞行时间深度图。所述经训练的人工智能模型可以是端到端可训练神经网络。由于流水线是可训练端到端的，因此同时访问所有三种不同的模态(颜色、深度和RAW相关性)可以改进整体恢复的深度图。这可以提高ToF深度图的分辨率、准确度和精度。
[0016]所述模型使用以下各项中的至少一项进行训练：输入飞行时间深度图、相关图像和图像的颜色表示。
[0017]所述系统用于将所述输入飞行时间深度图与所述至少一个相关图像进行组合，以形成相关性丰富的飞行时间深度图。使用低分辨率RAW相关信号的经编码特征丰富输入ToF深度图可以帮助减少深度误差。
[0018]所述系统用于根据所述相应图像的所述颜色表示通过对所述相关性丰富的飞行时间深度图进行分层上采样来生成所述改进的飞行时间深度图。这可以帮助改进和改善深度不连续性。
[0019]所述改进的飞行时间深度图的分辨率可以比所述输入飞行时间深度图的分辨率高。这可以实现在渲染由相机捕获的图像时进行改进。
[0020]相应图像的颜色表示可以是颜色分离的表示。所述颜色表示可以是RGB表示。这可以是在处理深度图时使用的方便的颜色表示。
[0021]根据第二方面，提供一种用于根据输入飞行时间深度图生成图像的改进的飞行时
间深度图的方法，所述输入飞行时间深度图表示所述图像中的物体在所述相应图像中多个像素位置处与相机之间的距离，所述输入飞行时间深度图从至少一个相关图像生成，所述相关图像表示在给定相移下在所述多个像素位置处发射光信号与反射光信号之间的重叠，所述方法包括根据所述相应图像和至少一个相关图像的颜色表示从所述输入飞行时间深度图生成所述改进的飞行时间深度图。
[0022]因此，输入ToF深度图可以用RAW相关信号的特征丰富，并用对齐彩色图像的共模态引导进行处理。因此，所述方法利用了跨模态优势。ToF深度误差也可以得到校正。丢失的数据可以被恢复，多路径模糊性可以通过RGB引导得到解决。
[0023]所述相应图像的所述颜色表示的分辨率可以比所述输入飞行时间深度图和/或所述至少一个相关图像的分辨率高。这可以提高改进的飞行时间深度图的分辨率。
[0024]所述方法可以包括通过经训练的人工智能模型生成改进的飞行时间深度图。所述经训练的人工智能模型可以是端到端可训练神经网络。由于流水线是可训练端到端的，因此同时访问所有三种不同的模态(颜色、深度和RAW相关性)可以改进整体恢复的深度图。这可以提高ToF深度图的分辨率、准确度和精度。
[0025]所述方法还可以包括将输入飞行时间图与所述至少一个相关图像进行组合，以形成相关性丰富的飞行时间深度图。使用低分辨率RAW相关信号的经编码特征丰富输入ToF深度图可以帮助减少深度误差。
[0026]所述方法还可以包括根据所述相应图像的所述颜色表示对所述相关性丰富的飞行时间深度图进行分层上采样。这可以帮助改进和改善深度不连续性，并可以提高改进的飞行时间深度图的分辨率。
附图说明
[0027]现结合附图通过示例的方式对本专利技术进行描述。在附图中：
[0028]图1中的(a)和(b)示出了ToF深度数据的采集。
[0029]图2中的(a)示出了摄影图像。图2中的(b)示出了与图2中的(a)的图像相对应的ToF深度图。
[0030]图3示出了用于处理ToF深度图的流水线示例的概述。
[0031]图4示出了用于处理ToF深度图的流水线的示例性概述。浅编码器将RAW相关图像作为输入。在解码阶段，噪声ToF深度数据被注入并在RGB引导下上采样到原始分辨率的四倍。
[0032]图5示出了使用多模态引导式上采样(guided upsampling，GU)进行ToF上采样的所提供的流水线的结果。
[0033]图6中的(a)至(c)示出了不同场景的示例性结果。
[0034]图7中的(a)至(j)示出了使用所提供的流水线获得的结果，和在没有多模态指导的情况下通过使用U
‑
Net进行经典上采样获得的结果，以进行比较。
[0035]图8中的(a)至(c)示出了消融研究，其中比较了仅使用引导式上采样处理的图像、仅使用深度注入处理的图像和使用本专利技术的多模态方法处理的图像。
[0036]图9示出了用于使用本专利技术的流水线来处理由相机拍摄的图像的相机的示例。
具体实施方式
[0037]图3示出了用于生成增强的ToF深度图的示例性流水线的概述。图3的流水线包括端到端可训练神经网络。流水线将分辨率和质量或密度相对较低的ToF深度图301作为输入(与输出ToF深度图305相比)。输入飞行时间深度图301表示图像中的物体在相应图像中多个像素位置处与相机之间的距离。
[0038]输入飞行时间深度图301从至少一个RAW相关图像生成，该RAW相关图像表示在给定相移下在所述多个像素位置处发射光信号与反射光信号之间的重叠。如本领域众所周知，使用光速，处理该RAW相关图像数据以生成输入To本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理系统，其特征在于，用于接收输入飞行时间深度图，所述输入飞行时间深度图表示图像中的物体在所述相应图像中多个像素位置处与相机之间的距离，并用于根据所述图生成所述图像的改进的飞行时间深度图，所述输入飞行时间深度图从至少一个相关图像生成，所述相关图像表示在给定相移下在所述多个像素位置处发射光信号与反射光信号之间的重叠，所述系统用于根据所述相应图像和至少一个相关图像的颜色表示从所述输入飞行时间深度图生成所述改进的飞行时间深度图。2.根据权利要求1所述的图像处理系统，其特征在于，所述相应图像的所述颜色表示的分辨率比所述输入飞行时间深度图和/或所述至少一个相关图像的分辨率高。3.根据上述权利要求中任一项所述的图像处理系统，其特征在于，所述系统用于通过经训练的人工智能模型生成所述改进的飞行时间深度图。4.根据权利要求3所述的图像处理系统，其特征在于，所述经训练的人工智能模型是端到端可训练神经网络。5.根据权利要求3或4所述的图像处理系统，其特征在于，所述模型使用以下各项中的至少一项进行训练：输入飞行时间深度图、相关图像和图像的颜色表示。6.根据上述权利要求中任一项所述的图像处理系统，其特征在于，所述系统用于将所述输入飞行时间深度图与所述至少一个相关图像进行组合，以形成相关性丰富的飞行时间深度图。7.根据权利要求6所述的图像处理系统，其特征在于，所述系统用于根据所述相应图像的所述颜色表示通过对所述相关性丰富的飞行时间深度图进行分层上采样来生成所述改进的飞行时间深度图。8.根据上述权利要求...

【专利技术属性】
技术研发人员：本杰明，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：