生成训练数据以生成合成类真实原始深度图的方法和设备技术

生成训练数据以生成合成类真实原始深度图的方法和设备。本发明专利技术涉及用于提供将数据驱动的深度补全模型训练为机器学习模型的训练数据的计算机实现方法，其中深度补全模型将被训练成从传感器获取的原始深度图生成密集深度图，该方法包括以下步骤：

【技术实现步骤摘要】
生成训练数据以生成合成类真实原始深度图的方法和设备


[0001]本专利技术涉及要在物流和制造任务中使用的真实世界环境的原始深度图的呈现。深度图将用于例如在工业机器人应用领域中训练数据驱动或概率模型。

技术介绍

[0002]机器人操控是用于物流和装配任务的重要组分。在随机环境中的操作需要感知，这通常利用用于图像数据采集的相机和计算机视觉模型来实现，以从中导出3D信息用于任务和运动规划。
[0003]除了基于相机采集的3D建模之外，诸如激光雷达、雷达和超声传感器之类的深度传感器可以提供3D几何形状的直接测量。借助于深度传感器，可以获取原始深度图，用于未知对象的形状和位置预测。
[0004]深度传感器可以利用包括立体视觉、结构化光和飞行时间测量的不同技术原理，由于光学反射、偏转和/或折射，所有技术原理都遭受大的误差和信息损失。由深度传感器获取的原始深度图中的这样的误差在通常包括反射金属对象等的工业环境中是显著的。
[0005]常规深度传感器的缺点先前已经用深度补全模型解决了，该深度补全模型被配置为使用由视觉RGB线索（诸如透视遮挡、对象边界和表面法线）引导的原始深度图的部分采样来生成密集（完整）深度图。深度补全数据集包括RGB和原始深度输入以及估计的基准真值（ground truth）密集深度图。深度补全模型可以完整地包括在任何种类的对象检测和对象分割模型中。

技术实现思路

[0006]根据本专利技术，提供了一种根据权利要求1的用于提供用于训练深度补全模型的训练数据集的方法和一种根据另外的独立权利要求的设备。
[0007]在从属权利要求中指示了另外的实施例。
[0008]根据第一方面，提供了一种用于提供用于将数据驱动的深度补全模型训练为机器学习模型的训练数据的计算机实现方法，其中该深度补全模型将被训练成从传感器获取的原始深度图生成密集深度图，该方法包括以下步骤：
‑
从各种合成场景的CAD数据提供多个合成密集深度图数据项；
‑
提供从真实世界场景的真实世界深度传感器测量中获得的多个真实的原始深度图数据项；
‑
训练生成模型，用于获得用于从合成密集深度图数据项生成所生成的原始深度图数据项的经训练的生成器模型；
‑
应用经训练的生成器模型从所提供的合成密集深度图数据生成训练数据。
[0009]提供深度补全模型以从传感器获取的原始深度图中获得密集深度图。该上下文中的“密集”意味着深度图不具有其中深度信息不存在或无效的任何区域。深度补全模型必须基于指示每个像素的深度信息的密集深度图和指示通常由深度传感器在真实世界条件下
提供的深度图的错误原始深度图来训练。由于光学反射、折射和/或偏转等，原始深度图通常仅包括真实世界环境的部分采样。
[0010]深度补全模型可以被实现为例如机器学习模型的数据驱动模型，其一般使用至少包括原始深度图数据和密集深度图数据的训练数据。获得这样的训练数据通常需要实际设立工业对象的场景（真实世界中对象的布置），用深度传感器执行深度传感器测量以获取原始深度图数据，并从不同的3D检测方法确定/计算（完整）密集深度图数据，例如从具有不同相机姿态的不同图像（RGB）记录中做出。获得这样的训练数据可能相当麻烦，特别是当需要大量训练数据集时。
[0011]根据本专利技术，应该基于作为数据集提供的合成密集深度图来生成原始深度图，该数据集可以相对不费力地从设计场景（CAD场景）的计算机模拟中生成。因此，合成原始深度图是从理想的合成密集深度图中人工创建的。
[0012]此外，通过使用经训练的生成器模型生成的训练数据被用于训练数据驱动的深度补全模型，该深度补全模型补全错误的原始深度图数据项中的未确定或难受信的像素区域。因此，如此获得的密集深度图和原始深度图的组合可以成功地用于训练深度补全模型或用于物流和装配任务的各种模型。然而，由于这些模型通常应用在其中应用深度传感器的系统中，因此在基于合成密集深度图的模型训练和由深度传感器提供的原始深度图之间存在失配。
[0013]合成图像数据项可以从与合成密集深度图数据项相关联的各种合成场景的CAD数据中获得；其中取决于对应的合成图像数据项，用合成密集深度图数据项来训练生成器模型。
[0014]特别地，包括密集深度图的照片真实感图像可以被合成地生成为合成RGBD数据。合成RGBD数据包括生成的图像像素图（RGB图像）和每个像素的深度信息（深度图）。生成的深度信息通常提供无瑕疵的密集深度图，该无瑕疵的密集深度图提供每个像素的深度信息，并且因此与工业应用中通常使用的真实深度传感器的传感器输出截然不同。虽然工业应用必须使用仅表示原始（错误或不完美）深度图数据的真实世界传感器数据，但是用合成RGBD数据的模型训练将导致不充分的模型。
[0015]因此，上述方法提出使用示例性场景等的CAD输入数据，从诸如计算机视觉模型之类的合成模型提供的合成密集（无瑕疵）深度图数据中生成用于深度补全模型的训练数据的原始深度图数据。可以使用生成对抗网络（GAN网络）来进行训练，该生成对抗网络使用生成器模型将合成深度图作为输入关联到生成的原始深度图。
[0016]此外，提供了传感器获取的（真实的）原始深度图数据。生成的原始深度图数据和真实的原始深度图数据被馈送到鉴别器，该鉴别器将被训练以在生成的原始深度图数据和真实的原始深度图数据之间进行区分。这里，生成的原始深度图数据和真实的原始深度图数据可以不成对地提供，这意味着生成的和真实的深度图数据可以描绘不同的场景。
[0017]根据实施例，生成器模型可以进一步被供应有对应于合成深度图数据的RGB图像数据，以促进生成的原始深度图数据的生成。
[0018]此外，合成的RGB图像数据可以结合生成的原始深度图数据一起无修改地被馈送到鉴别器。此外，在转换成灰度图像之后提供RGB图像数据可以减少在生成的原始深度图数据和真实的原始深度图数据之间的外观差距，否则鉴别器模型可能紧抓诸如工作表面颜色
之类的无关特征。
[0019]GAN模型的训练是使用基于进一步考虑边际保存损失的鉴别器损失的最小
‑
最大优化来进行的，该边际保存损失被配置为在训练期间针对修改密集深度图输入——除非该修改大于给定的边际阈值——而惩罚生成器模型，其中特别地，边际阈值是基于合成密集深度图数据项和生成的原始深度图数据项之间的差异来确定的。
[0020]因此，为了避免生成器学习移除对象并用孔洞或用它们所位于的基础表面的深度信息来替换它们，可以考虑边际保存损失，其在训练期间针对修改密集深度图输入D
syn
——除非该修改大于边际阈值裕度——而惩罚生成器模型。保存损失L
p
认为原始深度图D
raw_syn
中的孔洞和伪像通常与中间环境显著不同。
[0021]其中x可以从第10到第50个百分位数中选择，优选在第15
‑
第25个百分位数之间，例如第20个百分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于提供用于将数据驱动模型训练为机器学习模型的训练数据的计算机实现方法，所述数据驱动模型特别是深度补全模型，其中所述数据驱动模型将被训练成从传感器获取的原始深度图生成密集深度图，所述方法包括以下步骤：
‑
从各种合成场景的CAD数据提供（S1）多个合成密集深度图数据项（D
syn
）；
‑
提供（S2）从真实世界场景的真实世界深度传感器测量中获得的多个真实的原始深度图数据项（D
raw_real
）；
‑
训练（S3）生成模型（10），用于获得用于从合成密集深度图数据项（D
syn
）生成所生成的原始深度图数据项（D
raw_syn
）的经训练的生成器模型（11）；
‑
应用（S4）经训练的生成器模型（11）以从所提供的合成密集深度图数据（D
syn
）生成训练数据。2.根据权利要求1所述的方法，其中，从与合成密集深度图数据项（D
syn
）相关联的各种合成场景的CAD数据中获得合成图像数据项（RGB
syn
），其中，取决于对应的合成图像数据项（RGB
syn
）用合成密集深度图数据项（D
syn
）来训练生成器模型（11）。3.根据权利要求1或2所述的方法，其中，生成模型（10）包括具有生成器模型（11）和鉴别器模型（12）的GAN模型（10）。4.根据权利要求3所述的方法，其中，从与合成密集深度图数据项（D
syn
）相关联的各种合成场景的CAD数据获得合成图像数据项（RGB
syn
）；其中合成图像数据项（RGB
syn
）在训练期间作为输入被馈送到鉴别器模型（12），所述鉴别器模型（12）将被训练成在生成的原始深度图数据项（D
raw_syn
）和真实的原始深度图数据项（D
raw_real
）之间进行区分。5.根据权利要求4所述...

【专利技术属性】
技术研发人员：Y，
申请(专利权)人：罗伯特，
类型：发明
国别省市：