测量数据在测量模态之间的转换制造技术

用于将至少一个源测量模态（Q）的测量数据（1）转换为至少一个目标测量模态（Z）的真实测量数据（2）的方法（100），具有以下步骤：利用经过训练的编码器

【技术实现步骤摘要】
测量数据在测量模态之间的转换


[0001]本专利技术涉及将源测量模态的测量数据转换为目标测量模态的测量数据，利用所述目标测量模态的测量数据例如可以检查驾驶辅助系统或用于至少部分自动驾驶车辆的系统的控制逻辑。

技术介绍

[0002]驾驶辅助系统和用于至少部分自动驾驶车辆的系统基于对车辆环境的传感器观察做出关于驾驶机动的决定。例如，以相机图像、视频图像、热图像、超声图像、雷达数据和LIDAR（激光雷达）数据的形式来记录所述观察。这些原始信号在不同的抽象阶段中得到进一步处理，并且还部分地减少为共同点。
[0003]例如，可以首先将这些原始信号处理为“位置”，即根据对应的传感器识别出对象的地点。可以合并从多个传感器的测量数据中生成的“位置”，从而最后可以以所有存在于环境中的对象的列表的形式创建车辆的环境状况的整体图像。
[0004]为了能够独立地测试和优化该处理链的各个组成部分，需要各自中间阶段的真实信号。因此，希望能够从预给定的测试场景中产生这些真实信号。

技术实现思路

[0005]在本专利技术的范围中开发了一种用于将至少一个源测量模态的测量数据转换为至少一个目标测量模态的真实测量数据的方法。
[0006]在此，术语“测量模态”不限于可用于获得测量数据的物理对比机制。例如，表示特定对比机制的测量数据的不同处理阶段或抽象阶段也应被视为不同的测量模态。
[0007]术语“测量数据”也与实际是否发生物理数据记录无关。通过模拟物理测量过程而获得的数据，以及利用这种测量过程可观察到的真实场景的规定，也应被视为测量数据。
[0008]利用经过训练的编码器
‑
解码器装置的编码器，将源测量模态的测量数据映射为潜在空间中的表示。利用所述编码器
‑
解码器装置的解码器将所述表示映射为目标测量模态的真实测量数据。
[0009]在此，测量数据在所述潜在空间中的表示的信息量小于所述测量数据的信息量。因此，所述测量数据被压缩为更少的信息量。在香农信息理论的意义上，术语“信息量”应理解为传输测量数据或所述测量数据的表示所需的最小比特数或其他参数。
[0010]例如可以强制地将所述测量数据压缩为更少的信息量，其方式是所述潜在空间的维数
•
既小于所述编码器从中提取所述源测量模态的测量数据的空间的维数，
•
又小于所述解码器将所述目标测量模态的测量数据映射到的空间的维数。
[0011]但是，所述潜在空间也可以例如在形式上具有与所述编码器从中提取源测量模态的测量数据的空间相同或甚至比该空间更大的维数，而所述潜在空间中的表示仍然可以具有比源测量模态的测量数据更小的维数。于是，例如许多表征所述潜在空间中的表示的参
数可以通过次要条件、边界条件和/或优化标准相互耦合或以其他方式加以限制。
[0012]与测量数据相比潜在空间中的表示的信息量更小会类似于已知的自动编码器形成“瓶颈”，其中信息必须在从编码器到解码器的路径上通过该“瓶颈”，在已知的自动编码器情况下解码器应当重建原始输送给编码器的数据。现在通过解码器不再应当重建原始数据，而是应当提供目标测量模态的测量数据，在训练编码器
‑
解码器装置时令人惊讶地在编码器和解码器之间产生了有利的分工：编码器将所述表示中源测量模态的测量数据压缩为关于这些测量数据所涉及的场景的重要信息内容，并且省略关于源测量模态（即关于在这些测量数据中看到所述场景的“眼镜”）的规范。解码器将关于目标测量模态的规范添加到经过压缩的表示中。因此，由解码器提供的目标测量模态的真实测量数据说明了如何通过目标测量模态的“眼镜”看到通过经过压缩的表示表征的、清除了源测量模态的规范的场景。
[0013]可以以多种方式使用以此方式获得的目标测量模态的测量数据。例如，如果为了训练神经网络（例如图像分类器）需要目标测量模态的经过标记的测量数据，则可以从源测量模态的经过标记的测量数据中产生目标测量模态的经过标记的测量数据，同时保留标记。于是不必直接标记目标测量模态的测量数据。特别地，例如可以从源测量模态的同一个经过标记的测量数据集合中获得多干不同目标测量模态的测量数据。
[0014]例如，可以手动标记交通状况的图像以指示哪种类型的对象位于什么位置。然后可以将这些图像转换为例如雷达数据或激光雷达数据，然后马上对这些数据进行适当标记。因此不必多次投入人工标记所需要的工作。除此之外，与雷达数据或激光雷达数据的标记相比，图像的标记可以明显更快并且以更少的专业知识进行。
[0015]但是，目标测量模态的测量数据还可以例如用于在驾驶辅助系统或用于全自动或部分自动驾驶车辆的系统中有针对性地检查开头所述的处理链的特定部分或组件。因此，在特别有利的设计中，源测量模态的测量数据包含对具有一个或多个对象的场景的描述。目标测量模态的测量数据包括空间中由具体传感器在对场景进行物理观察时分别分配给所述场景中的对象的地点。这些地点与开头提到的“位置”相对应。对具有特定对象的场景创建真实的描述是相对容易的。相反，基于这样的描述来预测“位置”明显不太直观。但是，机器学习可以访问场景描述和所述“位置”之间的关系。
[0016]目标测量模态的测量数据特别是可以包括例如空间中具体雷达传感器或具体激光雷达传感器在物理观察所述场景时记录到雷达反射或激光雷达反射的地点。这是这些传感器输出关于所述场景的信息的主要格式。
[0017]场景的描述特别是可以包括例如平面或空间中的多个几何形状的定义，每个几何形状都认为被对象占据。这些几何形状特别是可以是例如矩形或长方体，即所谓的“边界框”。可以通过计算技术特别快速和简单地检查地点与这种“边界框”的关联。
[0018]在特别有利的设计中，将源测量模态的测量数据变换为输入图像或输入点云。所述输入图像或所述输入点云由所述编码器映射为所述潜在空间中的表示。所述表示由所述解码器映射为输出图像或输出点云。所述输出图像或所述输出点云最终变换为目标测量模态的测量数据。
[0019]这意味着所述编码器
‑
解码器装置基于图像或点云工作。特别是可以继续使用或重新构造基于图像或点云工作的现有装置。
[0020]此外，通过将输出图像或输出点云变换为目标测量模态的测量数据的途径，可以例如设置有多少最终确定的地点（“位置”）说明目标测量模态的测量数据。这个数字是一个重要的标准，其决定目标测量模态的测量数据在多大程度上被下游算法理解为真实的。如果解码器提供输出图像，则例如可以从该输出图像中采样可变数量的点。也可以事后从最大数量的点开始使输出点云稀疏化，其方式是从这些点中随机抽取特定数量的点。
[0021]可以将基于几何形状（例如“边界框”）的场景描述例如变换为输入图像，其方式是利用二维或三维网格对所述场景离散化并针对每个网格点检查其是否属于在所述描述中定义的几何形状之一。
[0022]在此，可以在所述网格中例如针对每个网格点利用数值为0注明该网格点为空，或者可以利用数值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于将至少一个源测量模态（Q）的测量数据（1）转换为至少一个目标测量模态（Z）的真实测量数据（2）的方法（100），具有以下步骤：
•
利用经过训练的编码器
‑
解码器装置（5）的编码器（3）将所述源测量模态（Q）的测量数据（1）映射（110）为潜在空间中的表示（6），以及
•
使用所述编码器
‑
解码器装置（5）的解码器（4）将所述表示（6）映射（120）为所述目标测量模式（Z）的真实测量数据（2），其中，测量数据（1）在所述潜在空间中的表示（6）的信息量小于所述测量数据（1）的信息量。2.根据权利要求1所述的方法（100），其中所述潜在空间的维数既小于所述编码器（3）从中提取所述源测量模态（Q）的测量数据（1）的空间的维数，又小于所述解码器（4）将所述目标测量模态（Z）的测量数据（2）映射到的空间的维数。3.根据权利要求1至2中任一项所述的方法（100），其中所述源测量模态（Q）的测量数据（1）包含具有一个或多个对象（11
‑
13）的场景（10）的描述（10a），并且其中所述目标测量模态（Z）的测量数据（2）包括空间中由具体传感器在对所述场景进行物理观察时分别分配给所述场景中的对象（11
‑
13）的地点。4.根据权利要求3所述的方法（100），其中所述目标测量模态（Z）的测量数据（2）包括空间中具体雷达传感器或具体激光雷达传感器在对所述场景进行物理观察时记录到雷达反射或激光雷达反射的地点。5.根据权利要求3至4中任一项所述的方法（100），其中所述场景（10）的描述（10a）包括平面或空间中的多个几何形状（11a
‑
13a）的定义，每个几何形状都认为被对象（11
‑
13）占据。6.根据权利要求1至5中任一项所述的方法（100），其中
•
将所述源测量模态（Q）的测量数据（1）变换（111）为输入图像（1a）或输入点云（1b）；
•
所述输入图像（1a）或所述输入点云（1b）由所述编码器（3）映射（112）为所述潜在空间中的表示（6）；
•
所述表示（6）由所述解码器（4）映射（121）为输出图像（2a）或输出点云（2b）；以及
•
将所述输出图像（2b）或所述输出点云（2a）变换（122）为所述目标测量模态（Z）的测量数据（2）。7.根据权利要求5和6所述的方法（100），其中将所述场景（10）的描述（10a）变换（111）为输入图像（1a），其方式是利用二维或三维网格对所述场景（10）离散化（111a）并针对每个网格点检查（111b）该网格点是否属于在所述描述（10a）中定义的几何形状之一。8.根据权利要求5和6所述的方法（100），其中将所述场景（10）的描述（10a）变换（111）为输入点云（1b），其方式是绘制（111c）来自分布的点的坐标以及将每个属于所述几何形状之一的点添加（111d）到所述输入点云（1b）。9.根据权利要求7至8中任一项所述的方法（100），其中向所述输入图像（1a）的网格点或所述输入点云（1b）的点分配与来自所述场景（10）的描述（10a）的对象（11
‑
13）的材料、类别和/或运动状态有关的附加信息。10.根据权利要求1至9中任一项所述的方法（100），其中多个源测量模态（Q）的测量数据（1）由各自的编码器（3）映射（113）为所述潜在空间中的表示（6），并且其中所述表示（6）<...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：罗伯特，
类型：发明
国别省市：