带有粒化程度适配的对图像数据的分类制造技术

用于对图像数据（2）进行分类的设备（1），其包括：

【技术实现步骤摘要】
【国外来华专利技术】带有粒化程度适配的对图像数据的分类


[0001]本专利技术涉及一种用于对图像数据进行分类的设备，该设备尤其是可用于在交通中至少部分自动化驾驶车辆。

技术介绍

[0002]为了能够在道路交通中安全地驾驶车辆，持续监控车辆周围环境是绝对必要的。相对应的传感技术提供各种模态的图像。为了从中获得关于交通状况的以机器方式可继续处理的信息，采用可训练的分类器。这样的分类器将图像数据处理成至预先规定的分类的一个或者多个类别的分配关系（Zuordnung）。例如，这些类别可以表示交通标志或者其他要在图像中识别出的对象。
[0003]所记录的图像经常不能直接被用于分类，而是必须首先被预处理。从DE 10 2017 211 331 Al中，已知一种具有预处理模块的系统，该预处理模块可以有针对性地被训练，以便突出与实际处理图像相关的信息。

技术实现思路

[0004]在本专利技术的范围内，已开发了一种用于对图像数据进行分类的设备。所述设备包括可训练的预处理单元。预处理单元构造成，依据图像数据，从经过训练的关联（Zusammenhang）中，检索至少一个在要将图像数据的粒化程度（Detaillierungsgrad）减少到何种程度方面的预先规定（Vorgabe），并且相对应地减少图像数据的粒化程度。此外，该设备包括分类器，该分类器构造成，将经过细节减少的（detailreduzierten）图像数据映射到至预先规定的分类的一个或者多个类别的分配关系上。
[0005]在本上下文下，术语“分类”也包含对图像的语义分割、图像的像素或者其他子区域。
[0006]图像数据可以是例如摄像机图像、视频图像、雷达图像、超声波图像或者激光雷达（LIDAR）图像。这些是如下成像模态：所述成像模态单个地或者组合地最频繁地被用于监控车辆的周围环境。
[0007]至一个或者多个类别的分配关系可以例如是“独热（one
‑
hot）”向量，该“独热”向量只针对可用类别中的一个类别具有非零分量。但是，该分配关系例如也可以是Softmax向量，该Softmax向量将非零的置信度和/或概率分配给多个类别，所述置信度和/或概率总共相加为1。
[0008]可训练的预处理单元或可训练的分类器尤其是分别被视为如下模块：为了进行一般化，所述模块大力具体表现利用可适配参数来参数化的函数。在训练这样的模块时，这些参数尤其是可以被适配为使得，相应模块的或作为整体的设备的相应学习输入尽可能好地被映射到事先已知的所属的学习输出上。预处理单元或分类器尤其是可以包含人工神经网络KNN，和/或可以是KNN。
[0009]已认识到，图像数据本身的最大细节丰富度没有为通过分类器将图像数据正确地
分配给类别提供保证。更确切地说，在尤其是通过训练数据的类型、组成和质量以及训练周期的数目来表征的给定训练水平的情况下，可训练的分类器只能合理地处理具有确定的粒化程度的图像。如果例如通过以具有较高像素分辨率的新摄像机传感器调换摄像机传感器来输送具有较高粒化程度的图像，则没有进一步提升分类的精度。更确切地说，如果分辨率的提升也没有伴随对训练的数量上和/或质量上的提升，则精度甚至可能会受到影响：更高的像素分辨率可能被证明为图像噪声的“入侵关口”，但是也可能被证明为针对具有“对抗样本（adversarial examples）”的有针对性攻击的“入侵关口”。后者是有针对性地被引入图像数据中的操纵，所述操纵可能完全没有引起该图像的人类观察者注意，可是可能促使分类器，将该图像分配给一个或者多个其他类别。
[0010]因此，例如确定的训练水平对此可能足以，可靠地对具有全高清（Full HD）图像（1920
ꢀ×ꢀ
1080像素）的典型粒化程度的图像进行分类。而为了可靠地对具有4K图像（4096
ꢀ×ꢀ
2160像素）的典型粒化程度的图像进行分类，可能需要更长的训练、具有更大的训练数据变异性的训练、和/或具有训练数据中的更低的标签噪声（Label
‑
Rauschen）的训练。在分类器的其中预先规定分类器的训练水平的具体应用中的状况中，粒化程度的事后降低可以防止，图像噪声或者“对抗样本”的由于过度粒化造成的易感性起作用。
[0011]与此相应地，从给定要用于图像记录的感觉机制和分类任务的应用状况出发，可以节省获得训练数据的开销。如果例如选择对于具体任务提供过大的粒化的摄像机，则粒化程度的事后减少可能导致：除了预先规定的在分类任务上要实现的精度之外，利用与对于摄像机的所选分辨率在其他情况下可能需要的训练数据相比更少的训练数据来完成该训练。
[0012]作为直观实例要提到对行人的识别。由于行人是最脆弱的交通参与者，所以识别这样的每个行人是绝对重要的。相反不重要的是，行人如何穿衣，服装是否包含被印上的主题、垫肩或者其他配饰，或者行人有何种体格。因此，图像数据中的粒化程度可以被大幅减少，而不会减小在识别交通状况中的行人时的精度。
[0013]较低的粒化程度又导致，可以更节约地确定分类器硬件的尺寸。如果总共要处理更少的细节，则例如可以在更小的计算单元（比方说GPU）上实施分类器的KNN，所述更小的计算单元成本更低并且也消耗更少能量。
[0014]尤其是，减少粒化程度可能例如引起，简单的变化（并且在本专利技术尤其是各个图像像素中的变化）被拉平。接着，分类器不再对这样的变化作出反应。
[0015]为了减少粒化程度，原则上可以使用任何传递函数，该传递函数的特征在于一个或者多个可优化的参数。例如，可以屏蔽对于分类不重要的确定的图像区域。尤其是该实例示出了，对于相应的应用最优的粒化程度减少对于每个图像而言都是特定的。因而重要的是，针对每个图像，从经过训练的关联中，重新检索要将粒化程度减少到何种程度的预先规定。
[0016]在特别有利的构建方案中，预处理单元和分类器构造为共同的人工神经网络KNN。这使“携手（Hand in Hand）”共同训练两个模块变得容易，因为所需的粒化程度例如也可能取决于要识别的对象的类型。如前面所提及的那样，行人的具体形状通常与行人的识别不相关。而例如重要的是，依据车辆的形状来区分，是乘用车还是载货车，因为这些车辆类型在其行驶动力学性方面有根本区别。
[0017]构造为共同的KNN并不要求，预处理单元和分类器实施在共同的组件中，或者要不然在空间上相邻地用硬件实施。更确切地说，起决定性作用的是，共同的KNN的形成预处理单元的部分和该KNN的形成分类器的部分在数据技术上彼此相连，使得KNN的这两部分的参数可以一起被训练。
[0018]粒化程度的减少可以特别地被使用在对车辆的周围环境的监控中，以便在车辆之内节省传输带宽。可以已经在相应的传感器附近通过预处理单元来减少粒化程度。接着，经过细节减少的图像数据具有明显较小的体积，和/或这些图像数据可以由于其较小的信息含量而被压缩到明显更小的体积，用于在车辆之内传输至分类器。
[0019]因而，在另一特别有利的构建方案中，经本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.用于对图像数据（2）进行分类的设备（1），其包括：
•ꢀ
可训练的预处理单元（11，11a
‑
11d），所述预处理单元（11，11a
‑
11d）构造成，依据所述图像数据（2），从经过训练的关联中，检索（111）至少一个在要将所述图像数据（2）的粒化程度减少到何种程度方面的预先规定（3），并根据所述预先规定（3）减少（112）所述图像数据（2）的所述粒化程度；以及
•ꢀ
可训练的分类器（12），所述分类器（12）构造成，将经过细节减少的图像数据（4）映射到至预先规定的分类的一个或者多个类别的分配关系（5）上。2.根据权利要求1所述的设备（1），其中，所述预处理单元（11，11a
‑
11d）和所述分类器（12）构造为共同的人工神经网络KNN。3.根据权利要求1至2中任一项所述的设备（1），其中，
•ꢀ
经由专用宽带连接（62a
‑
62d），所述预处理单元（11，11a
‑
11d）与至少一个由车辆（6）携带的图像源（61a
‑
61d）相连，并且
•ꢀ
经由所述车辆（6）的总线系统（63），所述预处理单元（11，11a
‑
11d）与所述分类器（12）相连，所述总线系统（63）由所述车辆（6）的其他车载系统（64
‑
66）共同使用。4.根据权利要求1至3中任一项所述的设备（1），其中，所述预处理单元（11，11a
‑
11d）构造成，
•ꢀ
将所述图像数据（2）变换为工作空间中的表示，以及
•ꢀ
减少所述表示的所述粒化程度。5.根据权利要求4所述的设备（1），其中，所述预处理单元（11，11a
‑
11d）构造成，
•ꢀ
将所述工作空间中的所述表示确定为所述工作空间的基函数的如下线性组合：所述线性组合通过一组系数来表征，
•ꢀ
依据所述图像数据（2），从所述经过训练的关联中，检索至少一个在按照数值要减少或者要消除哪些系数方面的预先规定，以及
•ꢀ
根据所述预先规定，减少或者消除所述表示的系数。6.根据权利要求5所述的设备（1），其中，所述预处理单元（11，11a
‑
11d）构造成，将所述工作空间中的所述表示确定为如下小波线性组合：所述小波线性组合通过一组小波系数来表征。7.根据权利要求5至6中任一项所述的设备（1），其中，所述预处理单元（11，11a

【专利技术属性】
技术研发人员：J，
申请(专利权)人：罗伯特，
类型：发明
国别省市：