对于标注训练数据具有较少要求的图像分类器制造技术

提供了对于标注训练数据具有较少要求的图像分类器。一种用于相对于对象值o和属性值a的组合y=(a，o)对输入图像x进行分类的图像分类器（1），包括：

【技术实现步骤摘要】
对于标注训练数据具有较少要求的图像分类器


[0001]本专利技术涉及图像分类器，其尤其可以用于出于至少部分自动化驾驶目的分析交通情形图像。

技术介绍

[0002]对车辆环境的观察是人类驾驶员在使车辆转向通过交通时使用的主要信息源。因此，用于至少部分自动化驾驶的系统也依赖于对车辆环境图像的分析。这种分析是使用图像分类器来执行的，所述图像分类器检测所获取的图像中的对象
‑
属性对。例如，对象可以具有某种类型（诸如交通标志、车辆、车道），并且也可以被给予一个属性，该属性指代对象的某种特性或状态（如颜色）。这样的图像分类器用训练图像来训练，所述训练图像用关于它们的对象内容的基准真值（ground truth）来标注。
[0003]为了图像分类器的可靠操作，有必要利用在多种多样情形下获取的广泛图像集进行训练，使得图像分类器可以最佳地推广到未见情形。

技术实现思路

[0004]本专利技术提供了一种用于相对于对象值o和属性值a的组合y=(a，o)对输入图像x进行分类的图像分类器。
[0005]该图像分类器包括编码器网络，该编码器网络被配置为将输入图像x映射至表示Z，其中该表示Z包括多个独立分量z1，
…
，z
K
。例如，该编码器网络可以包括一个或多个卷积层，该一个或多个卷积层将滤波器核应用于输入图像并产生一个或多个特征图。
[0006]该图像分类器进一步包括对象分类头网络以及属性分类头网络，该对象分类头网络被配置为将输入图像x的表示分量z1，
…
，z
K
映射到一个或多个对象值o，该属性分类头网络被配置为将输入图像x的表示分量z1，
…
，z
K
映射到一个或多个属性值a。但这些分类头网络没有取得具有所有表示分量z1，
…
，z
K
的完整表示Z作为输入。而是，图像分类器包括关联单元，该关联单元被配置为向每个分类头网络提供输入图像x的与相应分类头网络的分类任务相关的那些表示分量z1，
…
，z
K
的线性组合z
o
、z
a
。
[0007]通过限制每个分类头网络对输入图像x的特定表示分量z1，
…
，z
K
的访问，降低了图像分类器在训练期间学习不想要的关联的趋势。
[0008]例如，如果训练图像包含具有其独特红色的消防车，则图像分类器可以将对象类型“消防车”不仅与消防车的形状相关联，而且还与颜色“红色”相关联。特别地，因为对于图像分类器来说，确定图像包含更多的红色比它在不同形状的车辆之间进行区分容易得多，所以图像分类器可能相比于形状更多地依赖于颜色。这样的“捷径学习”可能无法推广到不在训练图像分布中的图像。例如，一些机场消防车是黄色的。因为黄色又是许多校车具有的颜色，并且两者都是具有相当大轮廓的车辆，所以已经屈服于“捷径学习”的图像分类器可能将黄色消防车误分类为校车。
[0009]防止这种行为是关联单元的工作。如果预先知道车辆的形状对于确定车辆的类型
而言比颜色更重要和更具区分性得多，则关联单元可以将输入图像x的与对象的形状相关的表示分量z1，
…
，z
K
传递给对象分类头网络，同时保持对象的颜色对该对象分类头网络隐藏。在训练期间，对象头分类网络于是仅可以利用它取得的信息工作，并且除了学习如何通过形状在不同类型的车辆之间进行区分之外没有其他选择。
[0010]这进而允许利用较少的图像特性组合来训练图像分类器，这进而引起需要较少量的训练图像。为了教导图像分类器不是所有的消防车都是红色的，不需要包含不同颜色消防车的训练图像。仅仅通过供应与该“捷径学习”相矛盾的更多训练图像来克服“捷径学习”可能是困难的。在消防车的示例中，它们中的绝大多数是红色的，并且需要额外的努力来故意获得示出其他颜色消防车的图像。现在可以节省这种努力。
[0011]如果将表示Z因子分解成与输入图像x的不同方面相关的分量z1，
…
，z
K
，使得关联单元可以用细粒度方式选择将哪些信息转发至分类头网络用于哪个特定任务，则效果最为明显。因此，在特别有利的实施例中，编码器网络被训练以产生表示Z，其分量z1，
…
，z
K
各自包含与输入图像x的一个预定基本因子相关的信息。这样的基本因子的示例包括：
·
图像x中至少一个对象的形状；
·
图像x和/或图像x的区域中的至少一个对象的颜色；
·
以之获取图像x的照明条件；和
·
图像x中至少一个对象的纹理图案。
[0012]例如，对象值o可以从给定的可用类型集中指定对象类型。例如，当评估交通情形的图像时，这些类型可以包括交通标志、其他车辆、障碍物、车道标记、交通灯或任何其他与交通相关的对象。如上面讨论的，可以被分类并与对象值o相关联的属性a的示例包括对象的颜色和纹理。借助于关联单元，颜色或纹理信息可以用于颜色或纹理的分类，同时防止该颜色或纹理信息“泄露”到对象类型的分类。
[0013]所提及的将表示Z因子分解成多个分量z1，
…
，z
K
在利用标注训练图像的常规训练期间已经是有利的，因为不需要额外的图像来克服“捷径学习”。但是，这种因子分解也允许一种新的训练形式，其甚至进一步减少对于标注训练图像的需要。
[0014]因此，本专利技术还提供一种用于训练或预训练上述图像分类器的方法。
[0015]在该方法的过程中，对于表示Z的每个分量z1，
…
，z
K
，提供了因子分类头网络。该因子分类头网络被配置为将相应分量z1，
…
，z
K
映射到图像x的预定基本因子。
[0016]此外，提供了因子训练图像。这些因子训练图像利用相对于由分量z1，
…
，z
K
表示的基本因子的基准真值来标注。例如，如果基本因子是颜色，则因子训练图像的对应基准真值是该图像中示出的对象的颜色。如下面将讨论的，因子训练图像不需要被包含在原始的标注训练图像中，或者甚至不需要与原始的标注训练图像相似。
[0017]借助于编码器网络和因子分类头网络，将因子训练图像映射到基本因子的值。也就是说，编码器生成具有分量z1，
…
，z
K
的表示Z，并且每个这样的分量z1，
…
，z
K
然后被传递到其相应的因子分类头网络，以被映射到相应的基本因子的值。
[0018]基本因子的如此确定的值与基准真值的偏差借助于第一预定损失函数来评级。表征编码器网络的行为的参数和表征因子分类头网络的行为的参数朝着如下目标被优化：当处理另外的因子训练图像时，第一损失函数的评级可能改进。
[0019本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于训练或预训练图像分类器（1）的方法（100），所述图像分类器（1）用于相对于对象值o和属性值a的组合y=(a，o)对输入图像x进行分类，所述图像分类器（1）包括：
·
编码器网络（2），其被配置为将输入图像x映射到表示Z，其中该表示Z包括多个独立分量z1，
…
，z
K
；
·
对象分类头网络（3），其被配置为将输入图像x的表示分量z1，
…
，z
K
映射到一个或多个对象值o；
·
属性分类头网络（4），其被配置为将输入图像x的表示分量z1，
…
，z
K
映射到一个或多个属性值a；和
·
关联单元（5），其被配置为向每个分类头网络（3，4）提供输入图像x的与相应分类头网络（3，4）的分类任务相关的那些表示分量z1，
…
，z
K
的线性组合z
o
、z
a
；所述方法包括以下步骤：
·
为表示Z的每个分量z1，
…
，z
K
提供（110）因子分类头网络（6
‑
9），所述因子分类头网络（6
‑
9）被配置为将相应分量z1，
…
，z
K
映射到图像x的预定基本因子f1，
…
，f
K
；
·
提供（120）因子训练图像（10），所述因子训练图像（10）利用相对于由分量z1，
…
，z
K
表示的基本因子f1，
…
，f
K
的基准真值y
1*
，
…
，y
K*
标注；
·
由编码器网络（2）和因子分类头网络（6
‑
9）将因子训练图像（10）映射（130）到基本因子f1，
…
，f
K
的值y1，
…
，y
K
；
·
借助于第一预定损失函数（11）对基本因子f1，
…
，f
K
的如此确定的值y1，
…
，y
K
与基准真值y
1*
，
…
，y
K*
的偏差进行评级（140）；和
·
朝着如下目标优化（150）表征编码器网络（2）的行为的参数（2a）和表征因子分类头网络（6
‑
9）的行为的参数（6a
‑
9a）：当处理另外的因子训练图像（10）时，第一损失函数（11）的评级（11a）可能改进。2.根据权利要求1所述的方法（100），其中提供（120）因子训练图像（10）包括：
·
对至少一个给定的起始图像应用（121）影响至少一个基本因子f1，
…
，f
K
的图像处理，从而产生因子训练图像（10）；和
·
基于所应用的图像处理，确定（122）相对于基本因子f1，
…
，f
K
的基准真值y
1*
，
…
，y
K*
。3.根据权利要求1和2中任一项所述的方法（100），其中，在每个因子训练图像（10）中，每个基本因子f1，
…
，f
K
取特定值，并且因子训练图像（10）集包括用于基本因子f1，
…
，f
K
的值的每个组合的至少一个因子训练图像（10）。4.根据权利要求1至3中任一项所述的方法（100），进一步包括：
·
提供（160）分类训练图像（12），所述分类训练图像（12）利用对象值o
*
和属性值a
*
的基准真值组合（a
...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：罗伯特，
类型：发明
国别省市：