根据图像数据与预先给定的分布的兼容性用于技术系统的异常控制技术方案

根据图像数据与预先给定的分布的兼容性用于技术系统的异常控制。用于通过识别输入图像数据在何种程度上与图像数据的至少一个预先给定的分布相配或与预先给定的分布偏离来探测尤其摄像机的输入图像数据中的异常的方法，具有步骤：

【技术实现步骤摘要】
根据图像数据与预先给定的分布的兼容性用于技术系统的异常控制


[0001]本专利技术涉及一种用于识别技术系统中的异常的方法。该识别被化为检验应该由技术系统的神经网络处理的图像数据是否被该神经网络已经经历的训练的范围涵盖。

技术介绍

[0002]驾驶员辅助系统和用于至少部分自动驾驶的系统与人类驾驶员类似地使用来自作为重要的信息源的车辆的周围环境的图像数据。神经网络经常被用于处理这些图像数据。如果利用足够可变性的训练图像数据对这些神经网络进行训练，则所述神经网络之后也可以在在训练未看到的大量状况下从图像数据中得出针对车辆的操控的正确结论。
[0003]然而，该能力限于与通过训练图像数据定义的分布相配的图像数据。如果例如对网络进行训练以对与交通相关的对象进行分类，则所述网络将在大量情况下可靠地识别车辆、交通标志、车道边界和在交通状况中有规则地出现的许多其他对象。而由于不完善的装载物保护措施在运输时已松动并且躺在高速公路中间的沙发在培训中不出现，并且本身不被识别。于是不保证由神经网络控制的车辆及时刹车和/或绕道。
[0004]因此，DE 10 2019 209 227 A1公开一种方法，利用所述方法可以鉴于以下方面对通过输入参量值表征的任意状况进行检验：在对神经网络进行训练时学习的关系是否可以应用于这些状况。

技术实现思路

[0005]在本专利技术的范围内，开发了一种用于识别输入图像数据在何种程度上与图像数据的至少一个预先给定的分布相配或与该预先给定的分布偏离的方法。该识别使得能够探测输入图像数据中的异常，并且因此也使得能够探测技术系统中的异常，所述技术系统处理所述输入图像数据。尤其是，图像数据可以例如利用任意形式的摄像机被记录。所述图像数据可以例如代表静止图像或者图像序列。
[0006]在该方法的范围中，提供至少一个变换，所述变换将所述输入图像数据映射到关于至少一个方面信息减少的数据。就此而论，术语“信息减少的”尤其是应被理解为不能明确地逆转变换。因此，例如，变换可以提供一种将图像缩小到较低分辨率或将彩色图像转换为灰度图像的明确途径。但是，不能从中导出返回到具有更高分辨率的特定图像或特定彩色图像的明确途径。
[0007]提供至少一个神经重构网络。该神经重构网络被训练成从通过将所述变换应用于原始图像数据从预先给定的分布中获得的信息减少的数据中重构所述原始图像数据。
[0008]通过应用所述变换将所述输入图像数据映射到信息减少的数据。利用所述神经重构网络将所述信息减少的数据映射到重构图像数据。
[0009]在使用所述重构图像数据的情况下，评价所述输入图像数据在何种程度上与所述预先给定的分布相配或与所述分布偏离。
[0010]已经认识到，神经重构网络从信息减少的数据中重构输入图像数据的能力与输入到该重构网络中的信息减少的数据与对重构神经网络进行训练所基于的那个数据分布相配相绑定。因此，重构网络例如可以被训练成从来自预先给定的分布的图像数据的大量信息减少的版本出发重构相应的原物。与来自相同分布的图像数据相对应的信息减少的数据于是被映射到原物的类似良好的重构上。而与远远超然于该分布的图像数据相对应的信息减少的数据被映射到与输入图像数据不再有太多共同之处的重构上。恰好这一点使得能够识别哪些输入图像数据与预先给定的分布相配以及哪些不相配。
[0011]例如，重构网络可以被训练成从在分辨率方面缩小的图像数据中赢回具有高分辨率的原物。例如，可以为此使用通过缩小纹理化材料幅面的图像数据而获得的信息减少的数据。于是重构网络将学习特别是通过重建精细的材料纹理来恢复属于缩小的图像数据的原物。这对于显示材料幅面的信息减少的图像也是正确的。然而，如果现在给如此训练的重构网络呈现石料墙的信息减少的图像，则重构图像数据同样包含在石料墙上不合适的精细材料纹理。
[0012]在此情况下，通过产生信息减少的数据所利用的变换的类型可以控制在一方面输入图像数据与另一方面预先给定的分布之间寻求何种类型的偏差。最后，因此不仅必须有这种类型的数字陈述“与预先给定的分布相配或不相配”。代替地，也可以包含这种类型的差异化陈述“关于所检查的方面1、2、3、5至7和9与预先给定的分布相配，但是关于方面4和8不相配”。这又使得能够更精细地诊断图像数据关于特定方面与训练图像数据偏离的事实在何种程度上对下游系统产生影响。
[0013]如果例如由于罕见天气现象而使交通状况沐浴在具有在为图像分类器记录训练图像时未发生的特殊颜色的日光下，则通过将该交通状况的输入图像转变为灰度图像并且利用重构网络重构颜色可以获得重构彩色图像。但是在此情况下，重构网络将把灰度映射到来自在先前训练时已经学习的分布的颜色，而不是将灰度映射到重构网络从未见过的超然于该分布的颜色。因此，重构具有明显不同于输入图像的色彩。通过这种方式，可以识别输入图像中的颜色与先前学习的颜色明显偏离。驾驶员辅助系统或用于至少部分自动驾驶的系统可以从中例如得出结论，即由于不寻常的照明条件，根据颜色信息对交通状况的评定可能是不可靠的，并且该评定代替地应该依赖于与照明条件无关的其他方面、诸如对象的形状。
[0014]除了以已经谈及的方式缩小到较低的分辨率以及移除颜色信息，仍可以使用许多其他变换来检验输入图像数据与预先给定的分布关于完全不同的方面的兼容性。
[0015]因此，通过根据亮度值对像素进行排序，可以识别输入图像与预先给定的分布关于对象的形状的偏差。
[0016]通过修改（例如屏蔽）随机选择的像素，可以识别输入图像与预先给定的分布关于局部图像干扰的偏差。
[0017]通过添加图像内容（例如以图像“补丁”的形式），可以识别输入图像与预先给定的分布关于空间对称性的偏差。
[0018]通过消除亮度差异，例如通过除以加权像素总和，可以识别输入图像与预先给定的分布关于图像亮度的偏差。
[0019]通过在图像数据的空间子区域上聚合图像信息，例如通过在整个行或列上对像素
值相加，可以识别输入图像与预先给定的分布关于图像特性的空间分布的偏差。
[0020]通过移除根据预先给定的准则选择的图像信息、诸如图像背景，可以识别输入图像与预先给定的分布关于图像的该部分（即例如关于背景）的偏差。
[0021]通过从图像数据中选择图像片段并且将图像片段置中，可以识别输入图像与预先给定的分布关于图像中的对象的位置的偏差。
[0022]如先前已经谈及的，对于相同的输入图像数据可以研究与预先给定的分布的兼容性的完全不同的方面。为此，在一个有利的设计方案中，可以通过应用不同的变换从相同的输入图像数据中产生多个信息减少的版本。然后可以将每个信息减少的版本利用与相应的变换相对应的神经网络映射到重构版本。可以将如此获得的重构版本包括到评价中：输入图像数据在何种程度上、也即关于哪些所研究的方面与预先给定的分布相配或与所述分布偏离。
[0023]在一个特别有利的设计方案中，选择生成神经重构网络。于是，重构图像数据的生成以所述信息减少的数据为条件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于通过识别输入图像数据（2）在何种程度上与图像数据的至少一个预先给定的分布（1）相配或与所述预先给定的分布（1）偏离来探测尤其摄像机的输入图像数据（2）中的异常的方法（100），所述方法具有步骤：
·
提供至少一个变换（3）（110），所述变换将所述输入图像数据（2）映射到关于至少一个方面信息减少的数据（2*）；
•
提供至少一个神经重构网络（4）（120），所述神经重构网络被训练成从通过将所述变换（3）应用于原始图像数据从预先给定的分布（1）中获得的信息减少的数据中重构所述原始图像数据；
•
通过应用所述变换（3）将所述输入图像数据（2）映射到信息减少的数据（2*）（130）；
•
利用所述神经重构网络（4）将所述信息减少的数据（2*）映射到重构图像数据（2**）（140）；
•
在使用所述重构图像数据（2**）的情况下评价（150）：所述输入图像数据（2）在何种程度上与所述预先给定的分布（1）相配或与所述分布（1）偏离。2.根据权利要求1所述的方法（100），其中所述变换（3）包括
•
缩小到较低的分辨率，和/或
•
移除颜色信息，和/或
•
根据亮度值对像素进行排序，和/或
•
修改随机像素，和/或
•
添加图像内容，和/或
•
消除亮度差异，和/或
•
在图像数据（2）的空间子区域上聚合图像信息，和/或
•
移除根据预先给定的准则选择的图像信息，和/或
•
从所述图像数据（2）中选择图像片段并且将所述图像片段置中。3.根据权利要求1至2中任一项所述的方法（100），其中
•
通过应用不同的变换（3）从相同的输入图像数据（2）中产生多个信息减少的版本（2*）（131），
•
利用与相应的变换（3）相对应的神经重构网络（4）将每个信息减少的版本（2*）映射到重构版本（2**）（141），并且
•
将如此获得的重构版本（2**）包含到所述评价（150）中（151）。4.根据权利要求1至3中任一项所述的方法（100），其中选择生成神经重构网络（4）（121）并且重构图像数据（2**）的生成以所述信息减少的数据（2*）为条件（122）。5.根据权利要求1至4中任一项所述的方法（100），其中与鉴别器一起作为生成对抗网络GAN训练的生成器被选择为神经重构网络（4）（121a）。6.根据权利要求5所述的方法（100），其中由所述鉴别器针对所述重构图像数据（2**）确定的分数被包括到所述评价（150）中（152）。7.根据权利要求1至6中任一项所述的方法（100），其中根据一方面所述重构图像数据（2**）和另一方面所述输入图像数据（2）的比较式评价来评估（153）：所述输入图像数据（2）在何种程度上与预先给定的分布（1）相配或与所述分布（1）偏离。8.根据权利要求7所述的方法（100），其中所述比较式评价包括在所述重构图像数据
（2**）和所述输入图像数据（2）之间的相似性的量度（153a）。9...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：罗伯特，
类型：发明
国别省市：