用于为神经网络生成受干扰的输入数据的方法和生成器技术

本发明专利技术涉及一种用于为用于分析驾驶员辅助系统的传感器数据、特别是数字图像的神经网络（11）生成受干扰的输入数据（9）的方法，其中，定义第一度量，所述第一度量表明如何测量传感器数据的变化程度，定义第二度量，所述第二度量表明来自传感器数据的干扰针对的是什么，由第一度量和所述第二度量的组合产生优化问题，借助至少一种求解算法来求解优化问题，其中，求解表明输入数据（9）的目标干扰，并且借助目标干扰从传感器数据为神经网络（11）生成受干扰的输入数据（9）。本发明专利技术还涉及一种用于执行该方法的生成器（10）以及一种用于检查神经网络（11）的稳健性的方法，该神经网络（11）采用用于生成受干扰的输入数据（9）的方法。于生成受干扰的输入数据（9）的方法。于生成受干扰的输入数据（9）的方法。

【技术实现步骤摘要】
【国外来华专利技术】用于为神经网络生成受干扰的输入数据的方法和生成器


[0001]本专利技术涉及一种为用于分析驾驶员辅助系统的传感器数据、特别是用于分析数字图像的神经网络生成受干扰的输入数据的方法。本专利技术还涉及一种用于检查这种神经网络的稳健性的方法和一种用于改进这种神经网络的参数组的方法。本专利技术还涉及一种用于为用于分析驾驶员辅助系统的传感器数据、特别是用于分析数字图像的神经网络生成受干扰的输入数据的生成器。

技术介绍

[0002]现代车辆包括驾驶员辅助系统，所述驾驶员辅助系统支持驾驶员控制车辆，或者部分地或完全地接管驾驶任务。通过使用这种驾驶员辅助系统，可以实现车辆控制的不同程度的自动化。在自动化程度较低的情况下，仅向驾驶员输出信息和警告。在自动化程度较高的情况下，驾驶员辅助系统主动干预车辆的控制。例如，在车辆转向或正向或负向加速中存在干预。在自动化程度更高的情况下，对车辆的设备的干预达到这样的程度：即可以自动执行车辆的某些类型的运动，例如直线行驶。在自动化程度最高的情况下，车辆可以自动驾驶。
[0003]在此类驾驶员辅助系统中，对在驾驶期间由车辆的周围环境记录的数字图像的分析至关重要。只有在正确分析数字图像时，驾驶员辅助系统才能可靠地控制车辆。在分析驾驶员辅助系统的数字图像时，机器学习具有巨大的潜力。例如由车辆的摄像机、雷达传感器或激光雷达传感器生成的传感器原始数据借助于深度神经网络进行处理。神经网络生成输出数据，驾驶员辅助系统由这些输出数据导出关于部分自动的或全自动的驾驶的相关信息。例如，确定车辆环境中的对象的类型和位置及其行为。此外，可以借助于神经网络来确定道路几何形状和道路拓扑结构。特别是特别的卷积网络（英语：convolutional neuronal networks（卷积神经网络））适合处理数字图像。
[0004]为了应用在驾驶员辅助系统中，对这种深度神经网络进行训练。在此，神经网络的参数可以通过输入数据进行适当调整，而无需人类专家干预。对于给定的参数化，在此测量神经网络的输出与基本事实的差异。这种差异也称为“损失”。在此，以如下方式选择所谓的损失函数：参数可微分地与其相关。在梯度下降的过程中，神经网络的参数然后在每个训练步骤中根据基于更多示例确定的差异导数进行调整。这些训练步骤经常重复，直到差异（即损失）不再减小为止。
[0005]采用这种方法时，无需人类专家的评估或语义驱动的建模就可确定参数。这对神经网络造成的结果是，这些神经网络通常对人们来说在很大程度上是不透明的，并且无法解释它们的计算。这导致，特别是深度神经网络通常无法进行系统测试或正式验证。
[0006]此外存在如下问题：深度神经网络容易受到有害干扰（英语：adversial perturbations（对抗干扰））。人们几乎或根本察觉不到的对输入数据的小篡改，或者不改变情况评估的篡改，可能导致输出数据明显不同于在没有篡改时产生的输出数据。由于传感器噪声、天气影响或某些颜色和对比度，所以此类篡改既可能是对传感器数据的有意引
起的改变，也可能是随机出现的图像变化。
[0007]在此无法预见的是，神经网络会对哪些输入特征做出如此敏感的反应，以至于在输入数据发生轻微变化的情况下输出数据也会显著改变。这具有如下后果：合成的数据无法成功地用于训练在这种驾驶员辅助系统中使用的神经网络。已经发现，在模拟中或以其他合成数据被训练的神经网络，在利用真实传感器数据的驾驶员辅助系统中使用时，具有很差的性能。还发现，在其他域中实施具有神经网络的驾驶员辅助系统还会大大降低功能质量。例如可能发生的是，具有在夏季训练的神经网络的驾驶员辅助系统可能不适合在冬季实施。因此，基于模拟为驾驶员辅助系统开发和批准神经网络是有问题的。
[0008]因此，需要的是，为驾驶员辅助系统开发具有抗干扰能力（robust gegen St
ö
rungen）的神经网络。即使当输入数据受到干扰时，神经网络也应为驾驶员辅助系统生成可用的输出数据。
[0009]为了实现这一点，已知的是，借助已知的干扰，为神经网络生成受干扰的输入数据，并测试神经网络的输出数据如何对这些受干扰的输入数据做出反应。输入数据中存在干扰的集合，借此可以测试神经网络对此类干扰的稳健性。然而，这会导致问题，即，通过已知的干扰只能在有限的程度上生成受干扰的输入数据。因此，有以下需要：为用于分析驾驶员辅助系统的传感器数据、特别是数字图像，以便测试和改进神经网络的神经网络生成受干扰的输入数据。

技术实现思路

[0010]因此，本专利技术的任务在于，提出一种用于为用于分析驾驶员辅助系统的传感器数据、尤其是数字图像的神经网络生成受干扰的输入数据的方法和生成器，利用该方法和生成器，借助已知的干扰以简单的方式可以为神经网络生成的新的受干扰的输入数据。
[0011]根据本专利技术，该任务通过一种具有权利要求1的特征的方法和一种具有权利要求12的特征的方法以及一种具有权利要求14的特征的生成器和一种具有权利要求20的特征的生成器来实现。此外，由此可以提出一种用于检查用于分析传感器数据、特别是数字图像的神经网络相对于受干扰的输入数据的稳健性的方法以及一种用于改进这种神经网络的参数组的方法。有利的设计和改进由从属权利要求得到。
[0012]在根据本专利技术的、用于为神经网络生成受干扰的输入数据的方法以用于分析驾驶员辅助系统的传感器数据的情况下，定义第一度量且定义第二度量，该第一度量表明如何测量数字图像的变化程度，该第二度量表明数字图像的输入数据的干扰针对的是什么。由第一度量和第二度量的组合产生优化问题。优化问题借助于至少一种求解算法来求解，其中，该求解表明输入数据的目标干扰，并且借助于目标干扰从传感器数据为神经网络生成受干扰的输入数据。
[0013]传感器数据尤其是数字图像。在这种情况下，目标干扰因此产生受干扰的（即，改变了的）数字图像，其形成了用于神经网络的输入数据，该神经网络分析数字图像。
[0014]在根据本专利技术的方法中，在结构层面上观察用于分析传感器数据的神经网络的可能的有害干扰。干扰被视为不同元素的组合，针对所述不同元素定义了不同的度量。令人惊讶的是，由此可以实现的是，不再仅使用随机组合的干扰，而是可能的是，通过以下方式基于已知的干扰生成大量新的有害的目标干扰：在度量方面分析已知干扰的结构。
[0015]在根据本专利技术的方法中，有利地由两个度量产生优化问题，这些度量测量传感器数据、尤其是数字图像的变化。对于这种优化问题，存在大量已知的求解算法。因此可以采用这些求解算法来对优化问题求解。由此产生输入数据的目标干扰。然后可以借助该目标干扰，从传感器数据为神经网络生成受干扰的输入数据。然后可以基于这些受干扰的输入数据对神经网络进行测试和训练。有利地，根据本专利技术的方法能够非常快地并且以简单的方式产生新的干扰。
[0016]在根据本专利技术的方法中使用的第一度量表明如何测量传感器数据的变化程度。如果传感器数据是摄像机的数字图像，则用于测试神经网络的干扰通常应尽可能小。第一度量表明如本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于为用于分析驾驶员辅助系统的传感器数据、特别是数字图像的神经网络（11）生成受干扰的输入数据（9）的方法，其中，定义第一度量，所述第一度量表明如何测量传感器数据的变化程度，定义第二度量，所述第二度量表明来自传感器数据的干扰针对的是什么，由所述第一度量和所述第二度量的组合产生优化问题，借助至少一种求解算法来求解所述优化问题，其中，所述求解表明所述输入数据（9）的目标干扰，并且借助所述目标干扰从传感器数据为所述神经网络（11）生成受干扰的所述输入数据（9）。2.根据权利要求1所述的方法，其特征在于，所述第二度量针对的是对象分类的变化。3.根据权利要求1或2所述的方法，其特征在于，所述第二度量针对的是对象的消失。4.根据权利要求1或2所述的方法，其特征在于，所述第二度量针对的是某个类别的对象的变化。5.根据前述权利要求中任一项所述的方法，其特征在于，由所述第一度量和/或第二度量描述的干扰是自然发生的干扰。6.根据权利要求5所述的方法，其特征在于，所述第一度量和/或第二度量存储在数据库（16）中，以及从所述数据库（16）中加载关于利用所述第一度量和/或第二度量测量的自然发生的干扰的数据组。7.根据前述权利要求中任一项所述的方法，其特征在于，定义第三度量，所述第三度量表明干扰应用于哪些传感器数据，以及由所述第一度量、所述第二度量和所述第三度量中的至少两个度量的组合生成所述优化问题。8.根据权利要求7所述的方法，其特征在于，所述第三度量涉及到所有传感器数据。9.根据权利要求7所述的方法，其特征在于，所述第三度量仅涉及到所述传感器数据的子集。10.根据权利要求7所述的方法，其特征在于，
所述第三度量仅描述包含特定对象的传感器数据。11.根据前述权利要求中任一项所述的方法，其特征在于，所述求解算法包括使用所述神经网络的梯度来确定变化方向的迭代方法。12.一种为用于分析驾驶员辅助系统的传感器数据、特别是数字图像的神经网络（11）生成受干扰的输入数据（9）的方法，其中，定义包含所述第一度量的第一组，所述第一度量分别不同地表明如何测量传感器数据的变化程度，定义包含所述第二度量的第二组，所述第二度量分别不同地表明传感器数据的干扰针对的是什么，选择所述第一组的第一度量和所述第二组的第二度量的任意组合，从所述第一度量和第二度量的所选择的组合生成优化问题，借助至少一种求解算法来求解所述优化问题，其中，所述求解表明所述输入数据（9）的目标干扰，并且借助所述目标干扰，由传感器数据为所述神经网络（11）生成受干扰的输入数据（9）。13.根据权利要求12所述的方法，其特征在于，所述第一组包括至少两个、特别是至少五个不同的第一度量。14.根据权利要求12或13所述的方法，其特征在于，所述第二组包括至少两个、特别是至少五个不同的第二度量。15.根据权利要求12至14中任一项所述的方法，其特征在于，定义第三度量，所述第三度量表明干扰应用于哪些传感器数据，以及选择所述第一组的第一度量、所述第二组的第二度量和所述第三度量的任意组合，由所述第一度量、第二度量和第三度量的所选择的组合生成优化问题。16.根据权利要求12至15中任一项所述的方法，其特征在于，定义了包含多个求解算法的求解算法集合，所述多个求解算法分别不同地求解所述优化问题，以便生成所述输入数据的不同的目标干扰，选择所述求解算法集合中的任意求解算法，以便从传感器数据为所述神经网络（11）生成受干扰的输入数据（9）。17.一种用于检查用于分析传感器数据、特别是数字图像的神经网络（11）相对于受干扰的输入数据（9）的稳健性的方法，其中，执行以下步骤：提供具有相关参数组的所述神经网络（11）；借助示例
‑
传感器数据组生成训练数据；借助所述神经...

【专利技术属性】
技术研发人员：F，
申请(专利权)人：纽罗卡特有限责任公司，
类型：发明
国别省市：