在交通工具运行期间控制驾驶员辅助系统的方法技术方案

本发明专利技术涉及一种用于在特别是部分自动、完全自动或自主的交通工具(1)运行期间控制驾驶员辅助系统(100)的方法。其中，驾驶员辅助系统(100)包括：一个，特别是至少一个用于观察交通工具(1)环境的传感器(101)和电子控制单元(ecu)，电子控制单元使用尤其至少一个神经网络(NN)用于分析传感器(101)的传感器数据(D)并根据分析的传感器数据(D)提供感知任务(PT)，该方法包括以下步骤：1)由传感器(101)在空间域(SD)中提供传感器数据(D)的数据集(B)，2)由电子控制单元(ecu)使用频率分析将传感器数据(D)的数据集(B)转化为频域(FD)中的频谱(F(B))，3)分析数据集(B)的频谱(F(B))，以检测被对抗攻击的数据集(B

【技术实现步骤摘要】
【国外来华专利技术】在交通工具运行期间控制驾驶员辅助系统的方法
[0001]本专利技术涉及一种根据独立的方法权利要求的，在特别是部分自动、完全自动或自主的交通工具运行期间控制驾驶员辅助系统的方法。此外，本专利技术还涉及根据独立的装置权利要求的电子控制单元。此外，本专利技术还涉及一种包括根据第二个独立的装置权利要求的相应电子控制单元的交通工具。此外，本专利技术还涉及根据独立产品权利要求的用于相应方法的计算机程序产品。
[0002]用于部分或完全自动驾驶的现代驾驶员辅助系统，通常使用机器学习来评估交通工具周围环境，包括物体、行人和其他交通工具。使用深度神经网络，不同类型的传感器数据(摄像头、雷达、激光雷达)可以被处理以产生周围环境的世界模型。作为感知链的一部分，神经网络被用于不同的任务，如语义分割或物体检测。对于语义分割，神经网络根据一组预先定义的类别标签输出输入图像的像素级标签，而物体检测网络则在定义的目标类别的物体周围呈现边界盒。在这两种情况下，最先进的神经网络可以是例如卷积神经网络，它在训练期间根据使用真实数据的输入对一些权重进行参数化。使用基于梯度的优化，参数可以被调整，基础函数被优化，从而使损失函数量化的损失最小。在反复的训练过程中，神经网络学习代表从输入到输出数据的映射的函数。最先进的模型通常由具有大量过滤器的各层组成，通常会产生非常多的可训练参数，从而学习复杂的高维基础函数。虽然神经网络在图像处理方面优于经典的计算机视觉方法，但神经网络也有一些挑战。这包括大多数神经网络很容易受到所谓的对抗攻击的影响。对抗攻击指的是对输入图像应用人工产生的噪声。然而，与随机扰动不同的是，这种噪声被优化为神经网络对输入的错误分类。这样一来，在输入中加入对抗性扰动会导致神经网络的准确性急剧下降。根据各种因素，对抗攻击有可能导致神经网络的故障，从而影响自动驾驶功能的感知能力。
[0003]由于对环境的可靠感知是自动驾驶的安全关键，神经网络的故障可能危及自动驾驶汽车的安全。
[0004]一些已知的解决方案是基于强化神经网络以抵抗对抗攻击。然而，这种解决方案需要大量的计算能力。由于自驾驶系统需要实时应用，强化神经网络在自驾驶系统中是不可行的。
[0005]另外，对抗攻击检测器也是已知的，如特征压缩(Feature Squeezing:Detecting Adversarial Examples in Deep Neural Networks,Weilin Xu,David Evans,Yanjun Qi University of Virginia evadeML.org,In Network and Distributed Systems Security Symposium (NDSS)2018,San Diego,February 2018)。这类对抗攻击检测器使用传统的计算机视觉技术对输入进行小幅修改，如比特深度减少、非局部均值平滑、jpeg压缩、中值平滑等，其对输入进行小幅修改，从而希望换来对抗性扰动的消除。然而，在强大的攻击下，特征压缩技术不起作用。
[0006]提出在一系列的噪声类型和强度下工作的可靠和有效的对抗性检测器，仍然被认为是一个未解决的问题。总之，目前的大多数解决方案不能扩展到不同的攻击，其提出的改进也很小。
[0007]本专利技术要解决的技术问题是提供一种用于在交通工具，尤其部分自动、完全自动
或自主的交通工具运行期间控制驾驶员辅助系统的方法，其改善准确性并且提高安全性。本专利技术要解决的技术问题优选是提供一种用于控制交通工具的驾驶员辅助系统的方法，其能够检测具有不同攻击类型的对抗攻击，也在干净的图像上很好地工作，该方法还能检测具有不同攻击强度的对抗攻击，并且在计算上是便宜的。同时，本专利技术要解决的技术问题是为本专利技术的方法提供相应的用于交通工具的电子控制单元、相应的交通工具和相关的计算机程序产品。
[0008]根据第一方面，本专利技术提供一种方法，用于在交通工具，特别是部分自动、完全自动或自主的交通工具运行期间控制驾驶员辅助系统，具有独立方法权利要求的特征。根据第二方面，本专利技术提供一种具有独立装置权利要求的特征的电子控制单元。根据第三方面，本专利技术提供一种包括相应的具有第二独立装置权利要求的特征的电子控制单元的交通工具。根据第四方面，本专利技术提供一种用于相应方法的计算机程序产品，具有独立产品权利要求的特征。在本专利技术个单个方面披露的细节和特征也适用于本专利技术的其他方面，反之亦然。
[0009]根据第一方面，本专利技术提供一种方法，用于在交通工具，特别是部分自动、完全自动或自主的交通工具运行期间控制一个，特别是至少一个驾驶员辅助系统，其中驾驶员辅助系统包括：一个，特别是至少一个或多个用于观察交通工具环境的传感器和电子控制单元，电子控制单元使用一个，特别是至少一个或多个用于分析传感器的传感器数据并根据分析的传感器数据提供感知任务的神经网络，
[0010]该方法包括以下步骤：
[0011]1)由传感器在空间域中提供传感器数据的数据集，
[0012]2)由电子控制单元使用频率分析将传感器数据的数据集转化为频域中的频谱，
[0013]3)分析数据集的频谱，以检测被对抗攻击的数据集(或换句话说，验证数据集(B)是被对抗攻击的数据集还是干净的数据集)，这优选在分析传感器数据为交通工具提供感知任务之前进行。
[0014]根据本专利技术的方法的步骤可以按照给定的顺序或修改的顺序进行。有利的是，根据本专利技术的方法的步骤可以同时和/或重复进行，以实现流动的过程。
[0015]对于交通工具的每个驾驶员辅助系统，根据本专利技术的方法可以单独进行。
[0016]根据本专利技术的驾驶员辅助系统是电子系统，其通过交通工具的驾驶和停泊功能至少部分或完全地缓解驾驶员压力和/或协助驾驶员。驾驶员辅助系统使用传感器、激光雷达、雷达和/或相机提供感知任务，例如检测附近的障碍物或驾驶员的错误，并作出相应的反应。为了这个目的，传感器、激光雷达、雷达和/或相机的作用是产生交通工具周围环境的世界模型。因此，本专利技术意义上的驾驶员辅助系统被用于安全和更好的驾驶。安全功能的作用是例如避免事故和碰撞。驾驶员辅助系统例如提供自动照明、自适应巡航控制、协助避免碰撞、结合交通警告、提醒驾驶员注意可能的障碍物、协助车道偏离和车道居中、提供导航协助等等。
[0017]根据本专利技术的驾驶员辅助系统使用机器学习(基于神经网络)来评估交通工具周围环境，包括物体、行人和其他交通工具。使用神经网络，如深度神经网络，不同类型的传感器数据(摄像头、雷达、激光雷达)可以被处理，以产生交通工具周围环境的世界模型。作为感知链的一部分，神经网络被用于不同的任务，如语义分割或物体检测。
[0018]传感器数据可以是光学、声学和/或电磁学数据。这些数据集可以例如作为交通工
具环境的图片被提供。在本专利技术的意义上，这些数据集也可以被称为输入图像。为了提供输入图像，可以使用不同传感器的传感器数据。
[0019]频率分析可用于接收特别是离散的频谱，也就是数据集(或换句话说即输入图像)的频谱本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在特别是部分自动、完全自动或自主的交通工具(1)运行期间控制驾驶员辅助系统(100)的方法，其中，驾驶员辅助系统(100)包括：一个，特别是至少一个用于观察交通工具(1)环境的传感器(101)和电子控制单元(ecu)，电子控制单元使用神经网络(NN)用于分析传感器(101)的传感器数据(D)并根据分析的传感器数据(D)为交通工具(1)提供感知任务(PT)，该方法包括以下步骤：1)由传感器(101)在空间域(SD)中提供传感器数据(D)的数据集(B)，2)由电子控制单元(ecu)使用频率分析将传感器数据(D)的数据集(B)转化为频域(FD)中的频谱(F(B))，3)分析数据集(B)的频谱(F(B))，以检测被对抗攻击的数据集(B
’
)。2.按照权利要求1所述的方法，其特征在于，在分析传感器数据(D)以便为交通工具(1)提供感知任务(PT)之前执行方法步骤1)至3)，和/或方法步骤1)至3)是定期执行的，和/或方法步骤1)至3)在交通工具(1)运行期间针对传感器数据(D)的每个数据集(B)执行。3.按照上述权利要求之一所述的方法，其特征在于，传感器数据(D)包括相机、激光雷达和/或雷达数据，和/或数据集(B)作为交通工具(1)的环境的图片来提供，和/或电子控制单元(ecu)使用深度神经网络(DNN)作为神经网络(NN)用于分析传感器(101)的传感器数据(D)并根据分析的传感器数据(D)为交通工具(1)提供感知任务(PT)。4.按照上述权利要求之一所述的方法，其特征在于，步骤2)中的频率分析是由离散傅里叶变换(DFT)、离散余弦变换和/或小波变换提供的。5.按照上述权利要求之一所述的方法，其特征在于，为步骤3)中的检测对抗攻击数据集(B
’
)，使用神经网络(NN)，该神经网络也用于分析传感器(101)的传感器数据(D)和为交通工具(1)提供感知任务(PT)，和/或为步骤3)中的检测对抗攻击数据集(B
’
)，使用特殊的检测神经网络。6.按照权利要求5所述的方法，其特征在于，用于检测对抗攻击数据集(B
’
)的神经网络(NN)和/或特殊检测神经网络(SDNN)将在频域(FD)中对干净数据集(B)的频谱(F(B))和准备好的对抗攻击数据集(B
’
)的频谱(F(B
’
))进行训练，特别是使用不同种类的对抗攻击，以便学习在频域(FD)中干净数据集(B)的频谱(F(B))和对抗攻击数据集(B
’
)的频谱(F(B
’
))之间的差异Δ(F(B),F(B
’
))。
7.按照上述权利要求之一所述的方法，其特征在于，为了在步骤3)中检测被对抗攻击的数据集(B
’
)，使用去噪滤波器(DF)，特别是维纳滤波器，用于在频域(FD)中对数据集(B)的频谱(F(B))进...

【专利技术属性】
技术研发人员：N，
申请(专利权)人：大众汽车股份公司，
类型：发明
国别省市：