本申请涉及自动驾驶技术领域，特别涉及一种车辆感知系统的评估方法、装置、车辆及存储介质，其中，方法包括：获取车辆的源图像；基于预先训练的对抗样本生成网络，添加目标扰动至源图像，得到第一对抗样本，其中，预先训练的对抗样本生成网络由生成对抗网络GAN训练得到；将第一对抗样本输入至车辆的感知系统的多个检测子系统，并根据多个检测子系统检测的多个感知结果得到感知系统的评估结果，由此，通过利用对抗样本攻击的方法，解决了感知系统受到自身潜在漏洞和外界特殊因素的影响，可能无法对交通要素进行正确识别的问题，可以对自动驾驶感知系统的各个模块的鲁棒性进行评估，在一定程度上保障自动驾驶感知系统的安全性及可靠性。靠性。靠性。
【技术实现步骤摘要】
车辆感知系统的评估方法、装置、车辆及存储介质
[0001]本申请涉及自动驾驶
，特别涉及一种车辆感知系统的评估方法、装置、车辆及存储介质。
技术介绍
[0002]近年来，以机器学习尤其是深度学习为代表的人工智能技术的迅速发展正在深刻改变人类生产、生活的方方面面，自动驾驶领域也取得了巨大的进步。自动驾驶感知系统作为智能汽车的眼睛主要负责感知车辆行驶过程中周边的各种信息，为后续的决策规控提供强有力的支撑。
[0003]相关技术中，一种是通过在原始图像阴影区域增加对抗性扰动，评估视觉模型的鲁棒性，另一种是针对自动驾驶系统中的目标识别任务感知系统漏洞。
[0004]然而，第一种仅对阴影部分增加扰动，仍存在许多没有阴影的正常场景；第二种仅针对自动驾驶系统中的目标识别任务，但自动驾驶感知系统不仅包含目标检测任务，还包含语义分割以及车道线检测等任务，无法覆盖。
技术实现思路
[0005]本申请提供一种车辆感知系统的评估方法、装置、车辆及存储介质，以解决感知系统受到自身潜在漏洞和外界特殊因素的影响，可能无法对交通要素进行正确识别的问题，可以对自动驾驶感知系统的各个模块的鲁棒性进行评估，在一定程度上保障自动驾驶感知系统的安全性及可靠性。
[0006]本申请第一方面实施例提供一种车辆感知系统的评估方法，包括以下步骤：获取车辆的源图像；基于预先训练的对抗样本生成网络，添加目标扰动至所述源图像，得到第一对抗样本，其中，所述预先训练的对抗样本生成网络由生成对抗网络GAN(Generative Adversarial Networks，生成式对抗网络)训练得到；以及将所述第一对抗样本输入至所述车辆的感知系统的多个检测子系统，并根据所述多个检测子系统检测的多个感知结果得到所述感知系统的评估结果。
[0007]根据上述技术手段，本申请实施例可以解决感知系统受到自身潜在漏洞和外界特殊因素的影响，可能无法对交通要素进行正确识别的问题，可以对自动驾驶感知系统的各个模块的鲁棒性进行评估，在一定程度上保障自动驾驶感知系统的安全性及可靠性。
[0008]进一步地，在一些实施例中，所述基于预先训练的对抗样本生成网络，添加目标扰动至所述源图像，得到第一对抗样本，包括：提取所述源图像的图像特征；对所述图像特征进行解码生成所述源图像的对抗扰动；对所述对抗扰动和所述源图像进行叠加，得到所述第一对抗样本。
[0009]根据上述技术手段，本申请实施例可以通过增加对抗样本对感知系统进行干扰，可能误导感知系统进行准确分类，暴露感知系统的漏洞。
[0010]进一步地，在一些实施例中，在基于所述预先训练的对抗样本生成网络，添加所述
目标扰动至所述源图像，得到所述第一对抗样本之前，还包括：获取车辆的待训练源图像；确定所述感知系统中多个感知子系统的的替代网络；基于所述待训练源图像和所述感知系统中多个感知子系统的的替代网络，对所述生成对抗网络GAN进行训练，得到所述预先训练的对抗样本生成网络。
[0011]根据上述技术手段，本申请实施例可以针对不同的感知子系统生成对应的替代网络对自动感知系统的各个模块的鲁棒性进行评估。
[0012]进一步地，在一些实施例中，所述多个感知子系统包括目标检测子系统、语音分割子系统和车道线检测子系统，所述基于所述待训练源图像和所述感知系统中多个感知子系统的的替代网络，对所述生成对抗网络GAN进行训练，得到所述预先训练的对抗样本生成网络，包括获取所述待训练源图像的第二对抗样本；基于所述目标检测子系统的损失函数、所述语音分割子系统的损失函数和所述车道线检测子系统的损失函数，将所述第二对抗样本分别输入至所述目标检测子系统、所述语音分割子系统和所述车道线检测子系统，得到所述目标检测子系统的第一输出结果、所述语音分割子系统的第二输出结果和所述车道线检测子系统的第三输出结果；根据所述第一输出结果、所述第二输出结果和所述第三输出结果，对所述生成对抗网络GAN进行训练，得到所述预先训练的对抗样本生成网络。
[0013]根据上述技术手段，本申请实施例可以针对不同的感知子系统生成对应的替代网络对自动感知系统的各个模块的鲁棒性进行评估，在一定程度上保障自动驾驶感知系统的安全性及可靠性。
[0014]进一步地，在一些实施例中，所述目标检测子系统的损失函数为：
[0015][0016]其中，i为第i张图像，CE为交叉熵损失函数，L
loc
为smoothL1损失，y
′
ic
为YOLOv5s网络预测的类别信息，为相应的标签信息，y
′
it
预测的位置信息，为相应的标签信息。
[0017]所述语音分割子系统的损失函数为：
[0018][0019]其中，i代表为第i张图像，CE为交叉熵损失函数，y
′
ip
为U
‑
Net对于图片i中每个像素的预测结果，为图像中每个像素真实的标签信息。
[0020]所述车道线检测子系统的损失函数为：
[0021][0022]其中，i代表为第i张图像，L
cls
为Focal Loss，L
reg
为Smooth L1损失函数，y
′
icls
为LaneATT预测的车道线类别，代表为车道线真实的类别信息，y
′
ireg
代表为LaneATT预测的车道线位置信息，为车道线真实的位置信息。
[0023]根据上述技术手段，本申请实施例可以利用损失函数每个感知子系统识别误差最小化。
[0024]本申请第二方面实施例提供一种车辆感知系统的评估装置，包括：获取模块，用于获取车辆的源图像；训练模块，用于基于预先训练的对抗样本生成网络，添加目标扰动至所
述源图像，得到第一对抗样本，其中，所述预先训练的对抗样本生成网络由生成对抗网络GAN训练得到；以及评估模块，用于将所述第一对抗样本输入至所述车辆的感知系统的多个检测子系统，并根据所述多个检测子系统检测的多个感知结果得到所述感知系统的评估结果。
[0025]进一步地，在一些实施例中，所述训练模块，包括：提取单元，用于提取所述源图像的图像特征；解码单元，用于对所述图像特征进行解码生成所述源图像的对抗扰动；叠加单元，用于对所述对抗扰动和所述源图像进行叠加，得到所述第一对抗样本。
[0026]进一步地，在一些实施例中，在基于所述预先训练的对抗样本生成网络，添加所述目标扰动至所述源图像，得到所述第一对抗样本之前，所述叠加模块，还包括：获取单元，用于获取车辆的待训练源图像；感知单元，用于确定所述感知系统中多个感知子系统的的替代网络；训练单元，用于基于所述待训练源图像和所述感知系统中多个感知子系统的的替代网络，对所述生成对抗网络GAN进行训练，得到所述预先训练的对抗样本生成网络。
[0027]进一步地，在一些实施例中，所述多个感知子系统包括目标检测子系统、语音分割子系统和车道线本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种车辆感知系统的评估方法，其特征在于，包括以下步骤：获取车辆的源图像；基于预先训练的对抗样本生成网络，添加目标扰动至所述源图像，得到第一对抗样本，其中，所述预先训练的对抗样本生成网络由生成对抗网络GAN训练得到；以及将所述第一对抗样本输入至所述车辆的感知系统的多个检测子系统，并根据所述多个检测子系统检测的多个感知结果得到所述感知系统的评估结果。2.根据权利要求1所述的方法，其特征在于，所述基于预先训练的对抗样本生成网络，添加目标扰动至所述源图像，得到第一对抗样本，包括：提取所述源图像的图像特征；对所述图像特征进行解码生成所述源图像的对抗扰动；对所述对抗扰动和所述源图像进行叠加，得到所述第一对抗样本。3.根据权利要求1所述的方法，其特征在于，在基于所述预先训练的对抗样本生成网络，添加所述目标扰动至所述源图像，得到所述第一对抗样本之前，还包括：获取车辆的待训练源图像；确定所述感知系统中多个感知子系统的的替代网络；基于所述待训练源图像和所述感知系统中多个感知子系统的的替代网络，对所述生成对抗网络GAN进行训练，得到所述预先训练的对抗样本生成网络。4.根据权利要求3所述的方法，其特征在于，所述多个感知子系统包括目标检测子系统、语音分割子系统和车道线检测子系统，所述基于所述待训练源图像和所述感知系统中多个感知子系统的的替代网络，对所述生成对抗网络GAN进行训练，得到所述预先训练的对抗样本生成网络，包括：获取所述待训练源图像的第二对抗样本；基于所述目标检测子系统的损失函数、所述语音分割子系统的损失函数和所述车道线检测子系统的损失函数，将所述第二对抗样本分别输入至所述目标检测子系统、所述语音分割子系统和所述车道线检测子系统，得到所述目标检测子系统的第一输出结果、所述语音分割子系统的第二输出结果和所述车道线检测子系统的第三输出结果；根据所述第一输出结果、所述第二输出结果和所述第三输出结果，对所述生成对抗网络GAN进行训练，得到所述预先训练的对抗样本生成网络。5.根据权利要求4所述的方法，其特征在于，所述目标检测子系统的损失函数为：其中，i为第i张图像，CE为交叉熵损失函数，L
loc
为smooth L1损失，y
′
ic
为YOLOv5s网络预测的类别信息，为相应的标签信息，y
′
it
预测的位置信息，为相应的标签信息。所述语音分割子系统的损失函...
【专利技术属性】
技术研发人员：马金燕，罗咏刚，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。