自动驾驶车辆环境感知能力训练方法、装置、设备及介质制造方法及图纸

本申请实施例提供一种自动驾驶车辆环境感知能力训练方法、装置、设备及介质。可应用于港口、矿山、园区、城市交通、或高速等场景，该方法包括：基于预先采集的环境数据和用于对环境数据进行风格迁移的风格模型，得到用于训练环境感知能力的训练数据；将训练数据输入到用于进行环境感知的感知算法模型中，对感知算法模型进行训练，得到训练完毕的感知算法模型，以实现自动驾驶车辆，基于感知算法模型对环境进行感知处理。本申请实施例解决了相关技术中生成的训练数据与实际场景的差异较大，无法满足无人驾驶系统的训练要求的问题，保证车辆在极端天气条件下的感知精度，进而保证车辆行驶的安全性。安全性。安全性。

【技术实现步骤摘要】
自动驾驶车辆环境感知能力训练方法、装置、设备及介质


[0001]本申请实施例涉及数据处理
，尤其涉及一种自动驾驶车辆环境感知能力训练方法、装置、设备及介质。

技术介绍

[0002]随着多样化交通需求的产生，自动驾驶、无人驾驶等技术逐渐得到更广泛的应用。为保证无人驾驶车辆的安全性，需要通过大量不同场景下的环境数据作为训练数据，对无人驾驶的环境感知能力(如视觉感知能力、位置感知能力、温度感知能力等)进行训练，以保证无人驾驶车辆在不同环境下的行驶安全性(这些感知能力通常通过对应的感知算法模型实现，感知算法模型的识别准确率越高，对应的感知能力越强)。但常规采录的环境数据很难满足极端天气条件下的需求，导致实际车辆在极端天气条件下会出现感知精度下降、安全性不足的情况。
[0003]现有技术中会通过数据拟合等方法生成模拟不同场景的训练数据，但生成的训练数据无法保证满足场景约束要求(如正确表现天气、气温等环境特征)，且训练数据的数据还原度较低，与实际场景差异较大，导致训练出来的无人驾驶系统的视觉感知能力仍然较差，无法满足无人驾驶系统的训练要求。

技术实现思路

[0004]本申请实施例提供了一种自动驾驶车辆环境感知能力训练方法、装置、设备及介质，以解决现有技术中生成的训练数据与实际场景的差异较大，无法满足无人驾驶系统的训练要求的问题。
[0005]第一方面，本申请实施例提供了一种自动驾驶车辆环境感知能力训练方法，自动驾驶车辆环境感知能力训练方法包括：
[0006]基于预先采集的环境数据和用于对环境数据进行风格迁移的风格模型，得到用于训练环境感知能力的训练数据；
[0007]将训练数据输入到用于进行环境感知的感知算法模型中，对感知算法模型进行训练，得到训练完毕的感知算法模型，以实现自动驾驶车辆，基于感知算法模型对环境进行感知处理。
[0008]可见，通过基于预先采集的环境数据和用于对环境数据进行风格迁移的风格模型作为用于训练环境感知能力的训练数据，以训练自动驾驶车辆用于对环境进行感知处理的感知算法模型。由此，感知算法模型中使用的数据并非通过数据拟合的方法生成，而是基于实际环境中采集的环境数据进行风格迁移得到，有效保证得到的训练数据与实际场景的贴合度，进而保证训练的感知算法模型的识别准确性；同时，通过风格模型对环境数据进行风格迁移，实现对风格模型的定制化，可以通过同一环境数据迁移为多种不同的极端天气下的场景风格，保证车辆在极端天气条件下的感知精度，进而保证车辆行驶的安全性。
[0009]可选地，风格模型通过如下方式训练得到：获取用于训练风格模型的风格样本数
据、反向风格样本数据和用于模拟场景的场景样本数据，反向风格样本数据的风格相关参数为与风格样本数据的对应参数相反；将风格样本数据和场景样本数据输入到第一对抗神经网络，输出基于风格样本数据进行风格迁移的目标样本数据；将反向风格样本数据和目标样本数据输入到第二对抗神经网络中，输出目标样本数据对应的还原样本数据；基于还原样本数据与场景样本数据的偏差，对第一对抗神经网络和第二神经网络进行训练；将通过训练的第一对抗神经网络作为风格样本数据对应的风格模型。
[0010]可见，通过第一对抗神经网络和第二对抗神经网络结合的方式，对风格模型的训练过程进行反复校验，保证进行风格迁移后的场景数据(即目标样本数据)能够最大限度的还原为原始状态(即还原样本数据)，进而提高风格模型的场景还原度；同时，风格迁移后的场景数据能够还原为原始数据，说明风格迁移后的场景数据的数据精度得以保留，而不是存在严重的数据丢失，由此，最大限度提升风格模型在风格迁移过程中对场景的约束度和数据精度。
[0011]可选地，获取用于训练风格模型的风格样本数据、反向风格样本数据和用于模拟场景的场景样本数据，包括：获取用于训练风格模型的风格样本数据和用于模拟场景的场景样本数据；基于风格样本数据确定对应的反向风格样本数据。
[0012]可见，通过风格样本数据和反向风格样本数据分别对第一对抗神经网络和第二对抗神经网络进行训练，使得第二对抗神经网络能够起到将第一对神经网络进行风格迁移得到的数据还原为原始的状态，同时，由于风格样本数据和反向风格样本数据相对应，因此，在对第一对抗神经网络和第二对抗神经网络进行训练时，可以同时对这两个神经网络中的生成器进行训练，或同时对这两个神经网络中的验证器进行训练，提高训练效率。
[0013]可选地，第一对抗神经网络包括第一生成器和第一验证器，将风格样本数据和场景样本数据输入到第一对抗神经网络，输出基于风格样本数据进行风格迁移的目标样本数据，包括：基于场景样本数据，提取对应的沿时间分布的第一图像特征数据；将风格样本数据和场景样本数据输入到第一生成器中，并以沿时间分布的第一图像特征数据为约束条件，输出目标样本数据。
[0014]可见，通过沿时间分布的第一图像特征作为约束条件，实现利用场景样本数据对风格迁移过程中的时间和空间进行约束，保证风格迁移后的目标样本数据和迁移前的场景样本数据具有相同的内容特征(如相同物体在迁移前后在图像中的特征相同)，在对场景样本数据为连续帧的视频数据的情况下，显著提升场景约束效果，避免风格迁移过度，保证风格迁移后的目标样本数据的识别效果，进而保证对风格模型和感知算法模型的训练效果。
[0015]可选地，第二对抗神经网络包括第二生成器和第二验证器，将反向风格样本数据和目标样本数据输入到第二对抗神经网络中，输出目标样本数据对应的还原样本数据，包括：基于目标样本数据，提取对应的沿时间分布的第二图像特征数据；将反向风格样本数据和目标样本数据输入到第二生成器中，并以沿时间分布的第二图像特征数据为约束条件，输出还原样本数据。
[0016]可见，通过沿时间分布的第二图像特征数据对第二对抗神经网络进行约束，与第一对抗神经网络中类似，都能保证第二对神经网络在风格迁移过程中的约束效果，保证风格迁移后得到的还原样本数据的识别效果，进而保证对风格模型和感知算法模型的训练效果。
[0017]可选地，基于还原样本数据与场景样本数据的偏差，对第一对抗神经网络和第二神经网络进行训练，包括：基于目标检测算法，提取场景样本数据的特征，得到第一样本特征；基于目标检测算法，提取还原样本数据的特征，得到第二样本特征；基于第一样本特征和第二样本特征的偏差程度，对第一对抗神经网络和第二神经网络进行训练。
[0018]可见，通过目标检测算法提取场景样本数据和还原样本数据的特征，模拟实际应用场景中车机系统基于传感器获取环境数据的过程，并通过提取的特征进行对比，有效判断还原样本数据与场景样本数据在实际应用场景下的相似度，相似程度越高，还原效果越好，目标样本数据的可还原性越好；同时，由于目标样本数据能够准确还原为场景样本数据，说明在实际应用场景中通过还原样本数据能够提取到的特征与实际场景中提取到的环境数据的特征越相符，而还原样本数据是基于目标样本数据风格迁移得到，因此还原样本数据与场景样本数据的偏差越小，说明目标样本数据的场景真实性和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动驾驶车辆环境感知能力训练方法，其特征在于，包括：基于预先采集的环境数据和用于对环境数据进行风格迁移的风格模型，得到用于训练环境感知能力的训练数据；将所述训练数据输入到用于进行环境感知的感知算法模型中，对所述感知算法模型进行训练，得到训练完毕的感知算法模型，以实现所述自动驾驶车辆，基于所述感知算法模型对环境进行感知处理。2.根据权利要求1所述的自动驾驶车辆环境感知能力训练方法，其特征在于，所述风格模型通过如下方式训练得到：获取用于训练风格模型的风格样本数据、反向风格样本数据和用于模拟场景的场景样本数据，所述反向风格样本数据的风格相关参数为与所述风格样本数据的对应参数相反；将所述风格样本数据和场景样本数据输入到第一对抗神经网络，输出基于所述风格样本数据进行风格迁移的目标样本数据；将所述反向风格样本数据和所述目标样本数据输入到第二对抗神经网络中，输出所述目标样本数据对应的还原样本数据；基于还原样本数据与场景样本数据的偏差，对所述第一对抗神经网络和第二神经网络进行训练；将通过训练的第一对抗神经网络作为所述风格样本数据对应的风格模型。3.根据权利要求2所述的自动驾驶车辆环境感知能力训练方法，其特征在于，所述获取用于训练风格模型的风格样本数据、反向风格样本数据和用于模拟场景的场景样本数据，包括：获取用于训练风格模型的风格样本数据和用于模拟场景的场景样本数据；基于所述风格样本数据确定对应的反向风格样本数据。4.根据权利要求2所述的自动驾驶车辆环境感知能力训练方法，其特征在于，所述第一对抗神经网络包括第一生成器和第一验证器，所述将所述风格样本数据和场景样本数据输入到第一对抗神经网络，输出基于所述风格样本数据进行风格迁移的目标样本数据，包括：基于所述场景样本数据，提取对应的沿时间分布的第一图像特征数据；将所述风格样本数据和场景样本数据输入到所述第一生成器中，并以所述沿时间分布的第一图像特征数据为约束条件，输出所述目标样本数据。5.根据权利要求4所述的自动驾驶车辆环境感知能力训练方法，其特征在于，所述第二对抗神经网络包括第二生成器和第二验证器，所述将所述反向风格样本数据和所述目标样本数据输入到第二对抗神经网络中，输出所述目标样本数据对应的还原样本数...

【专利技术属性】
技术研发人员：褚佳鑫，胡缓，王晓东，张天雷，
申请(专利权)人：北京主线科技有限公司，
类型：发明
国别省市：