驾驶场景的表示方法、装置、系统和存储介质制造方法及图纸

本发明专利技术实施例提出一种驾驶场景的表示方法、装置、系统和存储介质，其中的方法包括预处理原始场景序列，得到训练场景序列，其中，所述原始场景序列中的每帧原始数据均包括场景感知数据和驾驶行为数据，所述训练场景序列中的每帧训练数据均包括场景感知向量和驾驶行为向量；基于所述训练场景序列训练场景嵌入模型；将目标场景的感知数据输入训练好的场景嵌入模型，得到所述目标场景的表示向量。上述方法可以自动化训练场景嵌入模型，有效且低成本地实现将海量高维场景向量降维到可解释语义层面的效果。

Representation methods, devices, systems and storage media of driving scenes

【技术实现步骤摘要】
驾驶场景的表示方法、装置、系统和存储介质
本专利技术涉及自动驾驶
，尤其涉及一种驾驶场景的表示方法、装置、系统和存储介质。
技术介绍
高速自动驾驶场景是一个复杂度相对城市道路场景更低的场景，但在高速行驶过程中，任何由于传感器误差或外界扰动产生的感知数据跳变都可能影响决策规划模块线上输出的一致性，而且这种情况下模块工作严重缺乏可解释性。此外，在自动驾驶车辆的决策规划模块的评测中，如何定义有效且典型的场景，如何避免冗余和提升效率，怎样保证构造的场景能全方位测试自动驾驶决策的完备性，也越来越成为决策模块产品化面临的一个重要问题。当前，决策规划模块直接应用感知原始的物理数据，会将感知数据的原始误差无保护地直接透传，容易引起下游的异常和输出跳变，而且物理数据描述的场景本身就不具备可解释性；基于专家经验对原始的感知数据做“语义化”处理方案，会严重依赖领域知识，且对硬件方案或场景敏感，还会增加人工成本和开发周期。
技术实现思路
本专利技术实施例提供一种驾驶场景的表示方法、装置、系统和存储介质，以解决现有技术中的一个或多个技术问题。第一方面，本专利技术实施例提供了一种驾驶场景的表示方法，包括：预处理原始场景序列，得到训练场景序列，其中，所述原始场景序列中的每帧原始数据均包括场景感知数据和驾驶行为数据，所述训练场景序列中的每帧训练数据均包括场景感知向量和驾驶行为向量；基于所述训练场景序列训练场景嵌入模型；将目标场景的感知数据输入训练好的场景嵌入模型，得到所述目标场景的表示向量。在一种实施方式中，预处理原始场景序列，得到训练场景序列，包括：根据横向分辨率和纵向分辨率，将所述场景感知数据的物理感知范围划分为多个物理感知单元格；根据所述场景感知数据中的障碍物信息，设置每个所述物理感知单元格中的参数信息；用多个包含所述参数信息的物理感知单元格表示所述场景感知向量。在一种实施方式中，预处理原始场景序列，得到训练场景序列，包括：将所述驾驶行为数据映射到离散语义类别，得到所述驾驶行为向量。在一种实施方式中，基于所述训练场景序列训练场景嵌入模型，包括：从当前窗口的所述训练场景序列中，采样当前帧训练数据和正样本训练数据集，其中，所述正样本训练数据集包括所述当前帧训练数据的前N帧训练数据和后N帧训练数据，N为正整数；从所述当前窗口之外的所述训练场景序列中，采样负样本训练数据集，其中，所述负样本训练数据集包括随机采样的2N帧训练数据；基于所述当前帧训练数据、所述正样本训练数据集和所述负样本训练数据集训练所述场景嵌入模型。在一种实施方式中，所述当前帧训练数据包括当前帧场景感知向量和当前帧驾驶行为向量，所述正样本训练数据集包括2N帧正样本场景感知向量和2N帧正样本驾驶行为向量，所述负样本训练数据集包括2N帧负样本场景感知向量和2N帧负样本驾驶行为向量，基于所述当前帧训练数据、所述正样本训练数据集和所述负样本训练数据集训练所述场景嵌入模型，包括：将所述当前帧场景感知向量、2N帧所述正样本场景感知向量和2N帧所述负样本场景感知向量输入所述场景嵌入模型，分别得到当前帧嵌入向量、2N帧正样本嵌入向量和2N帧负样本嵌入向量；根据每帧所述正样本嵌入向量与所述当前帧嵌入向量之间的相似度和第一行为权重，确定正样本相似度，所述第一行为权重根据所述正样本嵌入向量对应的驾驶行为向量与所述当前帧嵌入向量对应的驾驶行为向量之间的相似度确定；根据每帧所述负样本嵌入向量与所述当前帧嵌入向量之间的相似度和第二行为权重，确定负样本相似度，所述第二行为权重根据所述负样本嵌入向量对应的驾驶行为向量与所述当前帧嵌入向量对应的驾驶行为向量之间的相似度确定；根据所述正样本相似度和所述负样本相似度，调整所述场景嵌入模型的模型参数。在一种实施方式中，根据所述正样本相似度和所述负样本相似度，调整所述场景嵌入模型的参数，包括：以最大化所述正样本相似度和最小化所述负样本相似度为收敛目标，调整所述场景嵌入模型的模型参数。在一种实施方式中，将目标场景的感知数据输入训练好的场景嵌入模型，得到所述目标场景的表示向量，包括：将所述目标场景的两帧感知数据输入所述训练好的场景嵌入模型，分别得到第一表示向量和第二表示向量；根据所述第一表示向量和所述第二表示向量之间的相似度，判断所述目标场景的变化度。在一种实施方式中，所述目标场景包括第一目标场景和第二目标场景，将目标场景的感知数据输入训练好的场景嵌入模型，得到所述目标场景的表示向量，包括：将所述第一目标场景的感知数据输入所述训练好的场景嵌入模型，得到第一场景嵌入向量；将所述第二目标场景的感知数据输入所述训练好的场景嵌入模型，得到第二场景嵌入向量；根据所述第一场景嵌入向量和所述第二场景嵌入向量之间的相似度，判断所述第一目标场景与所述第二目标场景是否属于同一类场景。第二方面，本专利技术实施例提供一种模型训练装置，包括：预处理模块，用于预处理原始场景序列，得到训练场景序列，其中，所述原始场景序列中的每帧原始数据均包括场景感知数据和驾驶行为数据，所述训练场景序列中的每帧训练数据均包括场景感知向量和驾驶行为向量；训练模块，用于基于所述训练场景序列训练场景嵌入模型，所述场景嵌入模型用于对输入所述场景嵌入模型的目标场景的感知数据进行处理，得到所述目标场景的表示向量。在一种实施方式中，所述预处理模块包括：划分子模块，用于根据横向分辨率和纵向分辨率，将所述场景感知数据的物理感知范围划分为多个物理感知单元格；设置子模块，用于根据所述场景感知数据中的障碍物信息，设置每个所述物理感知单元格中的参数信息；表示子模块，用于用多个包含所述参数信息的物理感知单元格表示所述场景感知向量。在一种实施方式中，所述预处理模块包括：映射模块，用于将所述驾驶行为数据映射到离散语义类别，得到所述驾驶行为向量。在一种实施方式中，所述训练模块包括：第一采样子模块，用于从当前窗口的所述训练场景序列中，采样当前帧训练数据和正样本训练数据集，其中，所述正样本训练数据集包括所述当前帧训练数据的前N帧训练数据和后N帧训练数据，N为正整数；第二采样子模块，用于从所述当前窗口之外的所述训练场景序列中，采样负样本训练数据集，其中，所述负样本训练数据集包括随机采样的2N帧训练数据；训练子模块，用于基于所述当前帧训练数据、所述正样本训练数据集和所述负样本训练数据集训练所述场景嵌入模型。在一种实施方式中，所述当前帧训练数据包括当前帧场景感知向量和当前帧驾驶行为向量，所述正样本训练数据集包括2N帧正样本场景感知向量和2N帧正样本驾驶行为向量，所述负样本训练数据集包括2N帧负样本场景感知向量和2N帧负样本驾驶行为向量，所述训练子模块包括：输入单元，用于将所述当前帧场景感知向量、2N帧所述正样本场景感知向量和2N帧所述负样本场景感知向量输入所述场景嵌入模型，分别得到当前帧嵌入向量、2N帧正样本嵌入向量和2N帧负样本嵌入向量；正样本相似度确定单元，用于根据每帧所述正样本嵌入向量与所述当前帧嵌入向量之间的相似度和第一行为权重，确定正样本相似度，所述第一行为权重根据所述正样本嵌入向量对应的驾驶行为向量与所述当前帧嵌入向量对应的驾驶行为向量之间的相似度确定；负样本相似度确定单元，用于根据每帧所述负样本嵌入向量与所述当前帧嵌入向量之间的相似度和第二行本文档来自技高网...

【技术保护点】
1.一种驾驶场景的表示方法，其特征在于，包括：预处理原始场景序列，得到训练场景序列，其中，所述原始场景序列中的每帧原始数据均包括场景感知数据和驾驶行为数据，所述训练场景序列中的每帧训练数据均包括场景感知向量和驾驶行为向量；基于所述训练场景序列训练场景嵌入模型；将目标场景的感知数据输入训练好的场景嵌入模型，得到所述目标场景的表示向量。

【技术特征摘要】
1.一种驾驶场景的表示方法，其特征在于，包括：预处理原始场景序列，得到训练场景序列，其中，所述原始场景序列中的每帧原始数据均包括场景感知数据和驾驶行为数据，所述训练场景序列中的每帧训练数据均包括场景感知向量和驾驶行为向量；基于所述训练场景序列训练场景嵌入模型；将目标场景的感知数据输入训练好的场景嵌入模型，得到所述目标场景的表示向量。2.根据权利要求1所述的方法，其特征在于，预处理原始场景序列，得到训练场景序列，包括：根据横向分辨率和纵向分辨率，将所述场景感知数据的物理感知范围划分为多个物理感知单元格；根据所述场景感知数据中的障碍物信息，设置每个所述物理感知单元格中的参数信息；用多个包含所述参数信息的物理感知单元格表示所述场景感知向量。3.根据权利要求1所述的方法，其特征在于，预处理原始场景序列，得到训练场景序列，包括：将所述驾驶行为数据映射到离散语义类别，得到所述驾驶行为向量。4.根据权利要求1所述的方法，其特征在于，基于所述训练场景序列训练场景嵌入模型，包括：从当前窗口的所述训练场景序列中，采样当前帧训练数据和正样本训练数据集，其中，所述正样本训练数据集包括所述当前帧训练数据的前N帧训练数据和后N帧训练数据，N为正整数；从所述当前窗口之外的所述训练场景序列中，采样负样本训练数据集，其中，所述负样本训练数据集包括随机采样的2N帧训练数据；基于所述当前帧训练数据、所述正样本训练数据集和所述负样本训练数据集训练所述场景嵌入模型。5.根据权利要求4所述的方法，其特征在于，所述当前帧训练数据包括当前帧场景感知向量和当前帧驾驶行为向量，所述正样本训练数据集包括2N帧正样本场景感知向量和2N帧正样本驾驶行为向量，所述负样本训练数据集包括2N帧负样本场景感知向量和2N帧负样本驾驶行为向量，基于所述当前帧训练数据、所述正样本训练数据集和所述负样本训练数据集训练所述场景嵌入模型，包括：将所述当前帧场景感知向量、2N帧所述正样本场景感知向量和2N帧所述负样本场景感知向量输入所述场景嵌入模型，分别得到当前帧嵌入向量、2N帧正样本嵌入向量和2N帧负样本嵌入向量；根据每帧所述正样本嵌入向量与所述当前帧嵌入向量之间的相似度和第一行为权重，确定正样本相似度，所述第一行为权重根据所述正样本嵌入向量对应的驾驶行为向量与所述当前帧嵌入向量对应的驾驶行为向量之间的相似度确定；根据每帧所述负样本嵌入向量与所述当前帧嵌入向量之间的相似度和第二行为权重，确定负样本相似度，所述第二行为权重根据所述负样本嵌入向量对应的驾驶行为向量与所述当前帧嵌入向量对应的驾驶行为向量之间的相似度确定；根据所述正样本相似度和所述负样本相似度，调整所述场景嵌入模型的模型参数。6.根据权利要求5所述的方法，其特征在于，根据所述正样本相似度和所述负样本相似度，调整所述场景嵌入模型的参数，包括：以最大化所述正样本相似度和最小化所述负样本相似度为收敛目标，调整所述场景嵌入模型的模型参数。7.根据权利要求1至6任一项所述的方法，其特征在于，将目标场景的感知数据输入训练好的场景嵌入模型，得到所述目标场景的表示向量，包括：将所述目标场景的两帧感知数据输入所述训练好的场景嵌入模型，分别得到第一表示向量和第二表示向量；根据所述第一表示向量和所述第二表示向量之间的相似度，判断所述目标场景的变化度。8.根据权利要求1至6任一项所述的方法，其特征在于，所述目标场景包括第一目标场景和第二目标场景，将目标场景的感知数据输入训练好的场景嵌入模型，得到所述目标场景的表示向量，包括：将所述第一目标场景的感知数据输入所述训练好的场景嵌入模型，得到第一场景嵌入向量；将所述第二目标场景的感知数据输入所述训练好的场景嵌入模型，得到第二场景嵌入向量；根据所述第一场景嵌入向量和所述第二场景嵌入向量之间的相似度，判断所述第一目标场景与所述第二目标场景是否属于同一类场景。9.一种模型训练装置，其特征在于，包括：预处理模块，用于预处理原始场景序列，得到训练场景序列，其中，所述原始场景序列中的每帧原始数据均包括场景感知数据和驾驶行为数据，所述训练场景序列中的每帧训练数据均包括场景感知向量和驾驶行为向量；训练模块，用于基于所述训练场景序列训练场景嵌入模型，所述场景嵌入模型用...

【专利技术属性】
技术研发人员：马晓波，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11