基于倾斜摄影的自动驾驶仿真场景生成方法及装置制造方法及图纸

本发明专利技术公开了一种基于倾斜摄影的自动驾驶仿真场景生成方法及装置，本发明专利技术涉及自动驾驶仿真技术领域，其中包括：获取飞行器航拍的倾斜摄影数据，以及所述飞行器的轨迹姿态数据；根据所述倾斜摄影数据和所述轨迹姿态数据，生成环境场景对应的三维模型；基于所述倾斜摄影数据中的各拍摄图像，确定俯视地面时的鸟瞰视图；将所述鸟瞰视图输入至预设道路图网络中进行车道线提取，得到道路场景中向量化后的车道线；将所述向量化后的车道线映射到所述三维模型中，并根据映射后的车道线，生成道路地图数据；基于所述道路地图数据和所述三维模型，生成仿真场景

【技术实现步骤摘要】
基于倾斜摄影的自动驾驶仿真场景生成方法及装置


[0001]本专利技术涉及自动驾驶仿真
，具体而言，涉及一种基于倾斜摄影的自动驾驶仿真场景生成方法及装置
。

技术介绍

[0002]自动驾驶仿真技术为自动驾驶感知和规控算法提供虚拟测试环境，可有效提高测试效率，降低产品开发成本
。
当前自动驾驶仿真技术主要采取“三维场景构建
‑
动态要素加载
‑
仿真测试”的技术路线，其中，三维场景构建是最基础也是最为耗时的环节，三维场景包括道路场景和环境场景，道路场景主要包含路面拓扑结构和路面可视化模型，环境场景主要包含路旁的树木
、
建筑物和交通标志牌等
。
[0003]目前，通常采用不同的方法和工具来搭建道路场景和环境场景
。
然而，由于这种方式将道路场景的构建与周围环境场景的构建分离，因此需要在构建过程中严格对齐道路场景元素与周围环境场景元素，进而增加了仿真场景构建的难度与成本，而且一旦出现元素对齐失败，便会影响仿真场景构建的完整度和还原度
。

技术实现思路

[0004]本专利技术提供一种基于倾斜摄影的自动驾驶仿真场景生成方法及装置，主要在于能够保证仿真场景构建的完整度和还原度，同时能够简化仿真场景构建过程，降低仿真场景构建的难度与成本
。
[0005]根据本专利技术实施例的第一方面，提供一种基于倾斜摄影的自动驾驶仿真场景生成方法，包括：
[0006]获取飞行器航拍的倾斜摄影数据，以及所述飞行器的轨迹姿态数据；
[0007]根据所述倾斜摄影数据和所述轨迹姿态数据，生成环境场景对应的三维模型；
[0008]基于所述倾斜摄影数据中的各拍摄图像，确定俯视地面时的鸟瞰视图；
[0009]将所述鸟瞰视图输入至预设道路图网络中进行车道线提取，得到道路场景中向量化后的车道线；
[0010]将所述向量化后的车道线映射到所述三维模型中，并根据映射后的车道线，生成道路地图数据；
[0011]基于所述道路地图数据和所述三维模型，生成仿真场景
。
[0012]可选地，所述根据所述倾斜摄影数据和所述轨迹姿态数据，生成环境场景对应的三维模型，包括：
[0013]将所述倾斜摄影数据和所述轨迹姿态数据转换至同一坐标系下，并进行空三解算，得到所述倾斜摄影数据中各拍摄图像的外方位元素；
[0014]基于所述各拍摄图像的外方位元素，生成三维点云模型；
[0015]根据所述三维点云模型，生成所述环境场景对应的三角网格模型；
[0016]对所述三角网格模型进行纹理切片和映射修饰，生成所述环境场景对应的三维模
型
。
[0017]可选地，所述基于所述倾斜摄影数据中的各拍摄图像，确定俯视地面时的鸟瞰视图，包括：
[0018]将所述各拍摄图像输入至预设共享卷积神经网络中进行特征提取，得到所述各拍摄图像对应的第一像素特征；
[0019]根据所述各拍摄图像对应的第一像素特征，确定俯视地面时的鸟瞰视图
。
[0020]可选地，所述根据所述各拍摄图像对应的第一像素特征，确定俯视地面时的鸟瞰视图，包括：
[0021]将所述各拍摄图像对应的第一像素特征输入至第一预设多层感知机中进行像素特征转换，得到所述各拍摄图像在相机坐标系下的第二像素特征；
[0022]将所述各拍摄图像在相机坐标系下的第二像素特征通过相机外参进行像素特征转化，得到所述各拍摄图像在飞行器坐标系下的第三像素特征；
[0023]对所述各拍摄图像在飞行器坐标系下的第三像素特征进行均值处理，得到所述鸟瞰视图
。
[0024]可选地，所述预设道路图网络包括道路边界提取网络
、
车道线提取网络和方向预测网络，所述将所述鸟瞰视图输入至预设道路图网络中进行车道线提取，得到道路场景中向量化后的车道线，包括：
[0025]将所述鸟瞰视图输入至所述道路边界提取网络中进行道路边界提取，得到所述鸟瞰视图中的道路边界；
[0026]将所述道路边界对应的道路图像输入至所述车道线提取网络中进行车道线提取，得到所述道路图像中的线段；
[0027]将所述线段的图像输入至所述方向预测网络中进行线段方向预测，得到线段方向；
[0028]基于所述线段上各点的像素和所述线段方向，确定所述道路场景中向量化后的车道线
。
[0029]可选地，所述基于所述线段上各点的像素和所述线段方向，确定所述道路场景中向量化后的车道线，包括：
[0030]基于所述线段上各点的像素，利用预设密度聚类算法对所述线段进行聚类，得到聚类后的线段；
[0031]对所述聚类后的线段进行拟合连线，得到车道线；
[0032]根据所述聚类后的线段方向，确定所述车道线对应的方向；
[0033]基于所述车道线及其对应的方向，确定所述向量化后的车道线
。
[0034]可选地，所述将所述向量化后的车道线映射到所述三维模型中，包括：
[0035]基于所述向量化后的车道线上各点的像素和所述三维模型中各点的像素，进行像素点匹配，得到像素点匹配结果；
[0036]根据所述像素点匹配结果，将所述向量化后的车道线映射到所述三维模型中
。
[0037]根据本专利技术实施例的第二方面，提供一种基于倾斜摄影的自动驾驶仿真场景生成装置，包括：
[0038]获取单元，用于获取飞行器航拍的倾斜摄影数据，以及所述飞行器的轨迹姿态数
据；
[0039]第一生成单元，用于根据所述倾斜摄影数据和所述轨迹姿态数据，生成环境场景对应的三维模型；
[0040]确定单元，用于基于所述倾斜摄影数据中的各拍摄图像，确定俯视地面时的鸟瞰视图；
[0041]提取单元，用于将所述鸟瞰视图输入至预设道路图网络中进行车道线提取，得到道路场景中向量化后的车道线；
[0042]映射单元，用于将所述向量化后的车道线映射到所述三维模型中，并根据映射后的车道线，生成道路地图数据；
[0043]第二生成单元，用于基于所述道路地图数据和所述三维模型，生成仿真场景
。
[0044]根据本专利技术实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：
[0045]获取飞行器航拍的倾斜摄影数据，以及所述飞行器的轨迹姿态数据；
[0046]根据所述倾斜摄影数据和所述轨迹姿态数据，生成环境场景对应的三维模型；
[0047]基于所述倾斜摄影数据中的各拍摄图像，确定俯视地面时的鸟瞰视图；
[0048]将所述鸟瞰视图输入至预设道路图网络中进行车道线提取，得到道路场景中向量化后的车道线；
[0049]将所述向量化后的车道线映射到所述三维模型中，并根据映射后的车道线，生成道路地图数据；
[0050]基于所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于倾斜摄影的自动驾驶仿真场景生成方法，其特征在于，包括：获取飞行器航拍的倾斜摄影数据，以及所述飞行器的轨迹姿态数据；根据所述倾斜摄影数据和所述轨迹姿态数据，生成环境场景对应的三维模型；基于所述倾斜摄影数据中的各拍摄图像，确定俯视地面时的鸟瞰视图；将所述鸟瞰视图输入至预设道路图网络中进行车道线提取，得到道路场景中向量化后的车道线；将所述向量化后的车道线映射到所述三维模型中，并根据映射后的车道线，生成道路地图数据；基于所述道路地图数据和所述三维模型，生成仿真场景
。2.
根据权利要求1所述的方法，其特征在于，所述根据所述倾斜摄影数据和所述轨迹姿态数据，生成环境场景对应的三维模型，包括：将所述倾斜摄影数据和所述轨迹姿态数据转换至同一坐标系下，并进行空三解算，得到所述倾斜摄影数据中各拍摄图像的外方位元素；基于所述各拍摄图像的外方位元素，生成三维点云模型；根据所述三维点云模型，生成所述环境场景对应的三角网格模型；对所述三角网格模型进行纹理切片和映射修饰，生成所述环境场景对应的三维模型
。3.
根据权利要求1所述的方法，其特征在于，所述基于所述倾斜摄影数据中的各拍摄图像，确定俯视地面时的鸟瞰视图，包括：将所述各拍摄图像输入至预设共享卷积神经网络中进行特征提取，得到所述各拍摄图像对应的第一像素特征；根据所述各拍摄图像对应的第一像素特征，确定俯视地面时的鸟瞰视图
。4.
根据权利要求3所述的方法，其特征在于，所述根据所述各拍摄图像对应的第一像素特征，确定俯视地面时的鸟瞰视图，包括：将所述各拍摄图像对应的第一像素特征输入至第一预设多层感知机中进行像素特征转换，得到所述各拍摄图像在相机坐标系下的第二像素特征；将所述各拍摄图像在相机坐标系下的第二像素特征通过相机外参进行像素特征转化，得到所述各拍摄图像在飞行器坐标系下的第三像素特征；对所述各拍摄图像在飞行器坐标系下的第三像素特征进行均值处理，得到所述鸟瞰视图
。5.
根据权利要求1所述的方法，其特征在于，所述预设道路图网络包括道路边界提取网络
、
车道线提取网络和方向预测网络，所述将所述鸟瞰视图输入至预设道路图网络中进行车道线提取，得到道路场景中向量化后的车道线，包括：将所述鸟瞰视图输入至所述道路边界提...

【专利技术属性】
技术研发人员：刘枫，褚文博，方达龙，王璐，周明珂，
申请(专利权)人：西部科学城智能网联汽车创新中心重庆有限公司，
类型：发明
国别省市：