驾驶场景信息确定方法、对象信息预测模型训练方法及装置制造方法及图纸

本申请提供了一种驾驶场景信息确定方法、对象信息预测模型训练方法及装置。包括：将目标车辆的周视图像输入至目标对象信息预测模型；调用鸟瞰图特征获取层对周视图像进行处理，得到周视图像对应的鸟瞰图特征；调用动态信息预测层对鸟瞰图特征进行处理，得到动态对象的动态对象属性信息；调用静态信息预测层对鸟瞰图特征进行处理，得到静态对象的静态对象属性信息；调用对象轨迹预测层对鸟瞰图特征和位于目标时刻之前的N个时刻的鸟瞰图特征进行处理，得到动态对象在未来时刻的偏移量信息；根据动态对象属性信息、静态对象属性信息和偏移量信息，确定目标车辆的驾驶场景信息。本申请可以减少模型推理成本，提高模型的推理效率。率。率。

【技术实现步骤摘要】
驾驶场景信息确定方法、对象信息预测模型训练方法及装置


[0001]本申请涉及自动驾驶
，尤其涉及一种驾驶场景信息确定方法、对象信息预测模型训练方法及装置。

技术介绍

[0002]在自动驾驶任务中，为了实现对动态物体、静态物体的感知和预测，现有方案通常将预测任务划分为两个子任务，即三维空间中的物体检测任务和局部地图预测任务。
[0003]其中，三维空间中的物体检测任务是通过估计具体的深度值，或者离散深度的概率分布，将图像特征变换到鸟瞰图坐标系中，然后在自顶向下的视图中预测物体的三维信息(如位置、尺度、方向、速度等属性信息)。局部地图预测任务是将图像特征变换到鸟瞰图坐标系中，然后在自顶向下的视图中预测周视环境中静态物体的分布(如车道线、斑马线、道路边缘等)。
[0004]而上述方式需要为每个子任务单独建立相应的模型，每个子任务单独执行推理过程，导致模型推理过程中存在冗余，增加了模型推理成本，降低了模型推理效率。而且，模型在后续维护过程中需要耗费更多的内存空间，不利于边缘计算设备的部署。

技术实现思路

[0005]本申请实施例提供一种驾驶场景信息确定方法、对象信息预测模型训练方法及装置，以解决相关技术中动态对象和静态对象的感知和预测方法需要为每个子任务单独建立相应的模型，导致模型推理过程中存在冗余，增加了模型推理成本，降低了模型推理效率，且模型在后续维护过程中需要耗费更多的内存空间，不利于边缘计算设备的部署的问题。
[0006]为了解决上述技术问题，本申请实施例是这样实现的：<br/>[0007]第一方面，本申请实施例提供了一种驾驶场景信息确定方法，包括：
[0008]将采集的目标车辆的周视图像输入至目标对象信息预测模型；所述目标对象信息预测模型包括：鸟瞰图特征获取层、动态信息预测层、静态信息预测层和对象轨迹预测层；
[0009]调用所述鸟瞰图特征获取层对所述周视图像进行处理，得到所述周视图像对应的鸟瞰图特征；
[0010]调用所述动态信息预测层对所述鸟瞰图特征进行处理，预测得到所述周视图像内的动态对象的动态对象属性信息；
[0011]调用所述静态信息预测层对所述鸟瞰图特征进行处理，预测得到所述周视图像内的静态对象的静态对象属性信息；
[0012]调用所述对象轨迹预测层对所述鸟瞰图特征和位于目标时刻之前的N个时刻的鸟瞰图特征进行处理，预测得到所述动态对象在未来时刻的偏移量信息；其中，N为正整数，所述目标时刻为采集所述周视图像的时刻，所述N个时刻与所述目标时刻形成连续的多个时刻；
[0013]根据所述动态对象属性信息、所述静态对象属性信息和所述偏移量信息，确定所
述目标车辆对应的驾驶场景信息。
[0014]可选地，所述鸟瞰图特征获取层包括：图像编码模块和视角变换模块，
[0015]所述调用所述鸟瞰图特征获取层对所述周视图像进行处理，得到所述周视图像对应的鸟瞰图特征，包括：
[0016]调用所述图像编码模块对所述周视图像进行编码处理，生成图像特征向量；
[0017]调用所述视角变换模块对所述图像特征向量进行特征变换处理，得到鸟瞰图视角下的鸟瞰图特征。
[0018]可选地，所述动态信息预测层包括：动态特征提取模块和动态属性预测模块，
[0019]所述调用所述动态信息预测层对所述鸟瞰图特征进行处理，预测得到所述周视图像内的动态对象的动态对象属性信息，包括：
[0020]调用所述动态特征提取模块对所述鸟瞰图特征进行特征提取处理，得到所述动态对象的动态对象特征；
[0021]调用所述动态属性预测模块对所述动态对象特征进行处理，得到所述动态对象属性信息。
[0022]可选地，所述静态信息预测层包括：静态特征提取模块和静态属性预测模块，
[0023]所述调用所述静态信息预测层对所述鸟瞰图特征进行处理，预测得到所述周视图像内的静态对象的静态对象属性信息，包括：
[0024]调用所述静态特征提取模块对所述鸟瞰图特征进行特征提取处理，得到所述静态对象的静态对象特征；
[0025]调用所述静态属性预测模块对所述静态对象特征进行处理，得到所述静态对象属性信息。
[0026]可选地，所述对象轨迹预测层包括：时序信息融合模块、时空状态预测模块和运动偏移预测模块，
[0027]所述调用所述对象轨迹预测层对所述鸟瞰图特征和位于目标时刻之前的N个时刻的鸟瞰图特征进行处理，预测得到所述动态对象在未来时刻的偏移量信息，包括：
[0028]调用所述时序信息融合模块对所述鸟瞰图特征和所述N个时刻的鸟瞰图特征进行特征融合处理，生成融合特征；
[0029]调用所述时空状态预测模块对所述融合特征进行递归预测处理，生成所述未来时刻的目标鸟瞰图特征；
[0030]调用所述运动偏移预测模块对所述目标鸟瞰图特征进行解码处理，得到所述动态对象在未来时刻的偏移量信息。
[0031]第二方面，本申请实施例提供了一种对象信息预测模型训练方法，包括：
[0032]获取样本图像；所述样本图像为车辆在行驶过程中采集的所述车辆的周视图像；
[0033]将所述样本图像输入至待训练对象信息预测模型；所述待训练对象信息预测模型包括：鸟瞰图特征获取层、动态信息预测层、静态信息预测层和对象轨迹预测层；
[0034]调用所述鸟瞰图特征获取层对所述样本图像进行处理，得到所述样本图像对应的鸟瞰图特征；
[0035]调用所述动态信息预测层对所述鸟瞰图特征进行处理，得到所述样本图像内的动态对象的预测动态对象属性信息；
[0036]调用所述静态信息预测层对所述鸟瞰图特征进行处理，得到所述样本图像内的静态对象的预测静态对象属性信息；
[0037]调用所述对象轨迹预测层对所述鸟瞰图特征和位于第一时刻之前的N个第二时刻的鸟瞰图特征进行处理，得到所述动态对象在未来时刻的预测偏移量信息；其中，N为正整数，所述第一时刻为采集所述样本图像的时刻，N个第二时刻与所述第一时刻形成连续的多个时刻；
[0038]根据所述预测动态对象属性信息、所述预测静态对象属性信息和所述预测偏移量信息，计算得到所述待训练对象信息预测模型的损失值；
[0039]在所述损失值处于预设范围内的情况下，将训练后的待训练对象信息预测模型作为目标对象信息预测模型。
[0040]可选地，所述样本图像标注有所述动态对象的标注动态对象属性信息、所述静态对象的标注静态对象属性信息和所述动态对象的标注偏移量信息，
[0041]所述根据所述预测动态对象属性信息、所述预测静态对象属性信息和所述预测偏移量信息，计算得到所述待训练对象信息预测模型的损失值，包括：
[0042]根据所述标注动态对象属性信息和所述预测动态对象属性信息，计算得到所述动态信息预测层的第一损失值；
[0043]根据所述标注静态对象属性信息和所述预测静态对象属性信息，计算得到所述静态信息预测层的第二损失值；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种驾驶场景信息确定方法，其特征在于，包括：将采集的目标车辆的周视图像输入至目标对象信息预测模型；所述目标对象信息预测模型包括：鸟瞰图特征获取层、动态信息预测层、静态信息预测层和对象轨迹预测层；调用所述鸟瞰图特征获取层对所述周视图像进行处理，得到所述周视图像对应的鸟瞰图特征；调用所述动态信息预测层对所述鸟瞰图特征进行处理，预测得到所述周视图像内的动态对象的动态对象属性信息；调用所述静态信息预测层对所述鸟瞰图特征进行处理，预测得到所述周视图像内的静态对象的静态对象属性信息；调用所述对象轨迹预测层对所述鸟瞰图特征和位于目标时刻之前的N个时刻的鸟瞰图特征进行处理，预测得到所述动态对象在未来时刻的偏移量信息；其中，N为正整数，所述目标时刻为采集所述周视图像的时刻，所述N个时刻与所述目标时刻形成连续的多个时刻；根据所述动态对象属性信息、所述静态对象属性信息和所述偏移量信息，确定所述目标车辆对应的驾驶场景信息。2.根据权利要求1所述的方法，其特征在于，所述鸟瞰图特征获取层包括：图像编码模块和视角变换模块，所述调用所述鸟瞰图特征获取层对所述周视图像进行处理，得到所述周视图像对应的鸟瞰图特征，包括：调用所述图像编码模块对所述周视图像进行编码处理，生成图像特征向量；调用所述视角变换模块对所述图像特征向量进行特征变换处理，得到鸟瞰图视角下的鸟瞰图特征。3.根据权利要求1所述的方法，其特征在于，所述动态信息预测层包括：动态特征提取模块和动态属性预测模块，所述调用所述动态信息预测层对所述鸟瞰图特征进行处理，预测得到所述周视图像内的动态对象的动态对象属性信息，包括：调用所述动态特征提取模块对所述鸟瞰图特征进行特征提取处理，得到所述动态对象的动态对象特征；调用所述动态属性预测模块对所述动态对象特征进行处理，得到所述动态对象属性信息。4.根据权利要求1所述的方法，其特征在于，所述静态信息预测层包括：静态特征提取模块和静态属性预测模块，所述调用所述静态信息预测层对所述鸟瞰图特征进行处理，预测得到所述周视图像内的静态对象的静态对象属性信息，包括：调用所述静态特征提取模块对所述鸟瞰图特征进行特征提取处理，得到所述静态对象的静态对象特征；调用所述静态属性预测模块对所述静态对象特征进行处理，得到所述静态对象属性信息。5.根据权利要求1所述的方法，其特征在于，所述对象轨迹预测层包括：时序信息融合模块、时空状态预测模块和运动偏移预测模块，
所述调用所述对象轨迹预测层对所述鸟瞰图特征和位于目标时刻之前的N个时刻的鸟瞰图特征进行处理，预测得到所述动态对象在未来时刻的偏移量信息，包括：调用所述时序信息融合模块对所述鸟瞰图特征和所述N个时刻的鸟瞰图特征进行特征融合处理，生成融合特征；调用所述时空状态预测模块对所述融合特征进行递归预测处理，生成所述未来时刻的目标鸟瞰图特征；调用所述运动偏移预测模块对所述目标鸟瞰图特征进行解码处理，得到所述动态对象在未来时刻的偏移量信息。6.一种对象信息预测模型训练方法，其特征在于，包括：获取样本图像；所述样本图像为车辆在行驶过程中采集的所述车辆的周视图像；将所述样本图像输入至待训练对象信息预测模型；所述待训练对象信息预测模型包括：鸟瞰图特征获取层、动态信息预测层、静态信息预测层和对象轨迹预测层；调用所述鸟瞰图特征获取层对所述样本图像进行处理，得到所述样本图像对应的鸟瞰图特征；调用所述动态信息预测层对所述鸟瞰图特征进行处理，得到所述样本图像内的动态对象的预测动态对象属性信息；调用所述静态信息预测层对所述鸟瞰图特征进行处理，得到所述样本图像内的静态对象的预测静态对象属性信息；调用所述对象轨迹预测层对所述鸟瞰图特征和位于第一时刻之前的N个第二时刻的鸟瞰图特征进行处理，得到所述动态对象在未来时刻的预测偏移量信息；其中，N为正整数，所述第一时刻为采集所述样本图像的时刻，N个第二时刻与所述第一时刻形成连续的多个时刻；根据所述预测动态对象属性信息、所述预测静态对象属性信息和所述预测偏移量信息，计算得到所述待训练对象信息预测模型的损失值；在所述损...

【专利技术属性】
技术研发人员：田鲲，叶云，黄冠，
申请(专利权)人：北京鉴智科技有限公司，
类型：发明
国别省市：