一种模型训练的处理方法和装置制造方法及图纸

本发明专利技术实施例涉及一种模型训练的处理方法和装置，所述方法包括：获取高精地图构建第一训练数据集；根据第一训练数据集对LaneGCN模型的地图网络模块进行地图网络预训练；地图网络预训练成功，则获取车辆路测数据构建第二训练数据集；在保持地图网络模块的网络参数不变的前提下根据第二训练数据集对LaneGCN模型进行模型训练。通过本发明专利技术，可以降低整体模型的训练难度，提高地图网络模块的训练成熟度，提高LaneGCN模型的输出精度。提高LaneGCN模型的输出精度。提高LaneGCN模型的输出精度。

【技术实现步骤摘要】
一种模型训练的处理方法和装置


[0001]本专利技术涉及数据处理
，特别涉及一种模型训练的处理方法和装置。

技术介绍

[0002]预测自车周围动静态环境变化及其他交通参与者的行为演变是自动驾驶车辆实现高等级智能驾驶的必要能力。当前主流的自动驾驶预测算法都是通过深度学习模型实现，该类模型的输入是高精度地图信息及交通参与者的观测信息，输出则是交通参与者未来的运动轨迹信息，LaneGCN就是这类模型中的一种。
[0003]LaneGCN模型的结构由论文《Learning Lane Graph Representations for Motion Forecasting》可知包括：参与者网络模块(ActorNet)、地图网络模块(MapNet)、融合网络模块(FusionNet)和预测头网络模块(Header)，预测头网络模块又包括回归分支(regression branch)和分类分支(classification branch)。其中，参与者网络模块用来对输入的M个交通参与者(又称障碍物、障碍物目标、目标)的差分轨迹序列进行参与者特征提取处理；地图网络模块用来对输入的N个车道节点特征进行地图车道特征提取处理；融合网络模块则基于四个融合单元(参与者到车道A2L、车道到车道L2L、车道到参与者L2A和参与者到参与者A2A)对参与者特征和车道特征进行特征融合处理最终由A2A单元输出参与者到参与者的融合特征；预测头网络模块则基于参与者到参与者的融合特征对第m(1≤m≤M)个参与者在未来的K模态(K种可能)轨迹进行预测并为第k条(1≤m≤K)预测轨迹输出对应的置信度(又称置信度评分)，预测头网络模块的回归分支就是用来做多模态轨迹预测处理的，分类分支则是用来做多模态置信度分类处理的。对于上述LaneGCN模型的训练，论文中给出了基于损失函数L
mod
＝L
cls
+αL
reg
的反向调制方法进行自监督学习的训练方式。
[0004]然而我们在实际应用中发现，仅仅基于上述损失函数L
mod
是很难对地图网络模块进行充分训练的。而地图网络模块又是融合网络模块的先验模块，地图网络模块的训练充分度会直接影响融合网络模块的融合效果，融合网络模块的融合效果又会直接影响预测头网络模块的预测精度。

技术实现思路

[0005]本专利技术的目的，就是针对现有技术的缺陷，提供一种模型训练的处理方法、装置、电子设备及计算机可读存储介质，在对LaneGCN模型进行整体模型训练之前先基于高精地图训练数据集和损失函数L
map
对地图网络模块进行预训练，通过预训练使得地图网络模块达到充分训练效果；再在保持地图网络模块的网络参数不变的情况下基于损失函数L
mod
＝L
cls
+αL
reg
对LaneGCN模型进行整体模型训练。通过本专利技术，可以降低整体模型的训练难度，提高地图网络模块的训练成熟度，提高LaneGCN模型的输出精度。
[0006]为实现上述目的，本专利技术实施例第一方面提供了一种模型训练的处理方法，所述方法包括：
[0007]获取高精地图构建第一训练数据集；
[0008]根据所述第一训练数据集对LaneGCN模型的地图网络模块进行地图网络预训练；
[0009]所述地图网络预训练成功，则获取车辆路测数据构建第二训练数据集；
[0010]在保持所述地图网络模块的网络参数不变的前提下根据所述第二训练数据集对所述LaneGCN模型进行模型训练。
[0011]优选的，所述LaneGCN模型包括参与者网络模块、所述地图网络模块、融合网络模块和预测头网络模块；所述融合网络模块分别与所述参与者网络模块、所述地图网络模块和所述预测头网络模块连接；
[0012]所述参与者网络模块用于对形状为M*3*T1的第一输入张量进行参与者特征提取处理生成对应的形状为M*128的第一输出张量；并将所述第一输出张量向所述融合网络模块发送；所述第一输入张量包括M个形状为3*T1的参与者观测张量；M为参与者总数；T1为预设的第一时刻数量，默认为20；
[0013]所述地图网络模块用于对形状为N*4的第二输入张量进行地图车道特征提取处理生成对应的形状为N*128的第二输出张量；并将所述第二输出张量向所述融合网络模块发送；所述第二输入张量包括N个形状为1*4的车道节点向量；N为车道节点向量总数；
[0014]所述融合网络模块用于根据所述第一输出张量与所述第二输出张量进行特征融合处理生成对应的形状为M*128的第一融合特征张量；并将所述第一融合特征张量向所述预测头网络模块发送；
[0015]所述预测头网络模块包括回归分支和分类分支；所述回归分支用于根据所述第一融合特征张量进行多模态轨迹预测处理生成对应的形状为M*K*T2*2的第一预测张量；所述分类分支用于根据所述第一融合特征张量进行多模态置信度分类处理生成对应的形状为M*K的第一置信度张量；K为模态总量；T2为预设的第二时刻数量，默认为30；
[0016]所述第一预测张量包括M个形状为K*T2*2的第一参与者预测张量；所述第一参与者预测张量与M个参与者一一对应；第一参与者预测张量包括K个形状为T2*2的第一预测轨迹张量；所述第一预测轨迹张量包括所述第二时刻数量T2的第一轨迹点向量；所述第一轨迹点向量为一个二维的轨迹点坐标；
[0017]所述第一置信度张量包括M个长度为K的第一置信度向量；所述第一置信度向量与M个参与者一一对应；所述第一置信度向量包括K个第一置信度；所述第一置信度与所述第一预测轨迹张量一一对应，所述第一置信度为对应的所述第一预测轨迹张量的预测置信度。
[0018]优选的，所述获取高精地图构建第一训练数据集，具体包括：
[0019]根据预设的地图筛选规则从公开的高精地图数据库中筛选高精地图原始数据组成第一场景地图集；所述地图筛选规则包括地图数量最小值、地图尺寸最小值、地图精度最大值、车道数量最小值、车道长度最小值和车道分段长度；所述第一场景地图集包括多个第一场景地图；所述第一场景地图的数量不大于所述地图数量最大值；所述第一场景地图的地图尺寸不小于所述地图尺寸最小值，地图精度不小于所述地图精度最小值；所述第一场景地图包括多个第一车道，所述第一车道的数量不小于所述车道数量最小值，车道长度不小于所述车道长度最小值；所述第一车道包括第一车道中心线；
[0020]根据所述地图筛选规则的所述车道分段长度对各个所述第一场景地图的各个所述第一车道进行分段得到对应的多个第一车道分段；并将各个所述第一车道分段与对应的
所述第一车道中心线的两个交点记为对应的第一起点和第一终点；
[0021]在各个所述第一场景地图上，任选一个所述第一车道的起始车道分段的所述第一起点作为原点并以所述起始车道分段的前进方向为X轴正向构建二维笛卡尔坐标系记为对应的第一坐标系；并将当前所述第一场景地图上各个所述第一车道分段本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练的处理方法，其特征在于，所述方法包括：获取高精地图构建第一训练数据集；根据所述第一训练数据集对LaneGCN模型的地图网络模块进行地图网络预训练；所述地图网络预训练成功，则获取车辆路测数据构建第二训练数据集；在保持所述地图网络模块的网络参数不变的前提下根据所述第二训练数据集对所述LaneGCN模型进行模型训练。2.根据权利要求1所述的模型训练的处理方法，其特征在于，所述LaneGCN模型包括参与者网络模块、所述地图网络模块、融合网络模块和预测头网络模块；所述融合网络模块分别与所述参与者网络模块、所述地图网络模块和所述预测头网络模块连接；所述参与者网络模块用于对形状为M*3*T1的第一输入张量进行参与者特征提取处理生成对应的形状为M*128的第一输出张量；并将所述第一输出张量向所述融合网络模块发送；所述第一输入张量包括M个形状为3*T1的参与者观测张量；M为参与者总数；T1为预设的第一时刻数量，默认为20；所述地图网络模块用于对形状为N*4的第二输入张量进行地图车道特征提取处理生成对应的形状为N*128的第二输出张量；并将所述第二输出张量向所述融合网络模块发送；所述第二输入张量包括N个形状为1*4的车道节点向量；N为车道节点向量总数；所述融合网络模块用于根据所述第一输出张量与所述第二输出张量进行特征融合处理生成对应的形状为M*128的第一融合特征张量；并将所述第一融合特征张量向所述预测头网络模块发送；所述预测头网络模块包括回归分支和分类分支；所述回归分支用于根据所述第一融合特征张量进行多模态轨迹预测处理生成对应的形状为M*K*T2*2的第一预测张量；所述分类分支用于根据所述第一融合特征张量进行多模态置信度分类处理生成对应的形状为M*K的第一置信度张量；K为模态总量；T2为预设的第二时刻数量，默认为30；所述第一预测张量包括M个形状为K*T2*2的第一参与者预测张量；所述第一参与者预测张量与M个参与者一一对应；第一参与者预测张量包括K个形状为T2*2的第一预测轨迹张量；所述第一预测轨迹张量包括所述第二时刻数量T2的第一轨迹点向量；所述第一轨迹点向量为一个二维的轨迹点坐标；所述第一置信度张量包括M个长度为K的第一置信度向量；所述第一置信度向量与M个参与者一一对应；所述第一置信度向量包括K个第一置信度；所述第一置信度与所述第一预测轨迹张量一一对应，所述第一置信度为对应的所述第一预测轨迹张量的预测置信度。3.根据权利要求2所述的模型训练的处理方法，其特征在于，所述获取高精地图构建第一训练数据集，具体包括：根据预设的地图筛选规则从公开的高精地图数据库中筛选高精地图原始数据组成第一场景地图集；所述地图筛选规则包括地图数量最小值、地图尺寸最小值、地图精度最大值、车道数量最小值、车道长度最小值和车道分段长度；所述第一场景地图集包括多个第一场景地图；所述第一场景地图的数量不大于所述地图数量最大值；所述第一场景地图的地图尺寸不小于所述地图尺寸最小值，地图精度不小于所述地图精度最小值；所述第一场景地图包括多个第一车道，所述第一车道的数量不小于所述车道数量最小值，车道长度不小
于所述车道长度最小值；所述第一车道包括第一车道中心线；根据所述地图筛选规则的所述车道分段长度对各个所述第一场景地图的各个所述第一车道进行分段得到对应的多个第一车道分段；并将各个所述第一车道分段与对应的所述第一车道中心线的两个交点记为对应的第一起点和第一终点；在各个所述第一场景地图上，任选一个所述第一车道的起始车道分段的所述第一起点作为原点并以所述起始车道分段的前进方向为X轴正向构建二维笛卡尔坐标系记为对应的第一坐标系；并将当前所述第一场景地图上各个所述第一车道分段的所述第一起点和所述第一终点在所述第一坐标系上的坐标作为对应的第一起点坐标(x
s
,y
s
)和第一终点坐标(x
e
,y
e
)；并由各个所述第一车道分段的所述第一起点坐标(x
s
,y
s
)和所述第一终点坐标(x
e
,y
e
)组成对应的形状为1*4的所述车道节点向量；并由得到的所有所述车道节点向量组成对应的第一地图张量；所述第一地图张量的形状为N
’
*4，N
’
为所述车道节点向量的总数；由得到的所有所述第一地图张量组成对应的所述第一训练数据集。4.根据权利要求3所述的模型训练的处理方法，其特征在于，所述根据所述第一训练数据集对LaneGCN模型的地图网络模块进行地图网络预训练，具体包括：步骤41，将所述地图网络模块单独提取出来与预设的第一多层感知网络连接构成对应的第一训练网络；步骤42，从所述第一训练数据集中提取一个所述第一地图张量作为对应的当前地图张量；步骤43，对所述当前地图张量的所述车道节点向量的总数进行统计生成对应的车道节点总数N0；并根据预设的第一遮挡比例β计算本次的输入车道节点总数N1＝N0*(1
‑
β)和待测车道节点总数N2＝N0*β；并从所述当前地图张量中提取所述输入车道节点总数N1的所述车道节点向量组成对应的形状为N1*4的当前输入张量；并由剩余所述待测车道节点总数N2的所述车道节点向量组成对应的形状为N2*4的当前标签张量；并将所述当前标签张量中的各个所述车道节点向量作为对应的待测车道节点Ln
i
；1≤i≤N2；所述第一遮挡比例β默认为20％；步骤44，对各个所述待测车道节点Ln
i
的真值中心点的坐标进行确定；所述真值中心点的坐标为横坐标为对应的所述车道节点向量的所述第一起点坐标(x
s
,y
s
)和所述第一终点坐标(c,y
e
)的横坐标平均值(x
s
+x
e
)/2，纵坐标为对应的所述第一起点坐标(x
s
,y
s
)和所述第一终点坐标(x
e
,y
e
)的纵坐标平均值(y
s
+y
e
)/2；步骤45，根据所述待测车道节点总数N2以及各个所述真值中心点设置对应的第一损失函数为：失函数为：失函数为：
s
i
为所述待测车道节点Ln
i
的预测中心点，所述预测中心点s
i
的坐标为(x
i
,y
i
)，reg()是回归函数，d()是平滑L1损失函数，为的范数表达式，为的范数表达式；步骤45，将形状为N1*4的所述当前输入张量和所述当前标签张量输入所述第一训练网络，通过所述地图网络模块对所述当前输入张量进行地图车道特征提取处理生成对应的形状为N1*128的第一训练张量；通过所述第一多层感知网络根据所述第一训练张量和所述当前标签张量对与所述当前标签张量的各个所述待测车道节点Ln
i
对应的中心点坐标进行回归预测生成对应的形状为N2*2的第二训练张量；所述第二训练张量包括N2个所述预测中心点s
i
的坐标(x
i
,y
i
)；步骤46，将各个所述待测车道节点Ln
i
对应的所述预测中心点s
i
的坐标(x
i
,y
i
)和所述真值中心点的坐标代入所述第一损失函数进行损失值计算生成对应的第一损失值；步骤47，对所述第一损失值是否满足预设的第一损失值收敛范围进行识别；若所述第一损失值不满足所述第一损失值收敛范围，则沿着使所述第一损失函数达到最小值的方向对所述地图网络模块的网络参数进行反向调制，并在所述反向调制完成时返回步骤45继续训练；若所述第一损失值满足所述第一损失值收敛范围，则对所述当前地图张量是否为所述第一训练数据集的最后一个所述第一地图张量进行识别，若不是最后一个则提取下一个所述第一地图张量作为新的所述当前地图张量并返回步骤43继续训练，若是最后一个则停止模型训练并确认所述地图网络预训练成功。5.根据权利要求2所述的模型训练的处理方法，其特征在于，所述获取车辆路测数据构建第二训练数据集，具体包括：步骤51，从预设的车辆路测数据库中选择一个第一路测数据序列；所述第一路测数据序列由时序连续的且完成了目标关联的(T1+1)+T2帧第一路测数据组成；所述第一路测数据包括第一时间戳、第一自车坐标和多个第一目标数据组，所述第一目标数据组包括第一目标标识和第一目标坐标；前后时刻的所述第一路测数据中关联目标对应的两个所述第一目标数据组的所述第一目标标识相同；步骤52，以第(T1+1)帧所述第一路测数据的所述第一自车坐标为第一参考点坐标，并以所述第一参考点坐标对应的所述第一时间戳减去1秒的时间作为第一时间，并以早于所述第一时间且距离所述第一时间最近的所述第一时间戳对应的所述第一自车坐标为第二参考点坐标；以所述第一参考点坐标为原点，以所述第二参考点坐标到所述第一参考点坐标的朝向为X轴正向构建二维笛卡尔坐标系记为对...

【专利技术属性】
技术研发人员：何润林，钱祥隽，
申请(专利权)人：苏州轻棹科技有限公司，
类型：发明
国别省市：