【技术实现步骤摘要】
模型训练方法、装置、电子设备及存储介质
[0001]本公开涉及一种模型训练方法、装置、电子设备及存储介质。
技术介绍
[0002]目前,根据数据源的不同,3D目标检测可分为基于点云数据的3D目标检测和基于图像数据的3D目标检测,由于图像无法保留3D数据的空间结构信息,因此,传统的基于单幅2D图像的3D目标检测在精度上一直落后与基于点云的3D目标检测算法。
[0003]近年来,随着车载摄像头数量增多,许多研究尝试融合多个车载摄像头的图像数据,提取车辆360
°
范围内的BEV特征,由于部分摄像头存在交叉视野,在一定程度上缓解了2D图像深度缺失的影响,因此,基于BEV特征检测车辆行驶范围内3D目标的技术成为基于图像数据的3D目标检测技术的主流。
[0004]基于BEV特征检测车辆行驶范围内3D目标的相关技术,根据在模型训练阶段是否使用激光雷达数据矫正深度,可大致分为两种,BEVDepth为代表的3D目标检测和以BEVDet、PETR为代表的3D目标检测。在以BEVDepth为代表的3D目标检测技术 ...
【技术保护点】
【技术特征摘要】
1.一种模型训练方法,其特征在于,包括:获取车辆的环视图像及对应所述环视图像的激光雷达点云;利用环视图像通过教师学生模型获得强增强BEV特征和弱增强BEV特征,所述教师学生模型包括教师模型和学生模型;利用激光雷达点云通过点云模型获得点云3D特征;根据点云3D特征和强增强BEV特征确定迁移损失;根据强增强BEV特征和弱增强BEV特征确定图像模态内损失;根据迁移损失和图像模态内损失得到整体损失;利用所述整体损失更新所述点云模型和所述学生模型的参数,利用更新后的学生模型的参数更新所述教师模型的参数;其中,所述学生模型用于提取环视图像的BEV特征。2.根据权利要求1所述模型训练方法,其特征在于,利用所述整体损失更新所述点云模型和所述学生模型的参数,利用更新后的学生模型的参数更新所述教师模型的参数,包括:在所述整体损失的反向传播过程中,阻断所述教师模型的梯度回传,仅在学生模型和点云模型中进行梯度回传以更新学生模型和点云模型的参数;以及,利用更新后的学生模型的参数采用EMA方式更新教师模型的参数。3.根据权利要求2所述模型训练方法,其特征在于,所述利用更新后的学生模型的参数采用EMA方式更新教师模型的参数,包括:按照下式基于更新后的学生模型中的参数ω更新所述教师模型中相应参数ξ:ξ=τξ+(1
‑
τ)ω其中,τ为衰减率,τ∈[0,1]。4.根据权利要求1所述模型训练方法,其特征在于,所述强增强BEV特征包括强增强3D BEV特征和强增强2D BEV特征,所述弱增强3D特征包括弱增强3D BEV特征和弱增强2D BEV特征;所述根据强增强BEV特征和弱增强BEV特征确定图像模态内损失,包括:计算强增强3D BEV特征与弱增强3D BEV特征之间的对比损失,以得到3D特征对比损失;计算强增强2D BEV特征与弱增强2D BEV特征之间的对比损失,以得到2D特征对比损失;根据3D特征对比损失和2D特征对比损失获得强增强BEV特征和弱增强BEV特征间的图像模态内损失。5.根据权利要求1所述模型训练方法,其特征在于,所述强增强BEV特征包括强增强3D BEV特征;根据点云3D特征和强增强BEV特征确定迁移损失,包括:计算强增强3DBEV特征和点云3D特征间的对比损失。6.根据权利要求1所述模型训练方法,其特征在于,所述利用环视图像通过教师学生模型获得强增强BEV特征和弱增强BEV特征,包括:对所述环视图像中各视角图像进行不同程度的数据增强处理,以获得所述环视图像中各视角图像的弱增强图像数据和强增强图像数据;
利用所述环视图像中各视角图像的弱增强...
【专利技术属性】
技术研发人员:肖华辉,李雪,
申请(专利权)人:北京易航远智科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。