本发明专利技术属于自动驾驶领域，具体涉及一种基于知识蒸馏的BEV语义分割模型训练方法，包括：获取图像数据集；将所述图像数据集输入至学生模型中进行特征提取，得到第一平面视图数据集；将所述图像数据集输入至老师模型中进行特征提取，得到第二平面视图数据集；根据所述图像数据集中图像数据的空间坐标对所述第一平面视图数据集和第二平面视图数据集进行转换，得到第一BEV视图数据集和第二BEV视图数据集；对所述第一BEV视图数据集和第二BEV视图数据集进行特征提取并预测概率输出，得到第一概率分布集和第二概率分布集；根据所述第一概率分布集和第二概率分布集对学生模型进行优化，并将优化后的学生模型作为目标语义分割模型。将优化后的学生模型作为目标语义分割模型。将优化后的学生模型作为目标语义分割模型。
【技术实现步骤摘要】
一种基于知识蒸馏的BEV语义分割模型训练方法、系统、设备和介质
[0001]本专利技术属于自动驾驶领域，具体涉及一种基于知识蒸馏的BEV语义分割模型训练方法、系统、设备和介质。
技术介绍
[0002]随着车载摄像头在现代车辆装备中的广泛普及，基于车载视觉传感器实现对车辆行驶过程中遭遇的各类目标检测识别已经日趋成熟，其作用无论对当前辅助驾驶还是未来自动驾驶均彰显出重要价值，成为现代汽车高端智能化不可或缺的核心技术。多摄融合是融合车载多视角相机图像，以车辆坐标系为中心布局的从上向下构建俯视视角的鸟瞰图(BEV,Bird Eye View)，范围涵盖车辆周围幅宽数十至上百米区域，作用是通过视角转换来方便驾驶员以鸟瞰视角获取车周环境，进而提升对车辆的操控能力。
[0003]BEV感知技术是近年、尤其是2020年开始得到学界广泛关注并开启快速发展的，多数BEV感知算法模型在面向多摄数据处理时，所需的网络结构复杂、训练标注过程繁琐、时效性偏低、计算存储开销大，因此截至目前尚未形成具备充分影响力并满足车端实时应用的主流计算框架，其模型结构仍在高速迭代并不断颠覆中，距离其成熟应用仍存轻量化、高性能、高效率等诸多难题正待解决。
[0004]现有技术包括基于激光雷达点云数据，提取每个体素的特征，能够加速点云网络语义分割。但该方法可代替性高，已有多种网络可用于代替简化的PointNet用于加速。同时摄像头相对于激光雷达应用更广、经济型高、稳定性高；基于多摄融合的鸟瞰图语义分割应用价值更高。
技术实现思路
[0005]鉴于以上所述现有技术的缺点，本专利技术提供一种基于知识蒸馏的BEV语义分割模型训练方法，解决目前业界没有基于知识蒸馏的多摄融合鸟瞰图语义分割研究的技术问题，同时知识蒸馏算法简单高效，是一种无损的模型优化方法，能够获得更加精准的语义分割模型。
[0006]本专利技术提供的一种基于知识蒸馏的BEV语义分割模型训练方法，包括：获取图像数据集；将所述图像数据集输入至学生模型中进行特征提取，得到第一平面视图数据集；将所述图像数据集输入至老师模型中进行特征提取，得到第二平面视图数据集；根据所述图像数据集中图像数据的空间坐标对所述第一平面视图数据集和第二平面视图数据集进行转换，得到第一BEV视图数据集和第二BEV视图数据集；对所述第一BEV视图数据集和第二BEV视图数据集进行特征提取并预测概率输出，得到第一概率分布集和第二概率分布集；根据所述第一概率分布集和第二概率分布集对学生模型进行优化，并将优化后的学生模型作为目标语义分割模型。
[0007]根据本专利技术一具体实施例，所述学生模型采用Resnet18神经网络模型；所述老师
模型采用Resnet101神经网络模型。
[0008]根据本专利技术一具体实施例，所述对所述第一BEV视图数据集和第二BEV视图数据集进行特征提取并预测概率输出，得到第一概率分布集和第二概率分布集的步骤包括：将所述第一BEV视图数据集输入至BEV特征提取网络中进行特征提取，得到第一特征视图数据集；将所述第二BEV视图数据集输入至BEV特征提取网络中进行特征提取，得到第二特征视图数据集；通过卷积神经网络的卷积层对所述第一特征视图数据集和第二特征视图数据集进行分类，得到对应的所述第一概率分布集和第二概率分布集。
[0009]根据本专利技术一具体实施例，所述BEV特征提取网络采用Resnet18神经网络模型。
[0010]根据本专利技术一具体实施例，所述根据所述第一概率分布集和第二概率分布集对学生模型进行优化，并将优化后的学生模型作为目标语义分割模型的步骤包括：通过损失函数计算所述第一概率分布集和第二概率分布集的差异值；计算所述差异值的反向梯度值，并优化所述训练后的学生模型的网络权重，得到所述目标语义分割模型。
[0011]根据本专利技术一具体实施例，所述计算所述差异值的反向梯度值，并优化所述训练后的学生模型的网络权重，得到所述目标语义分割模型的步骤包括：根据预设的掩码标签对所述差异值进行加权；计算加权后的所述差异值的反向梯度值。
[0012]一种基于上述任一项BEV语义分割模型的语义分割方法，包括：获取待分割图像数据；将所述待分割图像数据输入至语义分割模型中，得到中间数据；对所述中间数据进行阈值过滤，得到对应的语义分割结果。
[0013]一种基于知识蒸馏的BEV语义分割模型训练系统，包括：信息采集模块，获取图像数据集；第一信息处理模块，用于将所述图像数据集输入至学生模型中进行特征提取，得到第一平面视图数据集；还用于将所述图像数据集输入至老师模型中进行特征提取，得到第二平面视图数据集；第二信息处理模块，用于根据所述图像数据集中图像数据的空间坐标对所述第一平面视图数据集和第二平面视图数据集进行转换，得到第一BEV视图数据集和第二BEV视图数据集；第三信息处理模块，用于对所述第一BEV视图数据集和第二BEV视图数据集进行特征提取并预测概率输出，得到第一概率分布集和第二概率分布集；模型优化模块，用于根据所述第一概率分布集和第二概率分布集对学生模型进行优化，并将优化后的学生模型作为目标语义分割模型。
[0014]一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤；或者所述处理器执行所述计算机程序时实现上述所述的语义分割方法。
[0015]一种计算机可读介质，其上存储有指令，所述指令由处理器加载并执行上述任一项所述的方法，或者所述计算机程序被处理器执行时实现如权利要求7所述的语义分割方法。
[0016]本专利技术的技术效果在于，基于知识蒸馏的BEV语义分割模型训练方法弥补了现有技术中对多摄融合语义分割领域知识蒸馏研究的空缺。同时基于知识蒸馏算法优化的语义分割模型达到更好的性能和精度，且网络模型更加轻量。
[0017]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0018]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0019]图1是本专利技术所提供的基于知识蒸馏的BEV语义分割模型训练方法一具体实施例的流程示意图；
[0020]图2是本专利技术所提供的基于所述语义分割模型的BEV语义分割方法一具体实施例的流程示意图；
[0021]图3是本专利技术所提供的基于知识蒸馏的BEV语义分割模型训练系统一具体实施例的流程示意图；
[0022]图4是本专利技术所提供的电子设备一具体实施例的结构示意图。
具体实施方式
[0023]以下将参照附图和优选实施例来说明本专利技术的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于知识蒸馏的BEV语义分割模型训练方法，其特征在于，包括：获取图像数据集；将所述图像数据集输入至学生模型中进行特征提取，得到第一平面视图数据集；将所述图像数据集输入至老师模型中进行特征提取，得到第二平面视图数据集；根据所述图像数据集中图像数据的空间坐标对所述第一平面视图数据集和第二平面视图数据集进行转换，得到第一BEV视图数据集和第二BEV视图数据集；对所述第一BEV视图数据集和第二BEV视图数据集进行特征提取并预测概率输出，得到第一概率分布集和第二概率分布集；根据所述第一概率分布集和第二概率分布集对学生模型进行优化，并将优化后的学生模型作为目标语义分割模型。2.根据权利要求1所述的BEV语义分割模型训练方法，其特征在于，所述学生模型采用Resnet18神经网络模型；所述老师模型采用Resnet101神经网络模型。3.根据权利要求1所述的BEV语义分割模型训练方法，其特征在于，所述对所述第一BEV视图数据集和第二BEV视图数据集进行特征提取并预测概率输出，得到第一概率分布集和第二概率分布集的步骤包括：将所述第一BEV视图数据集输入至BEV特征提取网络中进行特征提取，得到第一特征视图数据集；将所述第二BEV视图数据集输入至BEV特征提取网络中进行特征提取，得到第二特征视图数据集；通过卷积神经网络的卷积层对所述第一特征视图数据集和第二特征视图数据集进行分类，得到对应的所述第一概率分布集和第二概率分布集。4.根据权利要求3所述的BEV语义分割模型训练方法，其特征在于，所述BEV特征提取网络采用Resnet18神经网络模型。5.根据权利要求1所述的BEV语义分割模型训练方法，其特征在于，所述根据所述第一概率分布集和第二概率分布集对学生模型进行优化，并将优化后的学生模型作为目标语义分割模型的步骤包括：通过损失函数计算所述第一概率分布集和第二概率分布集的差异值；计算所述差异值的反向梯度值，并优化所述训练后的学...
【专利技术属性】
技术研发人员：漆昇翔，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。