三维检测模型的训练方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种三维检测模型的训练方法、装置、计算机设备和存储介质。包括：获取样本行车区域图像和样本深度点云图像；确定样本深度点云图像中的样本点云所对应的样本点云特征；对样本深度点云图像进行随机扰动处理，并确定随机扰动后的样本深度点云图像中的每个样本点云各自对应的位于样本行车区域图像中的样本图像像素；对于样本深度点云图像中的每个样本点云，均将当前样本点云所对应的样本点云特征与相对应的样本图像像素的样本像素特征进行融合，得到样本目标点云特征；根据样本目标点云特征与点云特征标签间的差异，得到训练好的三维检测模型。采用本方法能够提高三维检测模型的训练准确性。模型的训练准确性。模型的训练准确性。

【技术实现步骤摘要】
三维检测模型的训练方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种三维检测模型的训练方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着计算机技术的发展，传感器信息融合技术在自动驾驶等领域扮演着重要角色，其中激光雷达和相机就是常用的传感器，相机对颜色等内容信息具有高分辨率的获取能力，而激光雷达对环境空间具有精确的三维测量能力，二者相互融合便能更准确的对移动目标进行识别。
[0003]目前，现有的图像数据与激光点云数据融合训练算法，需要建立二维平面图像到三维点云之间的映射模型，并在计算映射模型时需要在三维点云中寻找与二维平面图像上各标定点所对应的点云。
[0004]然而，激光雷达和相机易受外界环境影响使得位姿发生抖动和偏移，或者在发生拍摄延时，激光雷达和相机时间戳很难匹配准，因此，激光雷达和相机的时间及空间的不同步造成了映射模型训练准确性差。由此可以得出，如何准确地对图像数据与激光点云数据进行融合训练是本公开需要解决的问题。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够提高融合训练准确性的三维检测模型的训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0006]第一方面，本申请提供了一种三维检测模型的训练方法。所述方法包括：
[0007]获取样本行车区域图像、样本深度点云图像和所述样本深度点云图像中的样本点云所对应的点云特征标签；
[0008]确定所述样本深度点云图像中的样本点云所对应的样本点云特征；
[0009]对所述样本深度点云图像进行随机扰动处理，并确定随机扰动后的所述样本深度点云图像中的每个样本点云各自对应的位于所述样本行车区域图像中的样本图像像素；
[0010]对于所述样本深度点云图像中的每个样本点云，均将当前样本点云所对应的样本点云特征与相对应的样本图像像素的样本像素特征进行融合，得到样本目标点云特征；
[0011]根据所述样本目标点云特征与所述点云特征标签间的差异，对三维检测模型进行训练，直到达到训练停止条件时停止，得到训练好的三维检测模型；所述三维检测模型用于对行车区域中的目标对象进行识别。
[0012]在其中一个实施例中，所述对所述样本深度点云图像进行随机扰动处理，包括：获取所述样本深度点云图像对应的标定矩阵；确定所述标定矩阵对应的扰动旋转角和扰动偏移量，并根据所述扰动旋转角和所述扰动偏移量，确定所述标定矩阵对应的目标标定矩阵；通过所述目标标定矩阵对所述样本深度点云图像进行随机扰动处理。
[0013]在其中一个实施例中，所述通过所述目标标定矩阵对所述样本深度点云图像进行
随机扰动处理，包括：获取所述样本深度点云图像对应的随机扰动概率；基于所述随机扰动概率，确定所述样本深度点云图像中目标样本点云；通过所述目标标定矩阵对所述目标样本点云进行随机扰动处理。
[0014]在其中一个实施例中，所述通过所述目标标定矩阵对所述目标样本点云进行随机扰动处理，包括：确定所述目标样本点云的点云坐标；通过所述目标标定矩阵对所述点云坐标进行转换，得到目标坐标；所述确定随机扰动后的所述样本深度点云图像中的每个样本点云各自对应的位于所述样本行车区域图像中的样本图像像素，包括：将所述样本行车区域图像中的具有所述目标坐标的样本图像像素作为与所述目标样本点云相对应的像素。
[0015]在其中一个实施例中，所述三维检测模型包括卷积层、多层感知机层和归一化层，所述将当前样本点云所对应的样本点云特征与相对应的样本图像像素的样本像素特征进行融合，得到样本目标点云特征，包括：通过所述三维检测模型中的卷积层，对当前样本点云对应的样本图像像素的样本像素特征进行卷积处理，得到候选样本像素特征；通过所述三维检测模型中的多层感知机层，对当前样本点云对应的样本点云特征进行线性处理，得到候选样本点云特征；通过所述三维检测模型中的归一化层，对所述候选样本像素特征和所述候选样本点云特征进行归一化处理；将归一化处理后的所述候选样本像素特征和归一化处理后的所述候选样本点云特征进行线性组合处理，得到样本目标点云特征。
[0016]在其中一个实施例中，所述三维检测模型的训练方法还包括对二维监督结构进行训练，所述二维监督结构的训练步骤，包括：获取样本行车区域图像中的样本像素和样本像素对应的像素特征标签；确定样本行车区域图像中的初始样本像素、以及每个所述初始样本像素各自对应的初始样本像素特征，并根据所述初始样本像素特征与所述初始样本像素对应的所述像素特征标签，得到首轮的二维监督子结构；从所述首轮之后的第二轮次起的当前轮次中，确定所述样本行车区域图像中的轮次样本像素，并通过历史轮次的所述二维监督子结构，确定每个所述轮次样本像素各自对应的轮次样本像素特征；所述历史轮次为在所述当前轮次之前的至少一个轮次；根据历史轮次的所述二维监督子结构、所述轮次样本像素特征、以及所述轮次样本像素对应的所述像素特征标签，得到当前轮次的二维监督子结构；将下一轮次作为当前轮次，并返回至所述从所述首轮之后的第二轮次起的当前轮次中，确定所述样本行车区域图像中的轮次样本像素，并通过历史轮次的所述二维监督子结构，确定每个所述轮次样本像素各自对应的轮次样本像素特征的步骤并继续执行，直至得到当前轮次的二维监督子结构；综合每个轮次各自对应的二维监督子结构，得到所述样本行车区域图像对应的二维监督结构。
[0017]在其中一个实施例中，所述三维检测模型包括三维监督结构和二维监督结构；所述三维监督结构用于对点云特征提取结构所提取的样本目标点云特征的准确性进行监督；所述二维监督结构用于对图像特征提取结构所提取的样本像素特征的准确性进行监督；点云特征提取结构用于提取所述样本点云的样本点云特征；图像特征提取结构用于提取所述样本图像像素的样本像素特征。
[0018]在其中一个实施例中，所述根据所述样本目标点云特征与所述点云特征标签间的差异，对三维检测模型进行训练，直到达到训练停止条件时停止，得到训练好的三维检测模型，包括：根据所述样本目标点云特征与所述点云特征标签间的差异，确定所述三维监督结构对应的第一损失函数；根据所述样本像素特征和像素特征标签间的差异，确定所述二维
监督结构对应的第二损失函数；将所述第一损失函数和所述第二损失函数进行联合，得到联合损失函数；通过所述联合损失函数，并基于反向传播算法对所述三维检测模型中的模型参数进行更新，直到达到训练停止条件时停止，得到训练好的三维检测模型。
[0019]第二方面，本申请还提供了一种三维检测模型的训练装置。所述装置包括：
[0020]图像获取模块，用于获取样本行车区域图像、样本深度点云图像和所述样本深度点云图像中的样本点云所对应的点云特征标签；
[0021]特征识别模块，用于确定所述样本深度点云图像中的样本点云所对应的样本点云特征；对所述样本深度点云图像进行随机扰动处理，并确定随机扰动后的所述样本深度点云图像中的每个样本点云各自对应的位于所述样本行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维检测模型的训练方法，其特征在于，所述方法包括：获取样本行车区域图像、样本深度点云图像和所述样本深度点云图像中的样本点云所对应的点云特征标签；确定所述样本深度点云图像中的样本点云所对应的样本点云特征；对所述样本深度点云图像进行随机扰动处理，并确定随机扰动后的所述样本深度点云图像中的每个样本点云各自对应的位于所述样本行车区域图像中的样本图像像素；对于所述样本深度点云图像中的每个样本点云，均将当前样本点云所对应的样本点云特征与相对应的样本图像像素的样本像素特征进行融合，得到样本目标点云特征；根据所述样本目标点云特征与所述点云特征标签间的差异，对三维检测模型进行训练，直到达到训练停止条件时停止，得到训练好的三维检测模型；所述三维检测模型用于对行车区域中的目标对象进行识别。2.根据权利要求1所述的方法，其特征在于，所述对所述样本深度点云图像进行随机扰动处理，包括：获取所述样本深度点云图像对应的标定矩阵；确定所述标定矩阵对应的扰动旋转角和扰动偏移量，并根据所述扰动旋转角和所述扰动偏移量，确定所述标定矩阵对应的目标标定矩阵；通过所述目标标定矩阵对所述样本深度点云图像进行随机扰动处理。3.根据权利要求2所述的方法，其特征在于，所述通过所述目标标定矩阵对所述样本深度点云图像进行随机扰动处理，包括：获取所述样本深度点云图像对应的随机扰动概率；基于所述随机扰动概率，确定所述样本深度点云图像中目标样本点云；通过所述目标标定矩阵对所述目标样本点云进行随机扰动处理。4.根据权利要求3所述的方法，其特征在于，所述通过所述目标标定矩阵对所述目标样本点云进行随机扰动处理，包括：确定所述目标样本点云的点云坐标；通过所述目标标定矩阵对所述点云坐标进行转换，得到目标坐标；所述确定随机扰动后的所述样本深度点云图像中的每个样本点云各自对应的位于所述样本行车区域图像中的样本图像像素，包括：将所述样本行车区域图像中的具有所述目标坐标的样本图像像素作为与所述目标样本点云相对应的像素。5.根据权利要求1所述的方法，其特征在于，所述三维检测模型包括卷积层、多层感知机层和归一化层，所述将当前样本点云所对应的样本点云特征与相对应的样本图像像素的样本像素特征进行融合，得到样本目标点云特征，包括：通过所述三维检测模型中的卷积层，对当前样本点云对应的样本图像像素的样本像素特征进行卷积处理，得到候选样本像素特征；通过所述三维检测模型中的多层感知机层，对当前样本点云对应的样本点云特征进行线性处理，得到候选样本点云特征；通过所述三维检测模型中的归一化层，对所述候选样本像素特征和所述候选样本点云特征进行归一化处理；
将归一化处理后的所述候选样本像素特征和归一化处理后的所述候选样本点云特征进行线性组合处理，得到样本目标点云特征。6.根据权利要求1所述的方法，其特征在于，所述三维检测模型的训练方法还包括对二维监督结构进行训练；所述二维监督结构用于确定所述样本点云对应的样本图像像素的样本像素特征；所述二维监督结构的训练步骤，包括：获取样本行车区域图像中的样本像素和样本像素对应的像素特征标签；确定样本行车区域图像中的初始样本像素、以及每个所述初始样本像素各自对应的初始样本像素特征，并根据所述初始样本像素特征与所述初始样本像素对应的所述像素特征标签，得到首轮的二维监督子结构；从所述首...

【专利技术属性】
技术研发人员：万锐，邹晓艺，
申请(专利权)人：深圳元戎启行科技有限公司，
类型：发明
国别省市：