目标检测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种目标检测方法、装置、电子设备及存储介质，所述方法包括：获取目标点云序列；将目标点云序列输入到三维目标检测模型，获取目标点云序列对应的三维目标检测结果；三维目标检测模型是通过虚拟样本和真实样本训练得到的；真实样本对应的伪标签是基于第一预测结果和第二预测结果确定的，第一预测结果是通过预训练的三维目标检测模型对真实样本数据进行预测得到的，第二预测结果是通过将第一预测结果沿时间维度传播获取的。本发明专利技术实施例通过将第一预测结果沿时间维度传播可以获取第二预测结果，进而基于第一预测结果和第二预测结果可以获取伪标签，可以实现在无人工标注数据的情况下，训练三维目标检测模型，到达较好的检测效果。达较好的检测效果。达较好的检测效果。

【技术实现步骤摘要】
目标检测方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种目标检测方法、装置、电子设备及存储介质。

技术介绍

[0002]二维目标检测仅能提供物体在图片中的二维位置信息，如今随着车辆无人驾驶、智能机器人、增强现实和安保边防等应用领域的快速发展，往往需要物体在三维空间中的信息，以便更精准地对目标进行定位与识别。三维目标检测的输入为二维图像或三维数据，三维目标检测的输出为物体边界框在三维空间中的位置以及分类结果。
[0003]现有技术中，大多数无人驾驶等三维相关的任务都是利用激光雷达点云数据以获得更精确的三维空间信息。由于点云数据与以往的图像数据不同，具有高维性和无序性等性质，也造成数据标注困难大、数据集的规模较小的问题，相对于二维目标检测来说，三维目标检测数据标注的获取难度更大。

技术实现思路

[0004]本专利技术提供一种目标检测方法、装置、电子设备及存储介质，用以解决现有技术中三维目标检测数据标注的获取难度大的缺陷，实现在无人工标注数据的情况下，训练获取三维目标检测模型，并到达较好的检测效果。
[0005]第一方面，本专利技术提供一种目标检测方法，包括：
[0006]获取目标点云序列；
[0007]将所述目标点云序列输入到三维目标检测模型，获取所述目标点云序列对应的三维目标检测结果；
[0008]所述三维目标检测模型是通过虚拟样本和真实样本训练得到的；所述真实样本对应的伪标签是基于第一预测结果和第二预测结果确定的，所述第一预测结果是通过预训练的三维目标检测模型对所述真实样本数据进行预测得到的，所述第二预测结果是通过将所述第一预测结果沿时间维度传播获取的，所述预训练的三维目标检测模型是通过所述虚拟样本训练得到的。
[0009]可选地，根据本专利技术提供的一种目标检测方法，所述目标点云序列对应的三维目标检测结果包括分类结果、三维边界框回归结果、方向分类结果、以及与所述三维边界框回归结果相对应的三维边界框不确定性回归结果，所述将所述目标点云序列输入到三维目标检测模型，获取所述目标点云序列对应的三维目标检测结果，包括：
[0010]基于所述目标点云序列和所述三维目标检测模型的分类分支，获取所述分类结果；
[0011]基于所述目标点云序列和所述三维目标检测模型的第一回归分支，获取所述三维边界框回归结果和所述方向分类结果；
[0012]基于所述目标点云序列和所述三维目标检测模型的第二回归分支，获取所述三维
边界框不确定性回归结果。
[0013]可选地，根据本专利技术提供的一种目标检测方法，所述三维目标检测模型通过如下方式构建：
[0014]基于所述虚拟样本和所述虚拟样本的标签，对初始三维目标检测模型进行训练，获取所述预训练的三维目标检测模型；
[0015]将所述真实样本输入到所述预训练的三维目标检测模型，获取所述第一预测结果和所述第一预测结果对应的第一目标置信度；
[0016]基于时间维度的目标传播范围，将所述第一预测结果沿时间维度传播，获取所述第二预测结果；
[0017]基于所述第一目标置信度、所述第一预测结果和所述第二预测结果，获取所述伪标签；
[0018]基于所述真实样本和所述伪标签，对所述预训练的三维目标检测模型进行训练，获取所述三维目标检测模型。
[0019]可选地，根据本专利技术提供的一种目标检测方法，所述基于所述虚拟样本和所述虚拟样本的标签，对初始三维目标检测模型进行训练，获取所述预训练的三维目标检测模型，包括：
[0020]基于所述虚拟样本、所述虚拟样本的标签和目标损失函数，对所述初始三维目标检测模型进行训练，直至所述目标损失函数对应的损失函数值小于第一阈值或直至训练次数大于第二阈值；
[0021]其中，所述目标损失函数是基于所述三维目标检测模型中的分类分支对应的损失函数及所述三维目标检测模型中各回归分支对应的损失函数确定的。
[0022]可选地，根据本专利技术提供的一种目标检测方法，在所述第二回归分支是基于高斯分布的回归模型的情况下，所述第二回归分支对应的损失函数具体为：
[0023][0024]或
[0025]在所述第二回归分支是基于拉普拉斯分布的回归模型的情况下，所述第二回归分支对应的损失函数具体为：
[0026][0027]其中，t
i
表示第i维度的目标回归值，μ
i
表示第i维度的三维边界框回归结果，σ
i
表示第i维度的三维边界框不确定性回归结果，i∈{x,y,z,w,h,l,θ}，{x,y,z}表示所述三维边界框的中心点坐标，w、h以及l分别表示所述三维边界框的三个边长，θ表示三维边界框以y轴为中心的旋转角度，ε为预设常量。
[0028]可选地，根据本专利技术提供的一种目标检测方法，所述将所述真实样本输入到所述预训练的三维目标检测模型，获取所述第一预测结果和所述第一预测结果对应的第一目标置信度，包括：
[0029]基于所述预训练的三维目标检测模型，对所述真实样本进行预测，获取第三预测结果；
[0030]基于所述第三预测结果中的分类结果和所述第三预测结果中的三维边界框不确定性回归结果，确定所述第三预测结果对应的第一目标置信度；
[0031]基于所述第一目标置信度和第三阈值，在所述第三预测结果对应的候选框中，获取第一目标候选框，所述第一目标候选框对应的第一目标置信度大于或等于所述第三阈值；
[0032]对所有所述第一目标候选框进行融合，获取所述第一预测结果和所述第一预测结果对应的第一目标置信度。
[0033]可选地，根据本专利技术提供的一种目标检测方法，所述基于所述第三预测结果中的分类结果和所述第三预测结果中的三维边界框不确定性回归结果，确定所述第三预测结果对应的第一目标置信度，包括：
[0034]应用公式conf
cls
＝sigmoid(output
cls
)，获取所述第三预测结果中的分类结果对应的分类置信度conf
cls
，output
cls
是所述第三预测结果中的分类结果；
[0035]应用公式conf
loc
＝1
‑
∑
i∈{x,y,z,w,h,l,θ}
sigmoid(σ
i
)/7，获取第三预测结果中的三维边界框不确定性回归结果对应的定位不确定性置信度conf
loc
，其中，σ
i
表示第i维度的三维边界框不确定性回归结果，i∈{x,y,z,w,h,l,θ}，{x,y,z}表示所述三维边界框的中心点坐标，w、h以及l分别表示所述三维边界框的三个边长，θ表示三维边界框以y轴为中心的旋转角度；
[0036]应用公式conf
total
＝conf
cls
·
conf
loc
，获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测方法，其特征在于，包括：获取目标点云序列；将所述目标点云序列输入到三维目标检测模型，获取所述目标点云序列对应的三维目标检测结果；所述三维目标检测模型是通过虚拟样本和真实样本训练得到的；所述真实样本对应的伪标签是基于第一预测结果和第二预测结果确定的，所述第一预测结果是通过预训练的三维目标检测模型对所述真实样本数据进行预测得到的，所述第二预测结果是通过将所述第一预测结果沿时间维度传播获取的，所述预训练的三维目标检测模型是通过所述虚拟样本训练得到的。2.根据权利要求1所述的目标检测方法，其特征在于，所述目标点云序列对应的三维目标检测结果包括分类结果、三维边界框回归结果、方向分类结果、以及与所述三维边界框回归结果相对应的三维边界框不确定性回归结果，所述将所述目标点云序列输入到三维目标检测模型，获取所述目标点云序列对应的三维目标检测结果，包括：基于所述目标点云序列和所述三维目标检测模型的分类分支，获取所述分类结果；基于所述目标点云序列和所述三维目标检测模型的第一回归分支，获取所述三维边界框回归结果和所述方向分类结果；基于所述目标点云序列和所述三维目标检测模型的第二回归分支，获取所述三维边界框不确定性回归结果。3.根据权利要求2所述的目标检测方法，其特征在于，所述三维目标检测模型通过如下方式构建：基于所述虚拟样本和所述虚拟样本的标签，对初始三维目标检测模型进行训练，获取所述预训练的三维目标检测模型；将所述真实样本输入到所述预训练的三维目标检测模型，获取所述第一预测结果和所述第一预测结果对应的第一目标置信度；基于时间维度的目标传播范围，将所述第一预测结果沿时间维度传播，获取所述第二预测结果；基于所述第一目标置信度、所述第一预测结果和所述第二预测结果，获取所述伪标签；基于所述真实样本和所述伪标签，对所述预训练的三维目标检测模型进行训练，获取所述三维目标检测模型。4.根据权利要求3所述的目标检测方法，其特征在于，所述基于所述虚拟样本和所述虚拟样本的标签，对初始三维目标检测模型进行训练，获取所述预训练的三维目标检测模型，包括：基于所述虚拟样本、所述虚拟样本的标签和目标损失函数，对所述初始三维目标检测模型进行训练，直至所述目标损失函数对应的损失函数值小于第一阈值或直至训练次数大于第二阈值；其中，所述目标损失函数是基于所述三维目标检测模型中的分类分支对应的损失函数及所述三维目标检测模型中各回归分支对应的损失函数确定的。5.根据权利要求4所述的目标检测方法，其特征在于，在所述第二回归分支是基于高斯分布的回归模型的情况下，所述第二回归分支对应的损失函数具体为：
或在所述第二回归分支是基于拉普拉斯分布的回归模型的情况下，所述第二回归分支对应的损失函数具体为：其中，t
i
表示第i维度的目标回归值，μ
i
表示第i维度的三维边界框回归结果，σ
i
表示第i维度的三维边界框不确定性回归结果，i∈{x,y,z,w,h,l,θ}，{x,y,z}表示所述三维边界框的中心点坐标，w、h以及l分别表示所述三维边界框的三个边长，θ表示三维边界框以y轴为中心的旋转角度，ε为预设常量。6.根据权利要求3所述的目标检测方法，其特征在于，所述将所述真实样本输入到所述预训练的三维目标检测模型，获取所述第一预测结果和所述第一预测结果对应的第一目标置信度，包括：基于所述预训练的三维目标检测模型，对所述真实样本进行预测，获取第三预测结果；基于所述第三预测结果中的分类结果和所述第三预测结果中的三维边界框不确定性回归结果，确定所述第三预测结果对应的第一目标置信度；基于所述第一目标置信度和第三阈值，在所述第三预测结果对应的候选框中，获取第一目标候选框，所述第一目标候选框对应的第一目标置信度大于或等于所述第三阈值；对所有所述第一目标候选框进行融合，获取所述第一预测结果和所述第一预测结果对应的第一目标置信度。7.根据权利要求6所述的目标检测方法，其特征在于，所述基于所述第三预测结果中的分类结果和所述第三预测结果中的三维边界框不确定性回归结果，确定所述第三预测结果对应的第一目标置信度，包括：应用公式conf
cls
＝sigmoid(output
cls
)，获取所述第三预测结果中的分类结果对应的分类置信度conf
cls
，output
cls
是所述第三预测结果中的分类结果；应用公式conf
loc
＝1
‑
∑
i∈{x,y,z,w,h,l,θ}
sigmoid(σ
...

【专利技术属性】
技术研发人员：张兆翔，张驰，陈文博，裴仪瑶，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：