三维目标的检测方法及装置制造方法及图纸

本发明专利技术涉及图像处理技术领域，提供一种三维目标的检测方法及装置。该方法包括：对三维目标的原始目标点云图像进行预设次数的降采样并分别进行特征提取，得到各特征尺度的第一点云特征；将各特征尺度的点云图像分别进行上采样并分别进行特征提取，得到各特征尺度的第二点云特征；将各特征尺度的第一点云特征与对应特征尺度的第二点云特征进行拼接并进行三维目标检测，确定三维目标的目标检测结果。本发明专利技术提供的三维目标的检测方法及装置，通过多次降采样得到的各特征尺度点云特征与对应上采样后得到的点云特征进行拼接，并进行三维目标检测，使得原始点云图像在特征提取的过程中保留更多三维目标的特征信息，提高了三维目标的检测准确率。的检测准确率。的检测准确率。

【技术实现步骤摘要】
三维目标的检测方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种三维目标的检测方法及装置。

技术介绍

[0002]现在主流的三维目标检测方法是将具有深度感知能力的传感器所获的原始数据转换为三维空间的点云，并通过基于网格或者基于原始点云两种三维目标检测方法进行三维目标检测。
[0003]基于网格的方法一般用体素将空间划分为稠密的三维栅格以使用卷积操作方式进行特征提取，但在划分体素时对点云进行了压缩，损失了部分的空间信息。基于原始点云的三维目标检测算法，由于对点云不断降采样的过程中会产生两个问题，一是单个点的感受野不断扩大造成局部特征的损失，二是随着点云的减少目标框里的点也会随之减少而造成信息缺失。现有的两种检测方法中，在特征提取的过程中，均存在特征信息缺失，使得三维目标检测准确率不高。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种三维目标的检测方法，使得原始点云图像在特征提取的过程中保留更多的三维目标的特征信息，提高了三维目标的检测准确率。
[0005]本专利技术还提出一种三维目标的检测装置。
[0006]本专利技术还提出一种电子设备。
[0007]本专利技术还提出一种非暂态计算机可读存储介质。
[0008]本专利技术还提出一种计算机程序产品。
[0009]根据本专利技术第一方面实施例的三维目标的检测方法，包括：对三维目标的原始目标点云图像进行预设次数的降采样，得到各特征尺度的点云图像；其中，一次降采样得到一个特征尺度的点云图像，各特征尺度互不相同；将所述各特征尺度的点云图像分别进行特征提取，得到各特征尺度的第一点云特征；将所述各特征尺度的点云图像分别进行上采样，并将各上采样后的点云图像分别进行特征提取，得到各特征尺度的第二点云特征；将所述各特征尺度的第一点云特征与对应特征尺度的第二点云特征进行拼接，得到拼接后的各特征尺度的点云特征；对所述拼接后的各特征尺度的点云特征进行三维目标检测，确定所述三维目标的检测结果。
[0010]根据本专利技术实施例的三维目标的检测方法，通过将多次降采样后得到的各特征尺度的点云图像分别进行特征提取，得到各特征尺度的第一点云特征。将多次降采样后得到的各特征尺度点云图像进行分别上采样与特征提取，得到各特征尺度的第二点云特征。将各特征尺度的第一点云特征与对应特征尺度的第二点云特征进行拼接，对拼接后的特征进行三维目标检测，使得原始点云图像在特征提取的过程中保留更多的三维目标的特征信息，提高了三维目标的检测准确率。
[0011]根据本专利技术的一个实施例，将所述各特征尺度的点云图像分别进行特征提取，得到各特征尺度的第一点云特征，包括：根据自注意力传播算法，获取所述各特征尺度的点云图像中每个点的全局特征；聚合所述各特征尺度的点云图像中每个点的预设半径内的临近点云，并根据自注意力传播算法，得到所述各特征尺度的点云图像中每个点的局部特征；根据所述全局特征和所述局部特征，确定所述各特征尺度的第一点云特征。通过自注意力传播算法，获取各特征尺度的点云图像中每个点的全局特征和局部特征，提取点云图像中每个点的场景特征和目标细节特征，使得特征提取保留了更多的特征信息。
[0012]根据本专利技术的一个实施例，对所述拼接后的各特征尺度的点云特征进行三维目标检测，确定所述三维目标的检测结果，包括：将所述拼接后的各特征尺度的点云特征输入全连接层，得到三维目标的中心候选点，并确定所述中心候选点的局部特征；将所述中心候选点的局部特征输入分类器，得到所述三维目标的分类结果；将所述中心候选点的局部特征输入目标框回归器，得到所述三维目标的目标框以及所述三维目标的朝向；将所述三维目标的分类结果、所述三维目标的目标框以及所述三维目标的朝向作为所述三维目标的检测结果所述分类器是基于三维目标点云图像样本，以及标记了所述三维目标点云图像样本对应的类别标签对初始分类器进行训练得到的；所述目标框回归器是基于三维目标点云图像样本，以及标记了所述三维目标点云图像样本对应的目标框标签对初始目标框回归器进行训练得到的。通过将拼接后的各特征尺度的点云特征输入训练后的分类器和目标框回归器，得到三维目标的检测结果，实现了三维目标的目标检测。与此同时，拼接后的各特征尺度点云，保留了更多的特征信息，提升了目标检测的准确率。
[0013]根据本专利技术的一个实施例，确定所述中心候选点的局部特征，包括：聚合所述中心候选点的预设半径内的临近点云，并根据自注意力传播算法，得到所述中心候选点的局部特征。通过确定三维目标的中心候选点，对中心候选点的临近点云进行聚合，并根据自注意力传播算法，获取中心候选点的局部特征，提升了三维目标的点云特征信息。
[0014]根据本专利技术的一个实施例，将所述中心候选点的局部特征输入目标框回归器，得到所述三维目标的目标框以及所述三维目标的朝向，包括：将所述中心候选点的局部特征输入目标框回归器，得到三维目标的检测框以及三维目标的朝向；根据预先设定的目标框尺寸阈值以及非极大值抑制算法，筛选所述三维目标的检测框，得到所述三维目标的目标框。通过预先设定的目标框尺寸阈值以及非极大值抑制算法，对目标框回归器输出的多个检测框进行筛选，进一步的实现了三维目标的确定。
[0015]根据本专利技术的一个实施例，对三维目标的原始目标点云图像进行预设次数的降采样，得到各特征尺度的点云图像，包括：对三维目标的原始目标点云图像进行预设次数的平衡最远点降采样，得到各特征尺度的第一目标点云图像；对三维目标的原始目标点云图像进行预设次数的特征距离降采样，得到各特征尺度的第二目标点云图像；将所述各特征尺度的第一目标点云图像和对应特征尺度的第二目标点云图像进行拼接，得到各特征尺度的点云图像。通过结合平衡最远点降采样与特征距离降采样两种降采样方式，得到当前特征尺度降采样的点云图像，实现减少数据量以减轻及计算负担。
[0016]根据本专利技术第二方面实施例的三维目标的检测装置，包括：点云降采样模块，用于对三维目标的原始目标点云图像进行预设次数的降采样，得到各特征尺度的点云图像；其中，一次降采样得到一个特征尺度的点云图像，各特征尺度互不相同；第一点云特征提取模
块，用于将所述各特征尺度的点云图像分别进行特征提取，得到各特征尺度的第一点云特征；第二点云特征提取模块，用于将所述各特征尺度的点云图像分别进行上采样，并将各上采样后的点云图像分别进行特征提取，得到各特征尺度的第二点云特征；特征拼接模块，用于将所述各特征尺度的第一点云特征与对应特征尺度的第二点云特征进行拼接，得到拼接后的各特征尺度的点云特征；三维目标检测模块，用于对所述拼接后的各特征尺度的点云特征进行三维目标检测，确定所述三维目标的检测结果。
[0017]根据本专利技术实施例的三维目标的检测装置，通过将多次降采样后得到的各特征尺度的点云图像分别进行特征提取，得到各特征尺度的第一点云特征。将多次降采样后得到的各特征尺度点云图像进行分别上采样与特征提取，得到各特征尺度的第二点云特征。将各特征尺度的第一点云特征与对应特征尺度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维目标的检测方法，其特征在于，包括：对三维目标的原始目标点云图像进行预设次数的降采样，得到各特征尺度的点云图像；其中，一次降采样得到一个特征尺度的点云图像，各特征尺度互不相同；将所述各特征尺度的点云图像分别进行特征提取，得到各特征尺度的第一点云特征；将所述各特征尺度的点云图像分别进行上采样，并将各上采样后的点云图像分别进行特征提取，得到各特征尺度的第二点云特征；将所述各特征尺度的第一点云特征与对应特征尺度的第二点云特征进行拼接，得到拼接后的各特征尺度的点云特征；对所述拼接后的各特征尺度的点云特征进行三维目标检测，确定所述三维目标的检测结果。2.根据权利要求1所述的三维目标的检测方法，其特征在于，所述将所述各特征尺度的点云图像分别进行特征提取，得到各特征尺度的第一点云特征，包括：根据自注意力传播算法，获取所述各特征尺度的点云图像中每个点的全局特征；聚合所述各特征尺度的点云图像中每个点的预设半径内的临近点云，并根据自注意力传播算法，得到所述各特征尺度的点云图像中每个点的局部特征；根据所述全局特征和所述局部特征，确定所述各特征尺度的第一点云特征。3.根据权利要求1所述的三维目标的检测方法，其特征在于，所述对所述拼接后的各特征尺度的点云特征进行三维目标检测，确定所述三维目标的检测结果，包括：将所述拼接后的各特征尺度的点云特征输入全连接层，得到三维目标的中心候选点，并确定所述中心候选点的局部特征；将所述中心候选点的局部特征输入分类器，得到所述三维目标的分类结果；将所述中心候选点的局部特征输入目标框回归器，得到所述三维目标的目标框以及所述三维目标的朝向；将所述三维目标的分类结果、所述三维目标的目标框以及所述三维目标的朝向作为所述三维目标的检测结果；所述分类器是基于三维目标点云图像样本，以及标记了所述三维目标点云图像样本对应的类别标签对初始分类器进行训练得到的；所述目标框回归器是基于三维目标点云图像样本，以及标记了所述三维目标点云图像样本对应的目标框标签对初始目标框回归器进行训练得到的。4.根据权利要求3所述的三维目标的检测方法，其特征在于，所述确定所述中心候选点的局部特征，包括：聚合所述中心候选点的预设半径内的临近点云，并根据自注意力传播算法，得到所述中心候选点的局部特征。5.根...

【专利技术属性】
技术研发人员：徐志远，汪浩文，车正平，王明远，乔秀全，
申请(专利权)人：美的集团股份有限公司，
类型：发明
国别省市：