室内3D目标检测方法与装置、扫地机器人、存储介质制造方法及图纸

本发明专利技术公开了一种室内3D目标检测方法与装置、扫地机器人、存储介质，其中，室内3D目标检测方法包括以下步骤：获取室内场景的目标3D点云数据；基于目标3D点云数据确定至少两个目标候选框；采用3DNMS模块对目标候选框进行筛选得到最优边框；基于最优边框获得室内场景的3D检测结果由此，本实施例的室内3D目标检测方法能够直接对3D数据进行处理，并且检测速度和精度较高，同时具有较强的鲁棒性。同时具有较强的鲁棒性。同时具有较强的鲁棒性。

【技术实现步骤摘要】
室内3D目标检测方法与装置、扫地机器人、存储介质


[0001]本专利技术涉及目标检测
，尤其涉及一种室内3D(3
‑
Dimension，三维)目标检测方法、一种扫地机器人、一种计算机可读存储介质和一种室内3D目标检测装置。

技术介绍

[0002]目标检测是计算机视觉的核心任务之一，它是机器与周围环境交互的必要功能，是当前研究的热点领域。与此同时，目标检测的实际应用非常广泛，针对不同的场景，衍生出各种各样的算法。根据应用场景的不同，以及传感器采集数据的类型的差别，可以大概分为2D目标检测和3D目标检测两大类。基于图像的2D目标检测研究比较早，研究也比较成熟。随着3D传感器的兴起和广泛应用，3D目标检测也得到越来越多的关注。
[0003]以室内3D目标检测为例，大概有两类技术方向。第一类是结合2D数据和3D数据，实现对室内关键目标的检测，大致的就是将3D数据转换为2D数据，然后借助2D的目标检测算法。第二类是直接在3D数据上进行目标检测，进而检测室内关键目标。
[0004]在室内环境中，由于视角遮挡导致数据残缺以及3D数据本身的稀疏性等特点，容易导致室内3D目标检测面临诸多条件，如导致检测精度较低、漏检、误检等问题的出现。

技术实现思路

[0005]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种室内3D目标检测方法，能够直接对3D数据进行处理，并且检测速度和精度较高，同时具有较强的鲁棒性。
[0006]本专利技术的第二个目的在于提出一种扫地机器人。
[0007]本专利技术的第三个目的在于提出一种计算机可读存储介质。
[0008]本专利技术的第四个目的在于提出一种室内3D目标检测装置。
[0009]为达上述目的，本专利技术第一方面实施例提出了一种室内3D目标检测方法，该方法包括以下步骤：获取室内场景的目标3D点云数据；基于所述目标3D点云数据确定至少两个目标候选框；采用3DNMS模块对所述目标候选框进行筛选得到最优边框；基于所述最优边框获得所述室内场景的3D检测结果。
[0010]本专利技术实施例的室内3D目标检测方法首先可以获取室内场景的目标3D点云数据，其中，获取方法不进行具体限定，可以通过点云数据传感器等进行获取，然后根据所获取到的目标3D点云数据确定多个目标候选框，再利用3DNMS模块对目标候选框进行筛选以得到目标的最优边框，最后对该最优边框进行解析以得到室内场景的3D检测结果。由此，本专利技术实施例的室内3D目标检测方法可以解决
技术介绍
中提到的在对3D数据进行目标检测时需先换成2D数据，还往往由于视角遮挡等情况导致数据残缺，进而导致目标检测精度低、漏检误检等技术问题，能够直接对3D数据进行处理，并且检测速度和精度较高，同时具有较强的鲁棒性。
[0011]在本专利技术的一些实施例中，所述基于所述目标3D点云数据确定至少两个目标候选
框，包括：采用BackBone主干网络对所述目标3D点云数据进行特征提取，获得种子点和特征向量；根据所述种子点和特征向量进行投票聚集处理，获得初步目标候选框信息；对所述初步目标候选框信息进行感兴趣区域提取，获得至少两个目标候选框。
[0012]在本专利技术的一些实施例中，若所述BackBone主干网络包括SA结构，则所述采用BackBone主干网络对所述目标3D点云数据进行特征提取，获得种子点和特征向量，包括：从所述目标3D点云数据中随机确定一个初始点，并依次利用最远点采样算法进行采样，直到达到目标点数，进而获得所述种子点，以及采用多层感知器提取所述目标3D点云数据的特征向量。
[0013]在本专利技术的一些实施例中，若所述BackBone主干网络包括FP结构，则所述采用BackBone主干网络对所述目标3D点云数据进行特征提取，获得种子点和特征向量，还包括：对经过所述SA结构处理的目标3D点云数据进行上采样，以获得所述种子点。
[0014]在本专利技术的一些实施例中，根据所述种子点和特征向量进行投票聚集处理，获得初步目标候选框信息包括：对所述种子点进行投票处理，以得到投票点；对所述投票点进行聚集处理，以使所述投票点向所述目标的中心点聚集；根据所述投票点和所述特征向量获取所述初步目标候选框信息。
[0015]在本专利技术的一些实施例中，所述获取室内场景的目标3D点云数据，包括：采集所述室内场景的3D点云数据，对所述室内场景的3D点云数据进行降噪处理和/或随机采样，将降噪处理和/或随机采样得到的结果作为获取的目标3D点云数据。
[0016]在本专利技术的一些实施例中，所述室内场景的3D检测结果包括所述室内场景内物体的位置信息、尺寸信息、朝向信息以及类别信息。
[0017]为达上述目的，本专利技术第二方面实施例提出了一种扫地机器人，该扫地机器人包括存储器、处理器及存储在存储器上并可在处理器上运行的室内3D目标检测程序，所述处理器执行所述室内3D目标检测程序时，实现根据上述实施例所述的室内3D目标检测方法。
[0018]本专利技术实施例的扫地机器人包括存储器和处理器，处理器执行存储在存储器上的室内3D目标检测程序，能够直接对3D数据进行处理，并且检测速度和精度较高，同时具有较强的鲁棒性。
[0019]为达上述目的，本专利技术第三方面实施例提出了一种计算机可读存储介质，其上存储有室内3D目标检测程序，该室内3D目标检测程序被处理器执行时实现根据上述实施例所述的室内3D目标检测方法。
[0020]本专利技术实施例的计算机可读存储介质通过处理器执行存储在其上的室内3D目标检测程序，能够直接对3D数据进行处理，并且检测速度和精度较高，同时具有较强的鲁棒性。
[0021]为达上述目的，本专利技术第四方面实施例提出了一种室内3D目标检测装置，该目标检测装置包括获取模块，用于获取室内场景的目标3D点云数据；确定模块，基于所述目标3D点云数据确定至少两个目标候选框；筛选模块，采用3DNMS模块对所述目标候选框进行筛选得到最优边框；检测模块，基于所述最优边框获得所述室内场景的3D检测结果。
[0022]本专利技术实施例的室内3D目标检测装置包括获取模块、确定模块、筛选模块和检测模块，其中，可以先利用获取模块获取室内场景的目标3D点云数据，其中，获取模块不进行具体限定，如可以是点云数据传感器等，然后根据所获取到的目标3D点云数据利用确定模
块确定多个目标候选框，再通过筛选模块采用3DNMS模块对目标候选框进行筛选以得到目标的最优边框，最后利用检测模块对该最优边框进行解析检测以得到室内场景的3D检测结果。由此，本专利技术实施例的室内3D目标检测装置可以解决
技术介绍
中提到的在对3D数据进行目标检测时需先换成2D数据，还往往由于视角遮挡等情况导致数据残缺，进而导致目标检测精度低、漏检误检等技术问题，能够直接对3D数据进行处理，并且检测速度和精度较高，同时具有较强的鲁棒性。
[0023]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种室内3D目标检测方法，其特征在于，所述方法包括：获取室内场景的目标3D点云数据；基于所述目标3D点云数据确定至少两个目标候选框；采用3DNMS模块对所述目标候选框进行筛选得到最优边框；基于所述最优边框获得所述室内场景的3D检测结果。2.根据权利要求1所述的室内3D目标检测方法，其特征在于，所述基于所述目标3D点云数据确定至少两个目标候选框，包括：采用BackBone主干网络对所述目标3D点云数据进行特征提取，获得种子点和特征向量；根据所述种子点和特征向量进行投票聚集处理，获得初步目标候选框信息；对所述初步目标候选框信息进行感兴趣区域提取，获得至少两个目标候选框。3.根据权利要求2所述的室内3D目标检测方法，其特征在于，若所述BackBone主干网络包括SA结构，则所述采用BackBone主干网络对所述目标3D点云数据进行特征提取，获得种子点和特征向量，包括：从所述目标3D点云数据中随机确定一个初始点，并依次利用最远点采样算法进行采样，直到达到目标点数，进而获得所述种子点，以及采用多层感知器提取所述目标3D点云数据的特征向量。4.根据权利要求3所述的室内3D目标检测方法，其特征在于，若所述BackBone主干网络包括FP结构，则所述采用BackBone主干网络对所述目标3D点云数据进行特征提取，获得种子点和特征向量，还包括：对经过所述SA结构处理的目标3D点云数据进行上采样，以获得所述种子点。5.根据权利要求2所述的室内3D目标检测方法，其特征在于，所述根据所述种子点和特征向量进行投票聚集处理，获得初步目标候选框信息，包括：对所述种子点...

【专利技术属性】
技术研发人员：杨勇，康星火，宋昱慧，
申请(专利权)人：深圳市杉川机器人有限公司，
类型：发明
国别省市：