基于深度学习的3D点云的对象检测和实例分割制造技术

描述了一种点云中对象检测的方法，该方法可以包括：由第一神经网络类型确定点云的第一特征，该点云包括表示一个或多个对象的点，该第一特征限定每个点的几何信息，该第一网络类型被配置为接收点云点；由第二dnn类型使用第一特征确定第二点云特征，该第二特征限定关于点云在均匀3D网格的节点的位置处的局部几何信息，节点均匀分布在点云的3D空间中；使用第二特征生成一个或多个对象提案，对象提案限定围绕3D网格的节点定位的3D边界框，该3D边界框限定3D锚点，第三dnn类型确定该3D锚点的分数。第三dnn类型确定该3D锚点的分数。第三dnn类型确定该3D锚点的分数。

【技术实现步骤摘要】
【国外来华专利技术】基于深度学习的3D点云的对象检测和实例分割


[0001]本专利技术涉及基于深度学习的3D点云的对象检测和实例分割，并且具体地但不限于涉及使用深度学习在3D点云中的对象检测的方法和系统，涉及使用深度学习的3D点云的实例分割的方法和系统、用于在3D点云中的对象检测的深度神经网络系统、用于3D点云的实例分割的深度神经网络系统以及用于执行这些方法的计算机程序产品。

技术介绍

[0002]在图像处理中，实例分割是指对象检测的过程，其中检测图像中的特定对象(通常通过确定包含每个检测的对象的边界框并为每个标识出的对象创建像素掩模)。实例分割可以被认为是对象检测，其中输出是像素掩模，而不仅仅是边界框。因此，与旨在对图像中的每个像素进行分类的语义分割不同，实例分割旨在标记所确定的边界框中的像素。最近，基于所谓的掩模R
‑
CNN深度学习方案的2D相机图像的快速且可靠的实例分割在解决真实世界的问题时得到越来越多的应用。然而，在诸如自主驾驶、机器人和某些医疗应用等许多应用中，需要被分析的传感器信息表示3D场景，而不是2D场景。这些3D应用程序依赖于光本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种点云中的对象检测的方法，该点云优选地是由3D光学扫描仪生成的点云，例如口内扫描IOS点云，该方法包括：由第一类型的神经网络确定与点云的点相关联的第一特征，所述点云包括表示点云的至少3D空间中的一个或多个对象的点，所述第一特征限定所述点云的每个点的几何信息，所述第一类型的网络被配置为接收所述点云的点作为输入；由第二类型的深度神经网络基于所述第一特征确定第二点云特征，第二特征限定关于所述点云在均匀3D网格的节点的位置处的局部几何信息，所述节点均匀分布在所述点云的3D空间中；基于所述第二特征生成一个或多个对象提案，对象提案限定围绕所述3D网格的节点定位的3D边界框，所述3D边界框包含所述点云的能够限定对象的点，所述3D边界框限定3D锚点；以及由第三类型的深度神经网络确定所述3D锚点的分数，所述分数指示所述3D锚点包括限定对象或对象的部分的点的概率，该确定是基于位于所述3D锚点中的第二特征。2.根据权利要求1所述的方法，其中，第一点云特征包括第一特征向量，每个第一特征向量与所述点云的点相关联；和/或，所述第二点云特征包括第二特征向量，每个第二特征向量与所述3D网格的节点相关联。3.根据权利要求1或2所述的方法，其中，第一类型的深度神经网络限定特征提取网络，所述特征提取网络被配置为接收所述点云的点并生成所述第一特征，优选地生成与所述点云的点相关联的第一特征向量。4.根据权利要求3所述的方法，其中，第一类型的深度神经网络包括多个卷积层，所述多个卷积层包括多层感知器MLP，所述特征提取网络被配置为在其输入处接收所述点云的点，并且在其输出处生成对于所述点云的每个点的特征向量。5.根据权利要求3或4所述的方法，其中，所述特征提取网络包括一个或多个χ
‑
Conv层，每个χ
‑
Conv层被配置为对提供给χ
‑
Conv层的输入的点和对应的特征进行加权和置换，并且随后使置换后的点和特征经受卷积核，优选地，所述特征提取网络被配置为包括χ
‑
Conv层的PointCNN。6.根据权利要求1
‑
5中任一项所述的方法，其中，所述第二类型的深度神经网络表示对象提案网络，所述对象提案网络包括多个卷积层，所述多个卷积层中的每一个卷积层包括多层感知器MLP，所述多层感知器MLP包括一个或多个卷积核，优选地，所述多个卷积层中的至少一个卷积层被配置为接收所述第一特征和均匀3D网格的节点并且基于所述第一特征确定所述第二特征。7.根据权利要求6所述的方法，其中，所述对象提案网络被配置作为蒙特卡洛卷积网络MCCNet，所述蒙特卡洛卷积网络MCCNet包括多个蒙特卡洛MC空间卷积层，优选地是包括被配置为确定位于点云的3D空间中的节点x的位置处的卷积的卷积核的MC空间卷积层，优选地，确定卷积包括：
‑
确定感受野r内的相邻点y，所述感受野限定所述卷积核的视场FOV；
‑
对于每个相邻点y确定概率密度函数p(x,y)；
‑
使用所述相邻点y和每个相邻点的概率密度值p(x,y)基于蒙特卡洛估计确定节点处的卷积。
8.根据权利要求1
‑
7中任一项所述的方法，其中，所述第三类型的深度神经网络表示对象分类网络，所述第三类型的深度神经网络包括多个全连接FC多层感知器MLP层，所述第二类型的深度神经网络被配置接收与3D锚点相关联的特征并使用所述特征来确定与所述3D锚点相关联的分数，所述分数指示3D锚点包括限定对象或对象的部分的点的概率。9.一种点云的实例分割的方法，所述点云优选地是由3D光学扫描仪生成的点云，例如口内扫描IOS点云，所述方法包括：由第一类型的神经网络确定与点云的点相关联的第一特征，所述点云包括表示点云的3D空间中的一个或多个对象的点，所述第一特征限定所述点云的每个点的几何信息，所述第一类型的网络被配置为接收所述点云的点作为输入；由第二类型的深度神经网络基于所述第一特征确定第二特征，所述第二特征限定关于所述点云在均匀3D网格的节点的位置处的局部几何信息，所述节点均匀分布在所述点云的3D空间中；基于所述第二特征生成对象提案，对象提案限定包含能够限定对象的点的3D体积，对象提案的3D体积限定围绕所述均匀3D网格的节点定位的3D锚点；由第三类型的深度神经网络确定分类的3D锚点，该确定是基于第二特征集，所述第二特征集是位于所述3D锚点中的第二特征的子集；由第四类型的深度神经网络确定对象体积，所述对象体积的中心位置与对象实例的中心位置重合，并且所述对象体积的尺寸与所述对象实例的外部尺寸相匹配，该确定是基于所述第二特征集；以及由第五类型的深度神经网络基于位于所述对象体积中的点的集合和第一点云特征的集合确定分类的点，所述分类的点包括属于所述对象实例的第一分类的点和不属于所述对象实例的第二分类的点。10.根据权利要求9所述的方法，其中，第一类型的深度神经网络限定特征提取网络，所述特征提取网络包括多个卷积层，所述多个卷积层包括多层感知器MLP，所述特征提取网络被配置为在其输入处接收点云的点并且在其输出处生成对于所述点云的每个点的特征向量；和/或其中，第二类型的深度神经网络表示对象提案网络，所述对象提案网络被配置作为蒙特卡洛卷积网络MCCNet，所述蒙特卡洛卷积网络MCCNet包括多个蒙特卡洛MC空间卷积层，优选地，所述对象提案网络包括多个卷积层，每层包括多层感知器MLP，所述多层感知器MLP包括一个或多个卷积核，优选地，所述多个卷积层中的至少一个卷积层被配置为接收所述第一点云特征和3D网格的节点并且将所述述第一点云特征转换为所述第二点云特征；和/或所述第三类型的深度神经网络表示对象分类网络，所述第三类型的深度神经网络包括多个全连接FC多层感知器MLP层；和/或其中，所述第四类型的深度神经网络表示对象位置预测器网络，所述第四类型的深度神经网络包括多个全连接FC多层感知器MLP层；和/或其中，所述第五类型的神经网络表示掩模预测器网络，所述第五类型的深度神经网络包括一个或多个χ
‑
Conv层，每个χ
‑
Conv层被配置为对提供给χ
‑
Conv层的输入的点和对应的特征进行加权和置换，并且随后使置换后的点和特征经受卷积核。
11.一种训练深度神经网络系统以用于点云中的对象检测的方法，所述点...

【专利技术属性】
技术研发人员：F，
申请(专利权)人：普罗马顿控股有限责任公司，
类型：发明
国别省市：