一种基于点云的语义实例确定方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种基于点云的语义实例确定方法、装置、电子设备及存储介质，所述方法包括：将点云输入训练后的编码模块，得到多个点集中每个点集对应的包含集合补充信息和集合关系信息的特征信息；所述编码模块包含区域特征补充模块和区域关系推理模块；所述多个点集中的点的并集为所述点云，至少有两个点集中存在交集；基于训练后的语义实例确定模块对所述每个点集对应的包含集合补充信息和集合关系信息的特征信息进行语义和实例的确定，得到所述点云中每个点的语义标签和实例标签；所述语义标签用于表征所述每个点所属的类别；所述实例标签用于表征所述每个点所属的实例，可以降低稀疏区域的点云分割的错误率。

A method, device, electronic device and storage medium for semantic instance determination based on point cloud

【技术实现步骤摘要】
一种基于点云的语义实例确定方法、装置、电子设备及存储介质
本申请涉及互联网
，尤其涉及一种基于点云的语义实例确定方法、装置、电子设备及存储介质。
技术介绍
基于3D点云的场景理解包括点云语义分割、点云目标分割、点云实例分割等任务。点云语义实例分割任务是点云语义分割和实例分割的联合任务，是一种新兴的点云分割任务。这项技术可以应用于室外自主驾驶和室内服务机器人等领域，具有巨大的应用价值，比如室内的送餐机器人可以根据分割出的语义和实例，判断出房间内的物体类别和个数，根据指令找到指定的桌子和具体的顾客。3D点云语义实例分割算法往往包括两个分支，即实例分支和语义分支。对于实例分支，可分为有候选框的和无候选框的。有候选框的方法首先利用神经网络生成很多候选框，然后对候选框采用各种算法(如非极大值抑制)加以筛选删减，再进一步在候选框内求实例掩模，得到实例分割结果；无候选框的方法首先利用神经网络的编码和解码生成每个点的特征表示，然后利用聚类算法对这些点的特征表示进行聚类组合以分割实例。对于语义分支，则一般采用PointNet++的结构，利用Softmax分类器得到每个点属于每个类的概率，然后取最大概率对应的类作为该点的初始语义标签。最后，以实例为基准，取每个实例内的语义类别众数作为该实例的语义标签，得到最终的语义实例分割结果。然而，在实例分支和语义分支之前，编码模块在编码部分忽略了点云密度不一致性。具体的，在点云数据的获取中，点云大多是稀疏且不均匀的，但是，现有的语义实例分割任务的编码部分大多采用的PointNet++的SA模块在进行编码时并没有考虑到这一点，导致稀疏区域的点云容易分割错误。
技术实现思路
本申请实施例提供了一种基于点云的语义实例确定方法、装置、电子设备及存储介质，可以降低稀疏区域的点云分割的错误率。一方面，本申请实施例提供了一种基于点云的语义实例确定方法，该方法包括：将点云输入训练后的编码模块，得到多个点集中每个点集对应的包含集合补充信息和集合关系信息的特征信息；所述编码模块包含区域特征补充模块和区域关系推理模块；所述多个点集中的点的并集为所述点云，至少有两个点集中存在交集；基于训练后的语义实例确定模块对所述每个点集对应的包含集合补充信息和集合关系信息的特征信息进行语义和实例的确定，得到所述点云中每个点的语义标签和实例标签；所述语义标签用于表征所述每个点所属的类别；所述实例标签用于表征所述每个点所属的实例。另一方面提供了一种基于点云的语义实例确定装置，该装置包括：特征信息确定模块，用于将点云输入训练后的编码模块，得到多个点集中每个点集对应的包含集合补充信息和集合关系信息的特征信息；所述编码模块包含区域特征补充模块和区域关系推理模块；所述多个点集中的点的并集为所述点云，至少有两个点集中存在交集；语义实例确定模块，用于基于训练后的语义实例确定模块对所述每个点集对应的包含集合补充信息和集合关系信息的特征信息进行语义和实例的确定，得到所述点云中每个点的语义标签和实例标签；所述语义标签用于表征所述每个点所属的类别；所述实例标签用于表征所述每个点所属的实例。另一方面提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行如上述的基于点云的语义实例确定方法。另一方面提供了一种计算机可读存储介质，计算机存储介质中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上述的基于点云的语义实例确定方法。本申请实施例提供的基于点云的语义实例确定方法、装置、电子设备及存储介质，具有如下技术效果：将点云输入训练后的编码模块，得到多个点集中每个点集对应的包含集合补充信息和集合关系信息的特征信息；所述编码模块包含区域特征补充模块和区域关系推理模块；所述多个点集中的点的并集为所述点云，至少有两个点集中存在交集；基于训练后的语义实例确定模块对所述每个点集对应的包含集合补充信息和集合关系信息的特征信息进行语义和实例的确定，得到所述点云中每个点的语义标签和实例标签；所述语义标签用于表征所述每个点所属的类别；所述实例标签用于表征所述每个点所属的实例，可以降低稀疏区域的点云分割的错误率。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。图1是本申请实施例提供的一种应用环境的示意图；图2是本申请实施例提供的一种基于点云的语义实例确定方法的流程示意图；图3是本申请实施例提供的一种编码模块的结构示意图；图4是本申请实施例提供的一种编码模块的结构示意图；图5是本申请实施例提供的一种当前点集在当前补充处理层中的处理的流程示意图；图6是本申请实施例提供的一种当前点集在区域关系推理模块中的处理的流程示意图；图7是本申请实施例提供的一种推理的具体示意图；图8是本申请实施例提供的一种语义实例确定模块的结构示意图；图9是本申请实施例提供的一种基于点云的语义实例确定装置的结构示意图；图10是本申请实施例提供的一种基于点云的语义实例确定方法的服务器的硬件结构框图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。请参阅图1，图1是本申请实施例提供的一种应用环境的示意图，包括服务器101和终端设备102，其中，服务器101包括编码模块和语义实例确定模块，可以通过编码模块和语义实例确定模块对每个点集对应的包含集合补充信息和集合关系信息的特征信息进行语义和实例的确定，得到所述点云中每个点的语义标签和实例标签。且服务器101可以为下游的终端设备102提供语义和实例的确定的服务器。比如，终端设备102获取点云后，可以向服务器101上传该点云，以使服务器101可以对该点云进行语义和实例的确定。具体的，服务器101将点云输入训本文档来自技高网...

【技术保护点】
1.一种基于点云的语义实例确定方法，其特征在于，所述方法包括：/n将点云输入训练后的编码模块，得到多个点集中每个点集对应的包含集合补充信息和集合关系信息的特征信息；所述编码模块包含区域特征补充模块和区域关系推理模块；所述多个点集中的点的并集为所述点云，至少有两个点集中存在交集；/n基于训练后的语义实例确定模块对所述每个点集对应的包含集合补充信息和集合关系信息的特征信息进行语义和实例的确定，得到所述点云中每个点的语义标签和实例标签；/n所述语义标签用于表征所述每个点所属的类别；所述实例标签用于表征所述每个点所属的实例。/n

【技术特征摘要】
1.一种基于点云的语义实例确定方法，其特征在于，所述方法包括：
将点云输入训练后的编码模块，得到多个点集中每个点集对应的包含集合补充信息和集合关系信息的特征信息；所述编码模块包含区域特征补充模块和区域关系推理模块；所述多个点集中的点的并集为所述点云，至少有两个点集中存在交集；
基于训练后的语义实例确定模块对所述每个点集对应的包含集合补充信息和集合关系信息的特征信息进行语义和实例的确定，得到所述点云中每个点的语义标签和实例标签；
所述语义标签用于表征所述每个点所属的类别；所述实例标签用于表征所述每个点所属的实例。


2.根据权利要求1所述的方法，其特征在于，所述编码模块还包括多个特征信息提取模块；
所述多个特征信息提取模块中的每个特征信息提取模块包含多个卷积层；
所述多个特征信息提取模块、所述区域特征补充模块和所述区域关系推理模块之间串联连接；
所述多个特征信息提取模块中，至少存在一个所述特征信息提取模块位于所述区域特征补充模块之前，且至少存在一个所述特征信息提取模块位于所述区域特征补充模块之后；至少存在一个所述特征信息提取模块位于所述区域关系推理模块之前；且所述区域特征补充模块位于所述区域关系推理模块之前。


3.根据权利要求2所述的方法，其特征在于，所述区域特征补充模块包括至少一层补充处理层；所述方法包括待处理的当前点集在当前补充处理层中的处理步骤，所述当前补充处理层为所述至少一层补充处理层中当前执行的补充处理层；所述当前点集为所述多个点集中当前处理的点集，包括：
从所述多个点集中确定出所述当前点集对应的多个邻近点集；
基于最大聚合器从所述多个邻近点集中每个邻近点集的特征信息和所述当前点集的特征信息确定出所述当前点集的相关特征信息；所述特征信息为输入所述当前补充处理层的特征信息；
通过多层感知机基于所述当前点集的相关特征信息和所述当前点集的特征信息确定所述当前点集的待补充特征信息；
基于所述待补充特征信息和所述当前点集的特征信息之和确定所述当前点集在所述当前补充处理层输出的包含集合补充信息的特征信息。


4.根据权利要求3所述的方法，其特征在于，所述方法包括待处理的所述当前点集在所述区域特征补充模块的处理步骤，包括：
通过多层感知机对所述区域特征补充模块中每一层所述补充处理层输出的包含集合补充信息的特征信息进行融合处理，得到所述当前点集在所述区域特征补充模块输出的包含集合补充信息的特征信息。


5.根据权利要求2所述的方法，其特征在于，所述方法包括待处理的当前点集在所述区域关系推理模块中的处理步骤，所述当前点集为所述多个点集中当前处理的点集，包括：
根据每个非当前点集的位置信息和所述当前点集的位置信息确定出每个所述非当前点集对应的位置亲和度；
根据每个非当前...

【专利技术属性】
技术研发人员：李嘉茂，张广慧，张晓林，朱冬晨，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：上海;31