【技术实现步骤摘要】
三维场景分割方法和用于训练分割模型的方法
[0001]本公开涉及人工智能
，具体为深度学习、计算机视觉
，可应用于图像处理、3D视觉、增强现实等场景，具体涉及一种三维场景分割方法和用于训练分割模型的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
技术介绍
[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术。人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]基于人工智能的三维视觉技术已经渗透到各个领域。例如，针对道路场景下的三维场景中的实例进行分割，可以识别出行人、汽车等物体，帮助车辆理解道路环境。
[0004]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。
技术实现思路
[0005]本公开提供了一种三维场景分割和用于训练分割模型的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
[0006]根据本公开的一方面，提供了一种三维场景分割方法，包括：获取目标三维场景的点云数据集，所述点云数据集包括所述目标...
【技术保护点】
【技术特征摘要】
1.一种三维场景分割方法，包括：获取目标三维场景的点云数据集，所述点云数据集包括所述目标三维场景对应的目标点集中的每一个点的点云数据，该点云数据指示该点在所述目标三维场景中的位置；获得所述点云数据集中的每一个点云数据的目标分类标签和目标实例标签，所述目标分类标签指示该点云数据在多个分类中的相应分类，所述目标实例标签指示该点云数据相对于所述点云数据集中的相应第一子集的聚类中心所偏移的方向和距离，所述相应第一子集能够被聚类为一个实例；以及针对所述点云数据集中的具有相同的目标分类标签的多个第一点云数据，响应于确定所述多个第一点云数据中的任一第一点云数据的目标实例标签与另一第一点云数据的目标实例标签相应，确定所述多个第一点云数据对应于所述目标三维场景中的第一实例。2.根据权利要求1所述的方法，其中，所述获得所述点云数据集中的每一个点云数据的目标分类标签和目标实例标签包括：将所述点云数据集输入至分割模型，以获得所述点云数据集中的每一个点云数据的目标分类标签和目标实例标签，其中，所述分割模型是利用训练数据集和与所述训练数据集中的第一数据集相应的标注数据集进行半监督训练而获得的，其中，所述训练数据集包括来自三维空间的实例样本上的样本点集中的每一个点的点云数据，所述第一数据集包括来自所述样本点集中的第一样本子集中的每一个点的点云数据，所述标注数据集包括与所述第一样本子集中的每一个点的点云数据相应的标注分类标签和标注实例标签，该标注分类标签指示所述实例样本在所述多个分类中的相应分类，该标注实例标签指示与相应的点云数据对应的点相对于所述实例样本的中心偏移的方向和距离。3.根据权利要求2所述的方法，其中，所述训练数据集中的每一个点云数据包括该点云数据所对应的点的位置坐标，所述第一样本子集中的每一个点的点云数据的标注实例标签包括该点的位置坐标和所述实例样本的中心的位置坐标之间的坐标偏差，其中，所述实例样本的中心的位置坐标是至少基于所述第一样本子集中的每一个点的位置坐标获得的。4.根据权利要求3所述的方法，其中，所述目标点集中的每一个点的点云数据包括该点的位置坐标，所述点云数据集中的每一个点云数据的目标实例标签包括该点云数据对应的偏差坐标，所述方法还包括：针对所述多个第一点云数据中的每一个第一点云数据，基于该第一点云数据对应的偏差坐标和该第一点云数据中的位置坐标，获得相应的更新坐标；以及响应于确定所述多个第一点云数据中的任意两个第一点云数据的更新坐标之间的距离小于距离阈值，确定所述多个第一点云数据中的任一第一点云数据的目标实例标签与另一第一点云数据的目标实例标签相应。5.根据权利要求2
‑
4任一项所述的方法，其中，所述分割模型包括语义网络和聚类网络，所述将所述点云数据集输入至分割模型，以获得所述点云数据集中的每一个点云数据的目标分类标签和目标实例标签包括：
将所述点云数据集输入至所述语义网络，以获得所述点云数据集中的每一个点云数据的目标分类标签；并且将所述点云数据集输入至所述聚类网络，以获得所述点云数据集中的每一个点云数据的目标实例标签。6.根据权利要求1
‑
5任一项所述的方法，还包括：响应于确定所述点云数据集中的多个第二点云数据对应于所述目标三维场景中的第二实例，并且所述多个第二点云数据的相同的目标分类标签与所述多个第一点云数据的相同的目标分类标签相同，获得第一标记和第二标记，所述第一标记不同于所述第二标记；以及基于所述第一标记，显示所述目标点集中的第一点集，并且基于所述第二标记显示所述目标点集中的的第二点集，所述第一点集中的多个点与所述多个第一点云数据对应，所述第二点集中的多个点与所述多个第二点云数据对应。7.一种用于训练分割模型的方法，包括：获得训练三维场景的点云数据集，所述点云数据集包括位于所述三维场景中的实例样本上的样本点集中的每一个点的点云数据，该点云数据指示该点在所述训练三维场景中的位置，所述实例样本与多个分类中的第一分类对应；对所述点云数据集的至少第一数据子集中的每一个点云数据进行标注，以获得所述第一数据集中的每一个点云数据的标注分类标签和标注实例标签，所述第一数据子集包括所述样本点集的至少第一子集中的每一个点的点云数据，所述标注分类标签指示所述第一分类，所述标注实例标签指示与该点云数据所对应的点相对于所述实例样本的中心偏移的距离和方向；以及基于所述第一数据子集中的每一个点云数据和该点云数据的标注分类标签和标注实例标签，对所述分割模型进行监督训练，以获得经监督训练的分割模型。8.根据权利要求7所述的方法，其中，所述第一子集不大于预设数量阈值，所述方法还包括：将所述点云数据集的第二数据子集输入至所述经监督训练的分割模型，以获得所述第二数据子集中的每一个点云数据的预测分类标签和预测实例标签，所述第二数据子集包括所述样本点集的除所述第一子集之外的第二子集中的每一个点的点云数据；从所述第二数据子集中获得多个第三数据子集，所述多个第三数据子集中的每一第三数据子集中的任意两个点云数据的预测分类标签相同；针对所述多个第三数据子集中的每一个第三数据子集，基于该第三数据子集中的每一个点云数据的预测实例标签，获得该第三数据子集中的能够被聚类为一个实例的第四数据子集和该第四数据子集的聚类中心；针对所述多个第三数据子集对应的多个第四数据子集中的每一个第四数据子集，获得该第四数据子集中的每一个点云数据的分类伪标签和实例伪标签，所述分类伪标签指示该点云数据在所述多个分类中的相应分类，所述实例伪标签为该点云数据所对应的点相对于该第四数据子集的聚类中心偏移的距离和方向；基于所述多个第四数据子集中的每一个第四数据子集中的每一个点云数据和该点云数据的分类伪标签和实例伪标签，并且基于所述第一数据子集中的每一个点云数据和该点
云数据的标注分类标签和标注实例标签，对所述经监督训练的分割模型进行监督训练，以获得经伪监督训练的分割模型；以及将所述经伪监督训练的分割模型确定为所述经监督的训练分割模型，以执行将所述点云数据集的第二数据子集输入至所述经监督训练的分割模型。9.根据权利要求7所述的方法，其中，所述样本点集中的每一个点的点云数据包括该点的位置坐标，所述对所述点云数据集的至少第一数据子集中的每一个点云数据进行标注包括：基于所述第一子集中每一个点的点云数据中的位置坐标，获得所述样本实例的中心的位置坐标；以及获得所述第一子集中的每一个点的点云数据的标注实例标签，其中，所述标注实例标签为该点云数据中的位置坐标和所述样本实例的中心的位置坐标之间的坐标偏差。10.根据权利要求9中所述的方法，其中，所述第二数据子集中的每一个点云数据的第二预测实标签为该点云数据对应的预测坐标偏差，所述获得该第三数据子集中的第四数据子集和该第四数据子集的聚类中心包括：针对该第三数据子集中的每一个点云数据，基于该点云数据中的位置坐标和该点云数据的预测坐标偏差，获得相应的更新坐标；以及获得该第三数据子集中的第四数据子集，其中，该第四数据子集中任意两个点云数据对应的更新坐标之间的距离不大于距离阈值。11.根据权利要求10中所述的方法，其中，所述多个第四数据子集中的每一个第四数据子集的聚类中心的位置坐标为该第四数据子集对应的多个更新坐标的坐标均值。12.根据权利要求8
‑
11中任一项所述的方法，其中，所述从所述第二数据子集中获得多个第三数据子集包括：获得所述第二数据子集中的每一个点云数据的预测分类标签对应的置信度；以及响应于确定所述第二数据子集中的第一点云数据的预测分类标签对应的置信度不小于置信度阈值，将所述第一点云数据添加至所述多个第三数据子集中与所述第一点云数据的预测分类标签相应的第三数据子集。13.根据权利要求7
‑
12中任一项所述的方法，其中，所述分割模型包括语义网络和聚类网络，所述基于所述第一数据子集中的每一个点云数据和该点云数据的标注分类标签和标注实例标签，对所述分割模型进行监督训练包括：将所述第一数据子集输入至所述语义网络，以获得所述第一数据子集中的每一个点云数据的预测分类标签，并且将所述第一数据子集输入输入至所述聚类网络，以获得所述第一数据子集中的每一个点云数据的预测实例标签；基于所述第一数据子集中的每一个点云数据的标注分类标签和预测分类标签计算该点云数据的第一损失，并且基于所述第一数据子集中的每一个点云数据的标注实例标签和预测实例标签计算该点云数据的第二损失；以及基于所述第一数据子集中的每一个点云数据的第一损失和第二损失的和，调整所述语义网络和所述聚类网络的参数。14.一种三维场景分割装置，包括：点云数据获取单元，被配置用于获取目标三维场景的点云数据集，所述点云数据集包
括所述目标三维场景对应的目标点集中的每一个点的点云数据，该点云数据指示该点在所述目标三维场景中的位置；标签获取单元，被配置用于获得所述点云数据集中的每一个点云数据的目标分类标签和目标实例标签，所述目标分类标签指示该点云数据在多个分类中的相应分类，所述目标实例标签指示该点云数据相对于所述点云数据集中的相应第一子集的聚类中心所偏移的方向和距离，所述相应第一子...
【专利技术属性】
技术研发人员：叶晓青，储瑞航，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。