本公开涉及人工智能领域，具体涉及一种在线点云语义分割方法、在线点云语义分割装置、存储介质及电子设备。该在线点云语义分割方法包括：实时采集颜色深度图像，并基于所述颜色深度图像中像素点的深度数据将所述像素点进行点云转化得到当前点云集；通过点云注册将所述当前点云集与历史点云集进行顶点融合，以获取所述像素点对应的几何特征和时序语义状态；对所述几何特征和所述颜色深度图像中像素点的颜色数据进行特征融合得到所述颜色深度图像的语义特征；根据所述语义特征和所述时序语义状态进行语义分割得到所述像素点的语义分割结果。本公开的在线点云语义分割方法旨在在线地输出精确、稳定的点云语义分割结果。稳定的点云语义分割结果。稳定的点云语义分割结果。
【技术实现步骤摘要】
在线点云语义分割方法、装置、存储介质及电子设备
[0001]本公开涉及人工智能领域，具体涉及一种在线点云语义分割方法、在线点云语义分割装置、存储介质及电子设备。
技术介绍
[0002]近年来，人工智能(Artificial Intelligence，AI)技术的发展提升了计算机对三维数据的分析和理解能力，主流的研究工作选择从采集的大规模数据中学习模型来实现对三维场景的语义感知和理解，促进了自动驾驶和智能机器人的研究和应用。
[0003]即时的语义信息对机器人场景理解至关重要。目前，场景点云庞大的数据规模和复杂的几何结构分析过程导致传统点云分割算法难以在线化；而通过图像语义分割来逐帧处理视频流数据，无法有效建立多视角数据之间的联系，也无法获取空间几何特征，会导致重建点云的语义分割结果混乱；另外卷积神经网络在处理二维图像时经常出现结果不确定性，这就导致在线的语义分割容易在视角移动过程中产生大量歧义，出现语义分割不稳定的现象。因此，对于三维场景中在线的点云理解还有待研究。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0005]本公开的目的在于提供一种在线点云语义分割方法、在线点云语义分割装置、存储介质及电子设备，旨在在线地输出精确、稳定的点云语义分割结果。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]根据本公开实施例的一方面，提供了在线点云语义分割方法，包括：实时采集颜色深度图像，并基于所述颜色深度图像中像素点的深度数据将所述像素点进行点云转化得到当前点云集；通过点云注册将所述当前点云集与历史点云集进行顶点融合，以获取所述像素点对应的几何特征和时序语义状态；对所述几何特征和所述颜色深度图像中像素点的颜色数据进行特征融合得到所述颜色深度图像的语义特征；根据所述语义特征和所述时序语义状态进行语义分割得到所述像素点的语义分割结果。
[0008]根据本公开的一些实施例，基于前述方案，所述基于所述颜色深度图像中像素点的深度数据将所述像素点进行点云转化得到当前点云集，包括：获取采集所述颜色深度图像的相机参数；针对一所述像素点，根据该像素点的深度数据以及所述相机参数将该像素点转化为三维坐标系中的体素点；遍历所述颜色深度图像中各像素点，以得到各像素点分别对应的体素点组成所述当前点云集。
[0009]根据本公开的一些实施例，基于前述方案，所述历史点云集包括已注册的历史注册点，所述通过点云注册将所述当前点云集与历史点云集进行顶点融合，包括：对所述当前点云集中体素点的坐标数据进行转换以注册得到当前注册点；判断是否存在待融合的当前
注册点和历史注册点；在存在待融合的当前注册点和历史注册点时，按照预设的融合规则将所述当前注册点和所述历史注册点进行融合以更新所述历史点云集。
[0010]根据本公开的一些实施例，基于前述方案，所述判断是否存在待融合的当前注册点和历史注册点，包括：针对所述当前点云集一当前注册点，确定该当前注册点在第一坐标轴的第一位置，第二坐标轴的第二位置以及第三坐标轴的第三位置；从所述历史点云集中搜索与所述第一位置匹配的历史注册点组成第一历史点云集；在所述第一历史点云集为非空集时，从所述第一历史点云集中搜索与所述第二位置匹配的历史注册点组成第二历史点云集；在所述第二历史点云集为非空集时，从所述第二历史点云集中搜索与所述第二位置匹配的历史注册点以判断是否存在待融合的当前注册点和历史注册点。
[0011]根据本公开的一些实施例，基于前述方案，在所述对所述当前点云集中体素点的坐标数据进行转换以注册得到当前注册点之后，所述方法还包括：获取所述当前注册点的注册时间戳、几何特征、时序语义状态以及点云语义信息以用于所述顶点融合；其中，所述几何特征包括所述当前注册点相对于所述当前点云集的点云边界距离值、点云最低点距离值、法向量和曲率中的一种或多种。
[0012]根据本公开的一些实施例，基于前述方案，在存在待融合的当前注册点和历史注册点时，所述按照预设的融合规则将所述当前注册点和所述历史注册点进行融合，包括：在所述当前注册点的注册时间戳与历史注册点的注册时间戳满足预设条件时，将所述当前注册点的坐标数据和注册时间戳替换至所述历史注册点；在所述当前注册点的注册时间戳与历史注册点的注册时间戳不满足所述预设条件时，将所述当前注册点的坐标数据、注册时间戳、几何特征、时序语义状态以及点云语义信息替换至所述历史注册点。
[0013]根据本公开的一些实施例，基于前述方案，所述对所述几何特征和所述颜色深度图像中像素点的颜色数据进行特征融合得到所述颜色深度图像的语义特征，包括：采用第一方式对所述几何特征进行编码得到第一编码数据，以及采用第二方式对所述颜色数据进行编码得到第二编码数据；对所述第一编码数据和所述第二编码数据分别进行上采样得到融合结果；对所述融合结果进行解码得到所述语义特征。
[0014]根据本公开的一些实施例，基于前述方案，所述根据所述语义特征和所述时序语义状态进行语义分割得到所述像素点的语义分割结果，包括：针对一像素点，根据所述语义特征和该像素点对应当前注册点的时序语义状态利用循环神经网络中的卷积层提取时序特征；其中，所述循环神经网络包括两个长短期记忆网络；根据所述时序特征利用所述循环神经网络中的全连接层计算语义分数；基于所述语义分数进行预测得到该像素点的语义分割结果；遍历所述颜色深度图像中各像素点，以得到各像素点分别对应的语义分割结果。
[0015]根据本公开实施例的第二方面，提供了一种在线点云语义分割装置，包括：采集模块，用于实时采集颜色深度图像，并基于所述颜色深度图像中像素点的深度数据将所述像素点进行点云转化得到当前点云集；融合模块，用于通过点云注册将所述当前点云集与历史点云集进行顶点融合，以获取所述像素点对应的几何特征和时序语义状态；特征模块，用于对所述几何特征和所述颜色深度图像中像素点的颜色数据进行特征融合得到所述颜色深度图像的语义特征；分割模块，用于根据所述语义特征和所述时序语义状态进行语义分割得到所述像素点的语义分割结果。
[0016]根据本公开实施例的第三方面，提供了一种计算机可读存储介质，其上存储有计
算机程序，所述程序被处理器执行时实现如上述实施例中的在线点云语义分割方法。
[0017]根据本公开实施例的第四方面，提供了一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中的在线点云语义分割方法。
[0018]本公开示例性实施例可以具有以下部分或全部有益效果：
[0019]在本公开的一些实施例所提供的技术方案中，实时采集颜色深度图像，并通过点云转化和点云注册的方式将其和历史点云集进行顶点融合，从而根据顶点融合的结本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种在线点云语义分割方法，其特征在于，包括：实时采集颜色深度图像，并基于所述颜色深度图像中像素点的深度数据将所述像素点进行点云转化得到当前点云集；通过点云注册将所述当前点云集与历史点云集进行顶点融合，以获取所述像素点对应的几何特征和时序语义状态；对所述几何特征和所述颜色深度图像中像素点的颜色数据进行特征融合得到所述颜色深度图像的语义特征；根据所述语义特征和所述时序语义状态进行语义分割得到所述像素点的语义分割结果。2.根据权利要求1所述的在线点云语义分割方法，其特征在于，所述基于所述颜色深度图像中像素点的深度数据将所述像素点进行点云转化得到当前点云集，包括：获取采集所述颜色深度图像的相机参数；针对一所述像素点，根据该像素点的深度数据以及所述相机参数将该像素点转化为三维坐标系中的体素点；遍历所述颜色深度图像中各像素点，以得到各像素点分别对应的体素点组成所述当前点云集。3.根据权利要求1所述的在线点云语义分割方法，其特征在于，所述历史点云集包括已注册的历史注册点，所述通过点云注册将所述当前点云集与历史点云集进行顶点融合，包括：对所述当前点云集中体素点的坐标数据进行转换以注册得到当前注册点；判断是否存在待融合的当前注册点和历史注册点；在存在待融合的当前注册点和历史注册点时，按照预设的融合规则将所述当前注册点和所述历史注册点进行融合以更新所述历史点云集。4.根据权利要求3所述的在线点云语义分割方法，其特征在于，所述判断是否存在待融合的当前注册点和历史注册点，包括：针对所述当前点云集一当前注册点，确定该当前注册点在第一坐标轴的第一位置，第二坐标轴的第二位置以及第三坐标轴的第三位置；从所述历史点云集中搜索与所述第一位置匹配的历史注册点组成第一历史点云集；在所述第一历史点云集为非空集时，从所述第一历史点云集中搜索与所述第二位置匹配的历史注册点组成第二历史点云集；在所述第二历史点云集为非空集时，从所述第二历史点云集中搜索与所述第二位置匹配的历史注册点以判断是否存在待融合的当前注册点和历史注册点。5.根据权利要求3所述的在线点云语义分割方法，其特征在于，在所述对所述当前点云集中体素点的坐标数据进行转换以注册得到当前注册点之后，所述方法还包括：获取所述当前注册点的注册时间戳、几何特征、时序语义状态以及点云语义信息以用于所述顶点融合；其中，所述几何特征包括所述当前注册点相对于所述当前点云集的点云边界距离值、点云最低点距离值、法向量和曲率中的一种或多种。6.根据权利要求5所述的在线点云语义分割方法，其特征在...
【专利技术属性】
技术研发人员：徐鑫，
申请(专利权)人：京东鲲鹏江苏科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。