三维点云的语义分割方法、装置、电子设备和存储介质制造方法及图纸

技术编号:38272096 阅读:26 留言:0更新日期:2023-07-27 10:26
本发明专利技术公开了一种三维点云的语义分割方法、装置、电子设备和存储介质,该方法包括:获取待处理的三维点云数据;分别以三维点云数据中的各点为中心,按预设搜索半径在与所述点对应的八个子空间内搜索所述点的最近邻点,若子空间内存在最近邻点,将最近邻点的特征作为子空间特征,否则将所述点的点特征作为子空间特征;将各子空间特征与点特征进行融合,得到点的融合特征;根据各融合特征确定三维点云数据的点云特征,并基于预设聚合函数对点云特征进行特征聚合,得到语义分割结果,以此在提取特征之前加入点与点之间的局部关系,减少了信息的损失,实现了更加准确的对三维点云进行语义分割。分割。分割。

【技术实现步骤摘要】
三维点云的语义分割方法、装置、电子设备和存储介质


[0001]本申请涉及计算机视觉
,更具体地,涉及一种三维点云的语义分割方法、装置、电子设备和存储介质。

技术介绍

[0002]近年来,计算机视觉和自动驾驶等技术正处于迅猛发展时期,二维数据的研究已经不能满足现阶段的社会需求,三维数据的处理随之受到越来越多的关注,计算机视觉任务在三维领域迎来了崭新的发展阶段。三维点云语义分割任务,是指根据给定点云的语义信息,将同一类点归类为一个子集。语义分割在实际场景中应用广泛,准确快速的语义分割问题是目前的研究热点之一。
[0003]现有技术中,PointNet是将神经网络直接处理点云的开山之作,但是该方法并没有考虑点云之间的局部结构关系;PointNet++虽然将点云分组为不同的局部点云,但是在每个局部点云中同样也是对每个点单独处理,并没有考虑点与点之间的联系。在此之后的工作主要依赖于使用卷积、图形或注意力机制探索复杂的局部几何提取器,虽然这些方法在性能上有是一定的提高,但是模块的复杂性也使得模型的运行速度不高,而之后提出的PointNeXt在没有采用复杂的局部特征提取器前提下达到了不错的效果,但是也忽略了局部区域之中点和点的相互关系,势必会造成信息的损失。
[0004]因此,如何更加准确的对三维点云进行语义分割,是目前有待解决的技术问题。

技术实现思路

[0005]本申请实施例提出了一种三维点云的语义分割方法、装置、电子设备和存储介质,用以更加准确的对三维点云进行语义分割。
[0006]第一方面,提供一种三维点云的语义分割方法,所述方法包括:获取待处理的三维点云数据;分别以所述三维点云数据中的各点为中心,按预设搜索半径在与所述点对应的八个子空间内搜索所述点的最近邻点,其中,八个所述子空间对应以所述点为原点的空间坐标系中的八个象限;若所述子空间内存在所述最近邻点,将所述最近邻点的特征作为子空间特征,否则将所述点的点特征作为所述子空间特征;将各所述子空间特征与所述点特征进行融合,得到所述点的融合特征;根据各所述融合特征确定所述三维点云数据的点云特征,并基于预设聚合函数对所述点云特征进行特征聚合,得到语义分割结果。
[0007]第二方面,提供一种三维点云的语义分割装置,所述装置包括:获取模块,用于获取待处理的三维点云数据;搜索模块,用于分别以所述三维点云数据中的各点为中心,按预设搜索半径在与所述点对应的八个子空间内搜索所述点的最近邻点,其中,八个所述子空间对应以所述点为原点的空间坐标系中的八个象限;确定模块,用于若所述子空间内存在所述最近邻点,将所述最近邻点的特征作为子空间特征,否则将所述点的点特征作为所述子空间特征;融合模块,用于将各所述子空间特征与所述点特征进行融合,得到所述点的融合特征;聚合模块,用于根据各所述融合特征确定所述三维点云数据的点云特征,并基于预
设聚合函数对所述点云特征进行特征聚合,得到语义分割结果。
[0008]第三方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行第一方面所述的三维点云的语义分割方法。
[0009]第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的三维点云的语义分割方法。
[0010]通过应用以上技术方案,获取待处理的三维点云数据;分别以所述三维点云数据中的各点为中心,按预设搜索半径在与所述点对应的八个子空间内搜索所述点的最近邻点,其中,八个所述子空间对应以所述点为原点的空间坐标系中的八个象限;若所述子空间内存在所述最近邻点,将所述最近邻点的特征作为子空间特征,否则将所述点的点特征作为所述子空间特征;将各所述子空间特征与所述点特征进行融合,得到所述点的融合特征;根据各所述融合特征确定所述三维点云数据的点云特征,并基于预设聚合函数对所述点云特征进行特征聚合,得到语义分割结果,以此在提取特征之前加入点与点之间的局部关系,减少了信息的损失,实现了更加准确的对三维点云进行语义分割。
附图说明
[0011]为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0012]图1示出了本专利技术实施例提出的一种三维点云的语义分割方法的流程示意图;
[0013]图2示出了本专利技术另一实施例提出的一种三维点云的语义分割方法的原理示意图;
[0014]图3示出了本专利技术实施例中搜索最近邻点的示意图;
[0015]图4示出了本专利技术实施例中进行卷积操作的原理示意图;
[0016]图5示出了本专利技术实施例提出的一种三维点云的语义分割装置的结构示意图;
[0017]图6示出了本专利技术实施例提出的一种电子设备的结构示意图。
具体实施方式
[0018]下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0019]需要说明的是,本领域技术人员在考虑说明书及实践这里公开的专利技术后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本
中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由权利要求部分指出。
[0020]应当理解的是,本申请并不局限于下面已经描述并在附图中示出的精确结构,并
且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
[0021]本申请可用于众多通用或专用的计算装置环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
[0022]本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0023]本申请实施例提供一种三维点云的语义分割方法,如图1所示,该方法包括以下步骤:
[0024]步骤S101,获取待处理的三维点云数据。
[0025]待处理的三维点云数据可以是实时采集的,例如基于激光雷达对指定三维空间进行数据采集,得到待处理的三维点云数据。待处理的三维点云本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种三维点云的语义分割方法,其特征在于,所述方法包括:获取待处理的三维点云数据;分别以所述三维点云数据中的各点为中心,按预设搜索半径在与所述点对应的八个子空间内搜索所述点的最近邻点,其中,八个所述子空间对应以所述点为原点的空间坐标系中的八个象限;若所述子空间内存在所述最近邻点,将所述最近邻点的特征作为子空间特征,否则将所述点的点特征作为所述子空间特征;将各所述子空间特征与所述点特征进行融合,得到所述点的融合特征;根据各所述融合特征确定所述三维点云数据的点云特征,并基于预设聚合函数对所述点云特征进行特征聚合,得到语义分割结果。2.如权利要求1所述的方法,其特征在于,所述将各所述子空间特征与所述点特征进行融合,得到所述点的融合特征,包括:对各所述子空间特征与所述点特征进行编码,得到所述点的编码特征;按所述点的X轴、Y轴和Z轴依次对所述编码特征进行卷积操作,得到所述融合特征。3.如权利要求2所述的方法,其特征在于,按所述点的X轴、Y轴和Z轴依次对所述编码特征进行卷积操作,得到所述融合特征,包括:按所述X轴对所述编码特征进行一次卷积操作,以将所述点的八个所述子空间特征进行两两结合,得到四维度特征;按所述Y轴对所述四维度特征进行一次卷积操作,以将所述四维度特征按维度进行两两结合,得到两维度特征;按所述Z轴对所述两维度特征进行一次卷积操作,以将所述两维度特征按维度进行结合,得到单维度特征;将所述单维度特征和所述点特征拼接,得到所述融合特征。4.如权利要求1所述的方法,其特征在于,所述预设聚合函数包括采用最大池化操作的第一聚合函数和采用平均池化操作的第二聚合函数,所述基于预设聚合函数对所述点云特征进行特征聚合,得到语义分割结果,包括:根据公式一确定各所述点的聚合特征,所述公式一具体为:根据各所述聚合特征确定所述语义分割结果;其中,f
out
为所述聚合特征,A(
·
)为所述第一聚合函数,B(
·
)为所述第二聚合函数,为残差MLP块,g
i
为所述点云特征中第i个点的特征,j为第i个点的K个局部邻域点。5.如权利要求1所述的方法,其特征在于,所述获取待处理的三维点云数据,包括:获取原始三维点云数据;根据公式二对所述原始三维点云数据进行变换,得到所述三维点云数据,所述公式二具体为:其中,{f
i,j
}为分...

【专利技术属性】
技术研发人员:胡敏李冬冬李立江
申请(专利权)人:北京中科睿途科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1