本发明专利技术公开了一种三维物体形状的补全方法、装置、设备及存储介质；在本方案中，针对三维物体的不完整三维点云，可通过点云编码器和点云解码器补全出完整的三维物体形状；并且，本方案中的点云编码器可获得三维点云在不同分辨率下的点云局部特征及点云非局部特征，并对不同分辨率下的特征进行融合后获得点云多尺度特征，通过该方式，可让点云多尺度特征中具有不同尺度的点云局部特征及点云非局部特征，提高特征的多样性及质量，以便点云解码器通过点云多尺度特征得到更为完整的三维物体形状，提高三维物体的形状补全效果。提高三维物体的形状补全效果。提高三维物体的形状补全效果。
【技术实现步骤摘要】
一种三维物体形状的补全方法、装置、设备及存储介质
[0001]本专利技术涉及形状补全
，更具体地说，涉及一种三维物体形状的补全方法、装置、设备及存储介质。
技术介绍
[0002]三维物体形状补全是指从不完整的输入中恢复完整的三维物体形状。三维点云是表示三维物体形状的三维坐标点的集合，可以利用深度相机等设备扫描得到，且具有强大的表达能力，被广泛应用于表示三维物体。但是，由于物体间相互遮挡、硬件设备技术限制等原因，扫描得到的三维物体形状存在孔洞或形状结构的缺失。
[0003]目前基于点云的三维物体形状补全工作的典型做法是：利用三维卷积等从输入点云中捕捉点云局部特征，并利用最大池化等学习输入点云的全局特征，然后对全局特征进行解码，预测缺失点云，恢复完整的三维物体形状。但是，上述做法存在以下问题：首先，三维点云是无序且不规则的，很难设计高效的网络来学习点云特征；而且，利用逐点操作或者三维卷积只能学习点云的局部特征，忽略了点与点之间的关系以及点云的非局部特征；其次，只利用全局特征来预测生成完整的三维物体形状，不可避免地导致生成的形状缺失局部几何信息，降低补全效果。
[0004]因此，如何提高三维物体的形状补全效果，是本领域技术人员需要解决的问题。
技术实现思路
[0005]本专利技术的目的在于提供一种三维物体形状的补全方法、装置、设备及存储介质，以提高三维物体的形状补全效果。
[0006]为实现上述目的，本专利技术提供一种三维物体形状的补全方法，包括：获取三维物体的三维点云；将所述三维点云输入点云编码器，通过所述点云编码器从不同分辨率下的三维点云中提取点云局部特征及点云非局部特征，并对不同分辨率下的点云局部特征及点云非局部特征进行融合获得点云多尺度特征；将所述点云多尺度特征输入点云解码器，通过所述点云解码器获得与所述点云多尺度特征对应的完整物体形状的初始特征，对所述初始特征进行层次性解码，预测得到与所述三维物体对应的完整三维物体形状。
[0007]其中，所述点云编码器中包括多个分支，每个分支包括预定数量的点云编码模块及分支融合模块。
[0008]其中，通过所述点云编码器从不同分辨率下的三维点云中提取点云局部特征及点云非局部特征，包括：通过不同分支的点云编码模块，对所述三维点云执行不同分辨率的下采样操作得到每个分支的输入点云，并利用自注意力机制从每个分支的输入点云中提取点云局部特征及点云非局部特征。
[0009]其中，对不同分辨率下的点云局部特征及点云非局部特征进行融合获得点云多尺度特征，包括：本分支的分支融合模块利用跨越注意力机制，对本分支的点云编码模块提取的点云局部特征及点云非局部特征，与另一分支的点云编码模块提取的点云局部特征及点云非局部特征进行融合，获得点云多尺度特征。
[0010]其中，通过所述点云解码器获得与所述点云多尺度特征对应的完整物体形状的初始特征，包括：通过所述点云解码器对所述点云多尺度特征进行最大池化，得到全局特征，并复制所述全局特征至预定分辨率得到完整物体形状的初始特征。
[0011]其中，所述点云解码器中包括多个串联的点云解码模块，且所述点云解码器中的点云解码模块的数量不少于所述点云编码器中的分支数量。
[0012]其中，对所述初始特征进行层次性解码，预测得到与所述三维物体对应的完整三维物体形状，包括：通过点云解码模块利用跨越注意力机制对所述初始特征中的缺失点云特征进行预测得到输出点云特征，并将输出点云特征转换为三维形状，修正所述三维形状的局部几何细节得到完整三维物体形状。
[0013]为实现上述目的，本专利技术进一步提供一种三维物体形状的补全装置，包括：获取模块，用于获取三维物体的三维点云；特征提取模块，用于将所述三维点云输入点云编码器，通过所述点云编码器从不同分辨率下的三维点云中提取点云局部特征及点云非局部特征；特征融合模块，用于对不同分辨率下的点云局部特征及点云非局部特征进行融合获得点云多尺度特征；预测模块，用于将所述点云多尺度特征输入点云解码器，通过所述点云解码器获得与所述点云多尺度特征对应的完整物体形状的初始特征，对所述初始特征进行层次性解码，预测得到与所述三维物体对应的完整三维物体形状。
[0014]为实现上述目的，本专利技术进一步提供一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述三维物体形状的补全方法的步骤。
[0015]为实现上述目的，本专利技术进一步提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述三维物体形状的补全方法的步骤。
[0016]通过以上方案可知，本专利技术实施例提供了一种三维物体形状的补全方法、装置、设备及存储介质；在本方案中，获取三维物体的三维点云后，将其输入点云编码器，通过点云编码器从不同分辨率下的三维点云中提取点云局部特征及点云非局部特征，并对不同分辨率下的点云局部特征及点云非局部特征进行融合获得点云多尺度特征；将点云多尺度特征输入点云解码器，通过点云解码器获得与点云多尺度特征对应的完整物体形状的初始特征，对初始特征进行层次性解码，预测得到与三维物体对应的完整三维物体形状。
[0017]可见，在本方案中，针对三维物体的不完整三维点云，可通过点云编码器和点云解码器补全出完整的三维物体形状；并且，本方案中的点云编码器可获得三维点云在不同分
辨率下的点云局部特征及点云非局部特征，并对不同分辨率下的特征进行融合后获得点云多尺度特征，通过该方式，可让点云多尺度特征中具有不同尺度的点云局部特征及点云非局部特征，提高特征的多样性及质量，以便点云解码器通过点云多尺度特征得到更为完整的三维物体形状，提高三维物体的形状补全效果。
附图说明
[0018]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本专利技术实施例公开的一种基于三维物体形状补全网络的三维物体形状补全方法示意图；图2为本专利技术实施例公开的三维物体形状补全结果示意图；图3为本专利技术实施例公开的一种三维物体形状的补全方法流程示意图；图4为本专利技术实施例公开的一种点云编码器结构示意图；图5为本专利技术实施例公开的一种分支融合模块结构示意图；图6为本专利技术实施例公开的一种点云解码模块结构示意图；图7为本专利技术实施例公开的一种三维物体形状的补全装置结构示意图；图8为本专利技术实施例公开的一种电子设备结构示意图。
具体实施方式
[0020]目前通过深度相机等设备扫描得到的三维物体形状存在缺失，且现有的基于三维点云的三维物体形状补全方法未能充分学习三维点云局部和非局部特征，因此，本专利技术公开了一种三维物体形状的补全方法、装置、设备及存储介质，以生成平滑、完整的三维物体形状，提高三维物体的形状补全效果。
[002本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种三维物体形状的补全方法，其特征在于，包括：获取三维物体的三维点云；将所述三维点云输入点云编码器，通过所述点云编码器从不同分辨率下的三维点云中提取点云局部特征及点云非局部特征，并对不同分辨率下的点云局部特征及点云非局部特征进行融合获得点云多尺度特征；将所述点云多尺度特征输入点云解码器，通过所述点云解码器获得与所述点云多尺度特征对应的完整物体形状的初始特征，对所述初始特征进行层次性解码，预测得到与所述三维物体对应的完整三维物体形状。2.根据权利要求1所述的补全方法，其特征在于，所述点云编码器中包括多个分支，每个分支包括预定数量的点云编码模块及分支融合模块。3.根据权利要求2所述的补全方法，其特征在于，通过所述点云编码器从不同分辨率下的三维点云中提取点云局部特征及点云非局部特征，包括：通过不同分支的点云编码模块，对所述三维点云执行不同分辨率的下采样操作得到每个分支的输入点云，并利用自注意力机制从每个分支的输入点云中提取点云局部特征及点云非局部特征。4.根据权利要求3所述的补全方法，其特征在于，对不同分辨率下的点云局部特征及点云非局部特征进行融合获得点云多尺度特征，包括：本分支的分支融合模块利用跨越注意力机制，对本分支的点云编码模块提取的点云局部特征及点云非局部特征，与另一分支的点云编码模块提取的点云局部特征及点云非局部特征进行融合，获得点云多尺度特征。5.根据权利要求1所述的补全方法，其特征在于，通过所述点云解码器获得与所述点云多尺度特征对应的完整物体形状的初始特征，包括：通过所述点云解码器对所述点云多尺度特征进行最大池化，得到全局特征，并复制所述...
【专利技术属性】
技术研发人员：卢丽华，魏辉，李茹杨，赵雅倩，李仁刚，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。