三维模型检索方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种三维模型检索方法、装置、电子设备及存储介质，其中，方法包括：获取目标三维模型的残缺点云数据；提取残缺点云数据的点云特征；逐一计算点云特征与预设数据库中每个三维模型的点云特征的欧式距离，并将欧式距离最小的三维模型作为目标三维模型的检索结果。由此，解决了相关技术中采集的点云数据残缺，导致检索效果较差，且需要大量成对标注数据支撑，使得可用的标注样本规模受限，检索性能及效率较低等技术问题。索性能及效率较低等技术问题。索性能及效率较低等技术问题。

【技术实现步骤摘要】
三维模型检索方法、装置、电子设备及存储介质


[0001]本申请涉及计算机视觉及模型预训练
，特别涉及一种三维模型检索方法、装置、电子设备及存储介质。

技术介绍

[0002]三维模型检索技术能够在大规模数据中寻找相似的三维点云模型，进而对物体级别的点云数据进行细粒度的分析，被广泛应用于自动驾驶、缺陷检测等工业领域。
[0003]相关技术采用实体级别的三维模型检索技术，可以改善类型级别的检索难以应用于自动驾驶、智能装备等精细化场景的问题。
[0004]相关技术要求检索结果与输入模型属于同一个实体，因此，相关技术需要获取三维场景中的点云数据，而三维场景中的点云数据通常由扫描类传感器获取，如激光雷达，其数据获取方式在真实的采集环境下，被观测的物体往往因为各类遮挡，导致采集到的点云数据是残缺的，无法获知被观测物体的完整形状，存在局限性。
[0005]此外，由于深度学习具有数据驱动的特性，相关技术中的实体级别的三维模型检索任务需要大量的成对标注数据的支撑，且相比于二维图像数据，三维点云数据更加复杂，这导致了三维模型检索技术可用的标注样本规模非常受限，且代价巨大。
[0006]综上，相关技术中难以避免采集到的点云数据残缺，无法获得被感知物体的完整形状，且需要大量成对标注数据支撑，使得可用的标注样本规模受限，难以应用于复杂场景，有待改善。

技术实现思路

[0007]本申请提供一种三维模型检索方法、装置、电子设备及存储介质，以解决相关技术中采集的点云数据残缺，导致检索效果较差，且需要大量成对标注数据支撑，使得可用的标注样本规模受限，检索性能及效率较低等技术问题。
[0008]本申请第一方面实施例提供一种三维模型检索方法，包括以下步骤：获取目标三维模型的残缺点云数据；提取所述残缺点云数据的点云特征；以及逐一计算所述点云特征与预设数据库中每个三维模型的点云特征的欧式距离，并将所述欧式距离最小的三维模型作为所述目标三维模型的检索结果。
[0009]可选地，在本申请的一个实施例中，所述逐一计算所述点云特征与预设数据库中每个三维模型的点云特征的欧式距离，包括：对每个点云特征进行分段，并在分段后的子空间中进行聚类，生成所述每个三维模型的特征编号；计算各子空间中簇中心点间的距离，以得到所述欧式距离。
[0010]可选地，在本申请的一个实施例中，在逐一计算所述点云特征与所述预设数据库中每个三维模型的点云特征的欧式距离之前，还包括：获取所述每个三维模型的体素集合，并生成所述体素集合的体素掩码，以移除被遮蔽的体素块中的点云，得到对应的呈块状缺失的残缺点云模型；基于所述呈块状缺失的残缺点云模型，通过非对称的编解码结构补全
对应模型，并在预训练结束后，得到点云编码器的网络权重，以提取所述点云特征；基于所述点云编码器的网络权重，构建实体间三元组和视角间三元组。
[0011]可选地，在本申请的一个实施例中，所述获取所述每个三维模型的体素集合，并生成所述体素集合的体素掩码，以移除被遮蔽的体素块中的点云，得到对应的呈块状缺失的残缺点云模型，包括：利用立方体网格切割点云将所述每个三维模型体素化，得到所述体素集合；基于预设遮蔽率，随机生成所述每个体素的体素掩码，得到所述呈块状缺失的残缺点云模型。
[0012]可选地，在本申请的一个实施例中，所述基于所述呈块状缺失的残缺点云模型，通过非对称的编解码结构补全对应模型，并在预训练结束后，得到点云编码器的网络权重，包括：利用预设点云特征编码器对每个残缺点云模型进行特征提取，并利用预设点云特征解码器进行残缺点云模型的补全，得到补全结果；基于所述补全结果，利用倒角距离损失函数进行优化，得到所述点云编码器的网络权重。
[0013]可选地，在本申请的一个实施例中，所述欧式距离的计算公式为：
[0014]d(f(P
i
,θ),(C
j
,θ))＝|f(P
i
,θ)
‑
f(C
j
,θ)|2，
[0015]其中，d(f(P
i
,θ),f(C
j
,θ))表示f(P
i
,θ)和f(C
j
,θ)之间的欧氏距离，P
i
为残缺点云模型，C
j
为完整点云模型，f(
·
,θ)为点云编码器。
[0016]本申请第二方面实施例提供一种三维模型检索方法，包括以下步骤：获取多个三维模型的体素集合，并生成所述体素集合的体素掩码，以移除被遮蔽的体素块中的点云，得到对应的呈块状缺失的残缺点云模型；基于所述呈块状缺失的残缺点云模型，通过非对称的编解码结构补全对应模型，并在预训练结束后，得到点云编码器的网络权重，以提取所述点云特征；基于所述点云编码器的网络权重，构建实体间三元组和视角间三元组，以生成用于三维模型检索的预设数据库。
[0017]可选地，在本申请的一个实施例中，所述获取所述每个三维模型的体素集合，并生成所述体素集合的体素掩码，以移除被遮蔽的体素块中的点云，得到对应的呈块状缺失的残缺点云模型，包括：利用立方体网格切割点云将所述每个三维模型体素化，得到所述体素集合；基于预设遮蔽率，随机生成所述每个体素的体素掩码，得到所述呈块状缺失的残缺点云模型。
[0018]可选地，在本申请的一个实施例中，所述基于所述呈块状缺失的残缺点云模型，通过非对称的编解码结构补全对应模型，并在预训练结束后，得到点云编码器的网络权重，包括：利用预设点云特征编码器对每个残缺点云模型进行特征提取，并利用预设点云特征解码器进行残缺点云模型的补全，得到补全结果；基于所述补全结果，利用倒角距离损失函数进行优化，得到所述点云编码器的网络权重。
[0019]本申请第三方面实施例提供一种三维模型检索装置，包括：获取模块，用于获取目标三维模型的残缺点云数据；第一提取模块，用于提取所述残缺点云数据的点云特征；以及检索模块，用于逐一计算所述点云特征与预设数据库中每个三维模型的点云特征的欧式距离，并将所述欧式距离最小的三维模型作为所述目标三维模型的检索结果。
[0020]可选地，在本申请的一个实施例中，所述检索模块包括：第一生成单元，用于对每个点云特征进行分段，并在分段后的子空间中进行聚类，生成所述每个三维模型的特征编号；计算单元，用于计算各子空间中簇中心点间的距离，以得到所述欧式距离。
[0021]可选地，在本申请的一个实施例中，还包括：生成模块，用于获取所述每个三维模型的体素集合，并生成所述体素集合的体素掩码，以移除被遮蔽的体素块中的点云，得到对应的呈块状缺失的残缺点云模型；第二提取模块，用于基于所述呈块状缺失的残缺点云模型，通过非对称的编解码结构补全对应模型，并在预训练结束后，得到点云编码器的网络权重，以提取所述点云特征；构建模块，用于基于所述点云编码器的网络权重，构建实体间三元组和视角间三元组。
[0022]可选地，在本申请的一个实施例中，所述生成模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维模型检索方法，其特征在于，包括以下步骤：获取目标三维模型的残缺点云数据；提取所述残缺点云数据的点云特征；以及逐一计算所述点云特征与预设数据库中每个三维模型的点云特征的欧式距离，并将所述欧式距离最小的三维模型作为所述目标三维模型的检索结果。2.根据权利要求1所述的方法，其特征在于，所述逐一计算所述点云特征与预设数据库中每个三维模型的点云特征的欧式距离，包括：对每个点云特征进行分段，并在分段后的子空间中进行聚类，生成所述每个三维模型的特征编号；计算各子空间中簇中心点间的距离，以得到所述欧式距离。3.根据权利要求1所述的方法，其特征在于，在逐一计算所述点云特征与所述预设数据库中每个三维模型的点云特征的欧式距离之前，还包括：获取所述每个三维模型的体素集合，并生成所述体素集合的体素掩码，以移除被遮蔽的体素块中的点云，得到对应的呈块状缺失的残缺点云模型；基于所述呈块状缺失的残缺点云模型，通过非对称的编解码结构补全对应模型，并在预训练结束后，得到点云编码器的网络权重，以提取所述点云特征；基于所述点云编码器的网络权重，构建实体间三元组和视角间三元组。4.根据权利要求3所述的方法，其特征在于，所述获取所述每个三维模型的体素集合，并生成所述体素集合的体素掩码，以移除被遮蔽的体素块中的点云，得到对应的呈块状缺失的残缺点云模型，包括：利用立方体网格切割点云将所述每个三维模型体素化，得到所述体素集合；基于预设遮蔽率，随机生成所述每个体素的体素掩码，得到所述呈块状缺失的残缺点云模型。5.根据权利要求3所述的方法，其特征在于，所述基于所述呈块状缺失的残缺点云模型，通过非对称的编解码结构补全对应模型，并在预训练结束后，得到点云编码器的网络权重，包括：利用预设点云特征编码器对每个残缺点云模型进行特征提取，并利用预设点云特征解码器进行残缺点云模型的补全，得到补全结果；基于所述补全结果，利用倒角距离损失函数进行优化，得到所述点云编码器的网络权重。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述欧式距离的计算公式为：...

【专利技术属性】
技术研发人员：赵曦滨，陈瑜峰，高跃，
申请(专利权)人：清华大学，
类型：发明
国别省市：