任意姿态的三维点云对象的识别检索方法及装置制造方法及图纸

本申请涉及一种任意姿态的三维点云对象的识别检索方法及装置，其中，方法包括：提取点云对象的增强局部旋转不变表示，并基于增强局部旋转不变表示生成基于局部的第一形状特征；提取点云对象的多姿态旋转不变表示，并基于多姿态旋转不变表示生成基于多姿态的第二形状特征；使用第一形状特征和第二形状特征构建实例间超图；使用至少一个超图中心注意力模块，学习高阶关联信息，形成点云对象的超图表示；将超图表示输入至全连接层，生成类别预测结果和检索表示向量，计算表示向量间欧式距离，且根据距离大小进行相似度排序，得到检索结果。由此，解决了相关技术在真实场景的三维点云对象姿态变换造成的性能下降，扫描的点云背景噪声影响等问题。声影响等问题。声影响等问题。

【技术实现步骤摘要】
任意姿态的三维点云对象的识别检索方法及装置


[0001]本申请涉及三维立体点云对象识别与检索
，特别涉及一种任意姿态的三维点云对象的识别检索方法及装置。

技术介绍

[0002]三维立体点云是一种广泛应用的立体数据，在激光雷达、三维相机等传感器中大量使用，针对三维点云的识别和检索尤为重要。
[0003]相关技术中，通常先获取由点云采集设备所采集的若干组点云数据，建立点云数据库，计算点云数据库的形状描述子集，进而使用形状描述子集的相似性进行查询操作，实现三维点云的检索。
[0004]然而，相关技术受旋转影响很大，三维点云在变换姿态位置后使得识别、检索方法性能下降严重，降低了三维点云识别和检索方法的应用效果，亟待改善。

技术实现思路

[0005]本申请提供一种任意姿态的三维点云对象的识别检索方法及装置，以解决相关技术在真实场景的三维点云对象姿态变换造成的性能下降，扫描的点云背景噪声影响等问题。
[0006]本申请第一方面实施例提供一种任意姿态的三维点云对象的识别检索方法，包括以下步骤：提取点云对象的增强局部旋转不变表示，并基于所述增强局部旋转不变表示生成基于局部的第一形状特征；提取点云对象的多姿态旋转不变表示，并基于所述多姿态旋转不变表示生成基于多姿态的第二形状特征；在可用数据上，使用所述第一形状特征和所述第二形状特征构建实例间超图；基于所述实例间超图，使用至少一个超图中心注意力模块，学习高阶关联信息，形成点云对象的超图表示；将所述超图表示输入至全连接层，生成类别预测结果和检索表示向量，以在检索任务中，计算表示向量间欧式距离，且根据距离大小进行相似度排序，得到检索结果。
[0007]可选地，在本申请的一个实施例中，所述提取点云对象的增强局部旋转不变表示，并基于所述增强局部旋转不变表示生成基于局部的第一形状特征，包括：对于一个第一三维对象点云，逐个地对所述第一三维对象点云中的点，使用K最近邻算法确定其局部邻域，其中，每个点获取K个临近点；成对地计算点与临近点之间的增强的旋转不变特征，得到至少K个的局部旋转不变特征；使用具有置换不变性地点云网络处理所述至少K个的局部旋转不变特征，以基于每个中间特征形成实例的特征，记为所述基于局部的第一形状特征。
[0008]可选地，在本申请的一个实施例中，所述提取点云对象的多姿态旋转不变表示，并基于所述多姿态旋转不变表示生成基于多姿态的第二形状特征，包括：对于一个第二三维对象点云，根据全局的点的分布，利用主成分分析算法得到点云的三个主成分，作为新的坐标参考轴；比较获得的多姿态的第三个坐标轴与所述坐标参考轴是否一致，以划分为多组，且每组具有多个姿态；逐组地计算每个姿态下的点云的特征向量，并各组的特征向量进行
合并，得到所述基于多姿态的第二形状特征。
[0009]可选地，在本申请的一个实施例中，所述在可用数据上，使用所述第一形状特征和所述第二形状特征构建实例间超图，包括：在至少包含一个其他实例的基于局部的形状特征空间内，以目标实例为中心使用K最近邻算法，分别构建局部特征超边和多姿态特征超边；根据局部特征超边和所述多姿态特征超边得到多条超边的集合，生成点云实例的实例间超图。
[0010]可选地，在本申请的一个实施例中，所述基于所述实例间超图，使用至少一个超图中心注意力模块，学习高阶关联信息，形成点云对象的超图表示，包括：利用跨注意力方法，将所述实例间超图的每个超边内的节点及特征进行聚合，逐个生成每个超边的特征；利用跨注意力方式，将所述每个超边的特征进行聚合，生成该实例的特征。
[0011]可选地，在本申请的一个实施例中，所述将所述超图表示输入至全连接层，生成类别预测结果和检索表示向量，以在检索任务中，计算表示向量间欧式距离，且根据距离大小进行相似度排序，得到检索结果，包括：使用至少一层的所述全连接层处理所述超图表示，生成实例的类别分数；根据所述类别分数和标注类别，使用梯度下降方法优化可学习的权重；在检索任务流程中，取中间某一全连接层的输出，作为实例特征向量，以进行特征向量间欧式距离的计算，根据距离大小进行相似度排序，获得所述检索结果。
[0012]本申请第二方面实施例提供一种任意姿态的三维点云对象的识别检索装置，包括：第一生成模块，用于提取点云对象的增强局部旋转不变表示，并基于所述增强局部旋转不变表示生成基于局部的第一形状特征；第二生成模块，用于提取点云对象的多姿态旋转不变表示，并基于所述多姿态旋转不变表示生成基于多姿态的第二形状特征；构建模块，用于在可用数据上，使用所述第一形状特征和所述第二形状特征构建实例间超图；学习模块，用于基于所述实例间超图，使用至少一个超图中心注意力模块，学习高阶关联信息，形成点云对象的超图表示；检索模块，用于将所述超图表示输入至全连接层，生成类别预测结果和检索表示向量，以在检索任务中，计算表示向量间欧式距离，且根据距离大小进行相似度排序，得到检索结果。
[0013]可选地，在本申请的一个实施例中，所述第一生成模块包括：确定单元，用于对于一个第一三维对象点云，逐个地对所述第一三维对象点云中的点，使用K最近邻算法确定其局部邻域，其中，每个点获取K个临近点；计算单元，用于成对地计算点与临近点之间的增强的旋转不变特征，得到至少K个的局部旋转不变特征；处理单元，用于使用具有置换不变性地点云网络处理所述至少K个的局部旋转不变特征，以基于每个中间特征形成实例的特征，记为所述基于局部的第一形状特征。
[0014]可选地，在本申请的一个实施例中，所述第二生成模块包括：获取单元，用于对于一个第二三维对象点云，根据全局的点的分布，利用主成分分析算法得到点云的三个主成分，作为新的坐标参考轴；比较单元，用于比较获得的多姿态的第三个坐标轴与所述坐标参考轴是否一致，以划分为多组，且每组具有多个姿态；第一生成单元，用于逐组地计算每个姿态下的点云的特征向量，并各组的特征向量进行合并，得到所述基于多姿态的第二形状特征。
[0015]可选地，在本申请的一个实施例中，所述构建模块包括：构建单元，用于在至少包含一个其他实例的基于局部的形状特征空间内，以目标实例为中心使用K最近邻算法，分别
构建局部特征超边和多姿态特征超边；第二生成单元，用于根据局部特征超边和所述多姿态特征超边得到多条超边的集合，生成点云实例的实例间超图。
[0016]可选地，在本申请的一个实施例中，所述学习模块包括：聚合单元，用于利用跨注意力方法，将所述实例间超图的每个超边内的节点及特征进行聚合，逐个生成每个超边的特征；第三生成单元，用于利用跨注意力方式，将所述每个超边的特征进行聚合，生成该实例的特征。
[0017]可选地，在本申请的一个实施例中，所述检索模块包括：第四生成单元，用于使用至少一层的所述全连接层处理所述超图表示，生成实例的类别分数；优化单元，用于根据所述类别分数和标注类别，使用梯度下降方法优化可学习的权重；检索单元，用于在检索任务流程中，取中间某一全连接层的输出，作为实例特征向量，以进行特征向量间欧式距离的计算，根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任意姿态的三维点云对象的识别检索方法，其特征在于，包括以下步骤：提取点云对象的增强局部旋转不变表示，并基于所述增强局部旋转不变表示生成基于局部的第一形状特征；提取点云对象的多姿态旋转不变表示，并基于所述多姿态旋转不变表示生成基于多姿态的第二形状特征；在可用数据上，使用所述第一形状特征和所述第二形状特征构建实例间超图；基于所述实例间超图，使用至少一个超图中心注意力模块，学习高阶关联信息，形成点云对象的超图表示；将所述超图表示输入至全连接层，生成类别预测结果和检索表示向量，以在检索任务中，计算表示向量间欧式距离，且根据距离大小进行相似度排序，得到检索结果。2.根据权利要求1所述的方法，其特征在于，所述提取点云对象的增强局部旋转不变表示，并基于所述增强局部旋转不变表示生成基于局部的第一形状特征，包括：对于一个第一三维对象点云，逐个地对所述第一三维对象点云中的点，使用K最近邻算法确定其局部邻域，其中，每个点获取K个临近点；成对地计算点与临近点之间的增强的旋转不变特征，得到至少K个的局部旋转不变特征；使用具有置换不变性地点云网络处理所述至少K个的局部旋转不变特征，以基于每个中间特征形成实例的特征，记为所述基于局部的第一形状特征。3.根据权利要求1所述的方法，其特征在于，所述提取点云对象的多姿态旋转不变表示，并基于所述多姿态旋转不变表示生成基于多姿态的第二形状特征，包括：对于一个第二三维对象点云，根据全局的点的分布，利用主成分分析算法得到点云的三个主成分，作为新的坐标参考轴；比较获得的多姿态的第三个坐标轴与所述坐标参考轴是否一致，以划分为多组，且每组具有多个姿态；逐组地计算每个姿态下的点云的特征向量，并各组的特征向量进行合并，得到所述基于多姿态的第二形状特征。4.根据权利要求1所述的方法，其特征在于，所述在可用数据上，使用所述第一形状特征和所述第二形状特征构建实例间超图，包括：在至少包含一个其他实例的基于局部的形状特征空间内，以目标实例为中心使用K最近邻算法，分别构建局部特征超边和多姿态特征超边；根据局部特征超边和所述多姿态特征超边得到多条超边的集合，生成点云实例的实例间超图。5.根据权利要求1所述的方法，其特征在于，所述基于所述实例间超图，使用至少一个超图中心注意力模块，学习高阶关联信息，形成点云对象的超图表示，包括：利用跨注意力方法，将所述实例间超图的每个超边内的节点及特征进行聚合，逐个生成每个超边的特征；利...

【专利技术属性】
技术研发人员：高跃，戴岳，
申请(专利权)人：清华大学，
类型：发明
国别省市：