一种点云-多视图融合的三维模型识别方法技术

本发明专利技术公开了一种点云

【技术实现步骤摘要】
一种点云-多视图融合的三维模型识别方法


[0001]本专利技术涉及三维模型识别、计算机视觉领域，尤其涉及一种点云-多视图融合的三维模型识别方法。

技术介绍

[0002]随着多媒体技术的发展，三维模型的数据量急剧增长。作为计算机视觉领域的基础问题之一，三维模型识别的目标旨在通过学习三维模型数据的特征表示，以理解三维模型的内容。目前，三维模型识别技术已被广泛应用于三维模型生成、自动驾驶以及虚拟现实等领域。不同于二维图像，三维模型可由体素、多视图和点云等不同模态数据表示，不同模态的数据能够从不同的角度描述三维模型的特点。因此，有效地利用多模态数据特性以获得更具辨析力的特征表示，从而获得较好的三维模型识别性能已成为计算机视觉领域的热门研究方向。
[0003]近年来，研究人员提出了许多基于单模态数据的三维模型识别方法。在这些方法中，基于体素数据的方法通常需要很高的存储成本和计算成本。而基于点云数据的方法虽然能够准确地表征三维模型的空间结构信息，但其缺乏三维模型的颜色信息和纹理信息。相反地，基于多视图数据的方法能够很好地表示三维模型的颜色信息及纹理信息，但其对于三维模型的空间结构信息表征能力不足。上述基于单模态数据的三维模型识别方法通常仅关注于提取某一模态数据的特征表示，忽略了多模态数据的综合表示能力。因此，如何有效地利用多模态数据特性学习一个更全面的三维模型特征是提高三维模型识别性能的有效手段。
[0004]目前，已有工作关注于综合利用三维模型的多模态数据表示，以提高三维模型数据的表示能力。例如，Hegde等人提出了FusionNet网络来联合学习体素数据和多视图数据的统一特征表示。You等人提出了一种用于三维模型识别的点云和多视图联合卷积网络PVNet，该网络利用全局视图特征来指导点云的局部特征提取。然而，上述方法没有考虑到多视图序列中所包含的三维模型空间信息。
[0005]因此，如何有效地挖掘不同模态数据之间的相关性，根据相关性及各模态自身特点进一步强化不同模态的特征，并将多模态数据特征聚合成更具鉴别性的特征表示，将有助于表征三维模型的空间结构信息和表面细节信息，从而提高三维模型识别任务的性能。

技术实现思路

[0006]为了挖掘点云数据和多视图数据间的相关性，并有效地将点云数据特征和多视图数据特征聚合成更有鉴别性的特征表示，本专利技术提出了一种点云-多视图融合的三维模型识别方法，以联合优化点云特征和多视图特征的学习、融合以及增强过程，从而提升三维模型识别性能，详见下文描述：
[0007]一种点云-多视图融合的三维模型识别方法，所述方法包括：
[0008]构建点云特征学习网络和多视图特征学习网络，以分别学习点云特征和多视图特
征；
[0009]通过模态间交互的注意力模块，实现将两种模态数据之间的相关信息融合到模态间交互的注意力掩膜中；
[0010]构建模态间注意力增强模块，用于通过一个残差结构来获得增强的多视图特征和点云特征；
[0011]构建基于视图上下文的注意力增强模块，用于在多视图序列中挖掘上下文信息，获取三维模型的空间结构信息；
[0012]构建点云特征和多视图特征融合模块，用于融合增强的点云特征以及进一步增强的多视图特征，得到三维模型特征表示；
[0013]训练点云-多视图融合的三维模型识别网络，采用三维模型分类任务评估三维模型的识别性能。
[0014]其中，所述通过模态间交互的注意力模块，实现将两种模态数据之间的相关信息融合到模态间交互的注意力掩膜中具体为：
[0015]将点云特征P∈R
c
复制n次得到与多视图特征V∈R
n
×
c
同尺寸的点云特征P
n
∈R
n
×
c
，并与多视图特征V沿通道维度进行级联；
[0016]基于级联后的特征，利用多层感知器将级联后的特征投影到高层语义空间以获得融合点云特性和多视图特性的联合特征表示；
[0017]采用sigmoid函数计算模态间交互的注意力掩膜：
[0018]ATT
inter-modality
＝sigmoid(MLP1(C(P
n
,V)))
[0019]其中，C表示级联操作，MLP1表示多层感知器，ATT
inter-modality
∈R
n
×
c
表示模态间交互的注意力掩膜。
[0020]进一步地，所述模态间注意力增强模块具体为：
[0021]将注意力掩膜与不同模态特征进行元素级相乘，并将相乘后的结果与对应模态特征进行元素级相加以获得增强的各模态特征，计算公式为：征进行元素级相加以获得增强的各模态特征，计算公式为：
[0022]其中，表示元素级相乘操作，表示元素级相加操作，E
v
和E
p
表示两种模态增强的特征表示。
[0023]其中，所述基于视图上下文的注意力增强模块具体为：
[0024]基于增强的多视图特征E
v
，利用长短时序列网络进一步提取多视图图像的上下文特征表示，并利用softmax函数计算包含多视图上下文信息的注意力得分ATT
view-context
：
[0025]ATT
view-context
＝softmax(f
FC
(LSTM(E
v
)))
[0026]其中，LSTM表示长短时序列网络，f
FC
(
·
)表示全连接层，softmax函数用于对f
FC
(
·
)的输出进行归一化处理；
[0027][0028]其中，E
v
'表示进一步增强的多视图特征。
[0029]进一步地，所述点云特征和多视图特征融合模块具体为：
[0030]F
3D
＝MLP2(C(E
p
,E
v
'))
[0031]其中，F
3D
代表三维模型的特征表示，MLP2表示多层感知器。
[0032]本专利技术提供的技术方案的有益效果是：
[0033]1、考虑到不同模态数据之间的相关性，本专利技术设计了点云-多视图融合的三维模型识别网络，通过渐进地融合并优化两个模态数据的特征，最终得到更有鉴别力的三维模型特征表达，实现了点云-多视图融合的三维模型识别；
[0034]2、为了增强点云特征和多视图特征，本专利技术提出了模态间注意力增强模块，以将两种模态数据间的相关信息有效融合到模态间交互的注意力掩膜中；
[0035]3、为了获得更具鉴别力的三维模型特征表达，本专利技术设计了基于视图上下文的注意力增强模块，以获取三维模型更全面的空间信息。
附图说明
[0036]图1为一种点云-多视图融合的三维模型识别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云-多视图融合的三维模型识别方法，其特征在于，所述方法包括：构建点云特征学习网络和多视图特征学习网络，以分别学习点云特征和多视图特征；通过模态间交互的注意力模块，实现将两种模态数据之间的相关信息融合到模态间交互的注意力掩膜中；构建模态间注意力增强模块，用于通过一个残差结构来获得增强的多视图特征和点云特征；构建基于视图上下文的注意力增强模块，用于在多视图序列中挖掘上下文信息，获取三维模型的空间结构信息；构建点云特征和多视图特征融合模块，用于融合增强的点云特征以及进一步增强的多视图特征，得到三维模型特征表示；训练点云-多视图融合的三维模型识别网络，采用三维模型分类任务评估三维模型的识别性能。2.根据权利要求1所述的一种点云-多视图融合的三维模型识别方法，其特征在于，所述通过模态间交互的注意力模块，实现将两种模态数据之间的相关信息融合到模态间交互的注意力掩膜中具体为：将点云特征P∈R
c
复制n次得到与多视图特征V∈R
n
×
c
同尺寸的点云特征P
n
∈R
n
×
c
，并与多视图特征V沿通道维度进行级联；基于级联后的特征，利用多层感知器将级联后的特征投影到高层语义空间以获得融合点云特性和多视图特性的联合特征表示；采用sigmoid函数计算模态间交互的注意力掩膜：ATT
inter-modality
＝sigmoid(MLP1(C(P
n
,V)))其中，C表示级联操作，MLP1表示多层感知器，ATT
inter-modality
∈R
n
×
c
表示模态间交互的注意力...

【专利技术属性】
技术研发人员：彭勃，宋嘉慧，雷建军，于增瑞，秦天一，
申请(专利权)人：天津大学，
类型：发明
国别省市：