本发明专利技术公开了一种多模态水下图像的三维模型量化检索方法及系统，包括采集水下图像，输入图注意力网络模型，输出三维模型检索结果；图注意力网络模型包括构建水下图像的二维图像数据集和三维模型库；建立图像特征提取网络和模型特征提取网络获取二维图像和三维模型的特征向量，映射到同一高维空间中建立邻接矩阵并建立图结构；利用自注意力机制、图注意力网络得到图嵌入后的特征向量，经过损失函数反向传播更新模型参数；待测水下图像通过训练后的图注意力网络获得三维模型检索结果；本发明专利技术对水下光学图像或声呐图像以及对水下图像存在部分有效特征的遮挡图也可实现三维模型检索，有助于三维模型量化检索在海底环境探测及水下搜救领域的应用。及水下搜救领域的应用。及水下搜救领域的应用。
【技术实现步骤摘要】
一种多模态水下图像的三维模型量化检索方法及系统
[0001]本专利技术涉及三维模型检索
，更具体的说是涉及一种多模态水下图像的三维模型量化检索方法及系统。
技术介绍
[0002]目前，海洋资源开发技术发展迅猛，各种装备和技术的进步极大的推动了海洋开发活动的不断拓展，而视觉图像技术在海洋的发展依然存在很大的进步空间，受限于水下的复杂环境，光学成像技术的使用受到了很大的限制，往往很难得到完整清晰的三维图像特征，声呐图像技术使用较为普遍，但图像特征往往损失严重，都辨别出图像中的目标形状特征，一种既可以处理光学图像又可以处理声呐图像多模态的图像处理技术具有重要意义，也使得跨模态数据的检索将会更加直观便捷。
[0003]而且，现有方法只是对于水上图像进行检索，并没有针对水下光学图像以及水下声呐图像进行模型检索，在已有的基于二维图像的三维模型检索方法中，大多数方法是对于图像对模型进行总体类别的检索，并不能确定图像对应的具体三维模型，这在很大程度上限制了视觉技术在海洋探测、人员搜救等领域的应用
[0004]因此，如何提供一种多模态水下图像的三维模型量化检索方法及系统是本领域技术人员亟需解决的问题。
技术实现思路
[0005]有鉴于此，本专利技术提供了一种多模态水下图像的三维模型量化检索方法及系统，利用三维模型多角度的渲染视图来表征三维模型的特征信息，构建了一个既可以处理水下光学图像又可以处理声呐图像来检索三维模型的网络结构，并依托于自注意力机制和图注意力网络缩小三维模型与水下光学及声呐图像之间的相似度差距，提升三维模型检索精度。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]一种多模态水下图像的三维模型量化检索方法，包括：采集水下图像，将水下图像输入图注意力网络模型，输出三维模型检索结果；
[0008]图注意力网络模型的具体内容包括：
[0009]S1.构建水下图像的二维图像数据集和三维模型库；
[0010]S2.建立图像特征提取网络以及模型特征提取网络，将二维图像和三维模型输入至图像特征提取网络和模型特征提取网络中分别得到二维图像和三维模型的特征向量，映射到同一高维空间中并建立邻接矩阵，建立图结构；
[0011]S3.利用自注意力机制对图结构节点的特征向量V和邻接矩阵A进行更新，将所有节点更新后的特征向量与邻接矩阵组合成新的图结构并输入至图注意力网络得到图嵌入后的特征向量，根据图嵌入后的特征向量经过损失函数计算二维图像与三维模型的相似度损失，反向传播更新模型参数，得到训练后的图注意力网络模型。
[0012]优选的，图注意力网络模型的具体内容还包括：
[0013]S4.选取待测水下图像，通过S2的图像特征提取网络，得到图像特征向量，并与图结构中的所有节点的特征向量计算相似度，并设置阈值，相似度小于阈值时在图结构中增加待测图像节点，并将增加待测图像节点后的图结构输入至训练后的图注意力网络模型进行图嵌入，将待测图像经过图嵌入后更新的特征向量与三维模型节点进行损失函数计算，并按序排列，获得三维模型检索结果。
[0014]优选的，水下图像包括水下光学图像或水下声呐图像。
[0015]优选的，S2的具体内容包括：
[0016]S21.将二维图像进行下采样，选取VGG网络作为图像特征提取网络，使用ImageNet预训练权重作为特征提取网络的初始参数，将下采样后的图像输入至VGG网络中，通过多层卷积神经网络，输出图像特征向量；
[0017]S22.将三维模型转换为不同视角下的渲染视图，将三维模型多视角的渲染视图进行下采样，输入至MVCNN网络中，得到融合多视角信息的模型特征向量；
[0018]S23.将二维图像与三维模型视作节点并建立图结构中的邻接矩阵A，根据图像特征向量、模型特征向量和邻接矩阵建立图结构G(V,E)，V代表二维图像与三维模型的特征向量，E代表节点之间关系的邻接矩阵A。
[0019]优选的，S3的更新特征向量V的具体内容包括：
[0020]利用自注意力机制对图结构节点的特征向量进行更新，将特征相似的节点的特征向量进行聚类，得到更新后的节点的特征向量具体为
[0021][0022]其中，Q∈R
n
×
d
和K∈R
n
×
d
是与特征向量同大小的初始化矩阵，V∈R
n
×
d
为输入特征向量，其中n为图像与模型的总数，d为设置向量维数。
[0023]优选的，S3的更新邻接矩阵A的具体内容包括：
[0024]采用自注意力机制来更新邻接矩阵的取值，将邻接矩阵的取值从二元取值替换为[0,1]范围内的权重值，具体为：
[0025][0026]其中，为更新后的邻接矩阵，Q
A
∈R
n
×
n
和K
A
∈R
n
×
n
是与邻接矩阵同大小的初始化矩阵，A∈R
n
×
n
为输入特征向量的邻接矩阵，其中n为图像与模型的总数，d为设置向量维数。
[0027]优选的，S3的通过图注意力网络得到图嵌入后的特征向量的具体内容包括：
[0028](1)将新的图结构输入至图注意力网络，图注意力网络对于输入的各个节点i，逐个计算节点i和其邻居节点j∈N
i
的相关系数e
ij
：
[0029]e
ij
＝a([Wh
i
||Wh
j
])
[0030]其中，W为模型初始化参数，用于将节点i与节点j的特征向量进行特征增强，实数e
ij
为节点i与节点j的相关系数；
[0031](2)对节点在邻接矩阵中所有邻近节点的相关性系数进行概率归一化，同时对得到的相关性系数使用LeakyReLU激活函数激活，得到最终的注意力系数：
[0032][0033](3)将注意力系数与特征增强后的特征向量进行加权求和，并采用多头机制将特征向量进行拼接，最终得到图嵌入后的特征向量：
[0034][0035]其中，α
ij
为注意力系数，W
K
为图注意力网络中第K层的模型初始化参数，h
iK
为第K层第i个节点的特征向量，σ为激活函数。
[0036]优选的，S3的损失函数为：
[0037]Loss＝max(d(a,p)
‑
d(a,Random(n))+margin,0)
[0038]其中，d(
·
)为欧式距离函数，a为目标节点通过模型图嵌入后的特征向量，p为与目标标签的模型特征向量，n为非目标标签的模型特征向量，margin为一个超参数，用于衡量正样本与负样本相距的最大距离。
[0039]优选的，S4中相似度计算包括：
...
【技术保护点】
【技术特征摘要】
1.一种多模态水下图像的三维模型量化检索方法，其特征在于，包括：采集水下图像，将水下图像输入图注意力网络模型，输出三维模型检索结果；图注意力网络模型的具体内容包括：S1.构建水下图像的二维图像数据集和三维模型库；S2.建立图像特征提取网络以及模型特征提取网络，将二维图像和三维模型输入至图像特征提取网络和模型特征提取网络中分别得到二维图像和三维模型的特征向量，映射到同一高维空间中并建立邻接矩阵，建立图结构；S3.利用自注意力机制对图结构节点的特征向量V和邻接矩阵A进行更新，将所有节点更新后的特征向量与邻接矩阵组合成新的图结构并输入至图注意力网络得到图嵌入后的特征向量，根据图嵌入后的特征向量经过损失函数计算二维图像与三维模型的相似度损失，反向传播更新模型参数，得到训练后的图注意力网络模型。2.根据权利要求1所述的一种多模态水下图像的三维模型量化检索方法，其特征在于，图注意力网络模型的具体内容还包括：S4.选取待测水下图像，通过S2的图像特征提取网络，得到图像特征向量，并与图结构中的所有节点的特征向量计算相似度，并设置阈值，相似度小于阈值时在图结构中增加待测图像节点，并将增加待测图像节点后的图结构输入至训练后的图注意力网络模型进行图嵌入，将待测图像经过图嵌入后更新的特征向量与三维模型节点进行损失函数计算，并按序排列，获得三维模型检索结果。3.根据权利要求1所述的一种多模态水下图像的三维模型量化检索方法，其特征在于，水下图像包括水下光学图像或水下声呐图像。4.根据权利要求1所述的一种多模态水下图像的三维模型量化检索方法，其特征在于，S2的具体内容包括：S21.将二维图像进行下采样，选取VGG网络作为图像特征提取网络，使用ImageNet预训练权重作为特征提取网络的初始参数，将下采样后的图像输入至VGG网络中，通过多层卷积神经网络，输出图像特征向量；S22.将三维模型转换为不同视角下的渲染视图，将三维模型多视角的渲染视图进行下采样，输入至MVCNN网络中，得到融合多视角信息的模型特征向量；S23.将二维图像与三维模型视作节点并建立图结构中的邻接矩阵A，根据图像特征向量、模型特征向量和邻接矩阵建立图结构G(V,E)，V代表二维图像与三维模型的特征向量，E代表节...
【专利技术属性】
技术研发人员：叶秀芬，刘月聪，王寅文，刘逸飞，刘文智，李海波，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。