模型训练方法、检索方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种模型训练方法、检索方法、装置、电子设备及存储介质，获取样本图片和用于表征所述样本图片中图像类别的标签，样本图片包括：二维手绘草图和多个视角的投影图片；将样本图片输入预训练的三维形状检索模型，提取第一特征向量和多个第二特征向量；将第一特征向量和每个第二特征向量融入同一个高维子空间，获取第三特征向量以及第四特征向量；基于第三特征向量、多个第四特征向量、标签、多个类中心向量以及预设准则，获取与所样本图片的三维形状的特征向量、更新后的参数和类中心向量，降低训练时间，提高检索精度。

Model training method, retrieval method, device, electronic equipment and storage medium

The embodiment of the present invention provides a model training method, a retrieval method, a device, an electronic device and a storage medium to obtain sample pictures and labels used to characterize the image categories in the sample pictures. The sample pictures include: two-dimensional sketches and projection pictures from multiple perspectives; input the sample pictures into a pre-trained three-dimensional shape retrieval model to extract the first feature vector and multiple images. The second eigenvector; the third eigenvector and the fourth eigenvector are obtained by integrating the first eigenvector and each second eigenvector into the same high-dimensional subspace; based on the third eigenvector, multiple fourth eigenvectors, labels, multiple class center vectors and presupposition criteria, the feature vectors of the three-dimensional shape of the sample image, the updated parameters and the class center orientation are obtained. Quantity, reduce training time and improve retrieval accuracy.

【技术实现步骤摘要】
模型训练方法、检索方法、装置、电子设备及存储介质
本专利技术涉及图像处理领域，具体而言，涉及一种模型训练方法、检索方法、装置、电子设备及存储介质。
技术介绍
近十年是计算机视觉技术的快速发展期，尤其是随着深度学习技术的逐步成熟，该领域的核心问题(如图像识别、目标跟踪、图像分割以及图像标注等)都实现了快速发展。就研究对象的模态而言，计算机视觉技术主要可以分为两大类1)基于颜色、纹理信息(二维图像分析)；2)基于空间、形状信息(三维形状分析)。然而，二维图像是空间物体的平面投影，在投影过程中将损失掉大量的空间及形状等信息，且二维图像容易受到光照和姿态变化的影响。相反，三维形状受光照和姿态变化的影响不明显，可以弥补二维图像的内在缺陷。正因如此，三维形状分析受到了越来越多的关注，国内外都投入了大量人力物力进行研究。由于三维形状数据获取方式的限制，相比于传统二维图像数据库动辄上千万数量级的规模，三维形状数据库的规模普遍较小，例如目前最大的三维形状数据库ShapeNet包含了大约300万个形状，其核心子集ShapeNetCore仅包含了55类共51300个三维形状。较小的数据集为复杂深度神经网络的训练带来了障碍。然而，尽管模态不同，二维图像和三维形状就描述客观世界来说具有高度的相关性以及模态间知识的可迁移性。因此对于基于手绘草图的跨模态三维形状检索是该领域的一个重要研究方向。然而现有技术存在的如下问题：训练过程非常复杂，需要生成正样本、负样本进行训练，加大了训练难度、训练时间，生成的正反例模态的孪生网络泛化性能不强，多视角模型表征的高维空间的中心与手绘草图模态差距较大，最后得到的检索效果不好。
技术实现思路
鉴于此，本专利技术实施例的目的在于提供一种模型训练方法、检索方法、装置、电子设备及存储介质，以缓解上述问题。第一方面，本专利技术实施例提供一种模型训练方法，所述方法包括：获取样本图片和用于表征所述样本图片中图像类别的标签，其中，所述样本图片包括：二维手绘草图和多个视角的投影图片；将所述样本图片输入预训练的三维形状检索模型，提取所述二维手绘草图的第一特征向量和多张投影图片中每张投影图片的第二特征向量；将所述第一特征向量和每个第二特征向量融入同一个高维子空间，获取与所述第一特征向量对应的第三特征向量以及与所述第二特征向量对应的第四特征向量；基于所述第三特征向量、多个所述第四特征向量、所述标签、多个类中心向量以及预设准则，对所述预训练的三维形状检索模型中的参数和与所述标签对应的类中心向量进行更新，获取与所述样本图片对应的三维形状的特征向量以及更新后的参数和类中心向量。第二方面，本专利技术实施例提供一种检索方法，应用于上述三维形状检索模型，所述方法包括：获取待检索的目标图片；基于所述目标图片和所述三维形状检索模型，获取所述目标图片对应的目标特征向量；分别计算所述目标特征向量与三维形状数据库中所有三维形状对应的特征向量的欧式距离，并将所述欧式距离按照从小到大进行检索排序，获取排序链表。第三方面，本专利技术实施例提供一种模型训练装置，所述装置包括：第一获取模块，用于获取样本图片和用于表征所述样本图片中图像类别的标签，其中，所述样本图片包括：二维手绘草图和多个视角的投影图片；输入模块，用于将所述样本图片输入预训练的三维形状检索模型，提取所述二维手绘草图的第一特征向量和多张投影图片中每张投影图片的第二特征向量；特征融合模块，用于将所述第一特征向量和每个第二特征向量融入同一个高维子空间，获取与所述第一特征向量对应的第三特征向量以及与所述第二特征向量对应的第四特征向量；更新模块，用于基于所述第三特征向量、多个所述第四特征向量、所述标签、多个类中心向量以及预设准则，对所述预训练的三维形状检索模型中的参数和与所述标签对应的类中心向量进行更新，获取与所述样本图片对应的三维形状的特征向量以及更新后的参数和类中心向量。第四方面，本专利技术实施例提供一种检索装置，应用于上述三维形状检索模型，所述装置包括：目标图片获取模块，用于获取待检索的目标图片；目标特征向量获取模块，用于基于所述目标图片和所述三维形状检索模型，获取所述目标图片对应的目标特征向量；检索模块，用于分别计算所述目标特征向量与三维形状数据库中所有三维形状对应的特征向量的欧式距离，并将所述欧式距离按照从小到大进行检索排序，获取排序链表。第五方面，本专利技术实施例提供一种电子设备，该电子设备包括处理器以及与所述处理器连接的存储器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行第一方面和第二方面所述的方法。第六方面，本专利技术实施例提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行第一方面合第二方面所述的方法。与现有技术相比，本专利技术各实施例提出的模型训练方法、检索方法、装置、电子设备及存储介质的有益效果是：获取样本图片和用于表征所述样本图片中图像类别的标签，其中，所述样本图片包括：二维手绘草图和多个视角的投影图片；将所述样本图片输入预训练的三维形状检索模型，提取所述二维手绘草图的第一特征向量和多张投影图片中每张投影图片的第二特征向量；将所述第一特征向量和每个第二特征向量融入同一个高维子空间，获取与所述第一特征向量对应的第三特征向量以及与所述第二特征向量对应的第四特征向量；基于所述第三特征向量、多个所述第四特征向量、所述标签、多个类中心向量以及预设准则，对所述预训练的三维形状检索模型中的参数和与所述标签对应的类中心向量进行更新，获取与所述样本图片对应的三维形状的特征向量以及更新后的参数和类中心向量。利用类中心向量实现图像的分类，无需生成正样本和负样本进行训练，并将多个视角的投影图片对应的特征向量与二维手绘草图对应的特征向量融入同一个高维子空间，克服了多视角模型表征的高维空间的中心与手绘草图模态差距较大的弊端，降低训练时间，提高检索精度。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本专利技术实施例提供的电子设备的结构示意图；图2为本专利技术实施例提供的一种模型训练方法的流程图；图3为本专利技术实施例提供的一种检索方法的流程图；图4为本专利技术实施例提供的一种模型训练装置的模块示意图；图5为本专利技术实施例提供的一种检索装置的模块示意图。图标：100-电子设备；110-存储器；120-存储控制器；130-处理器；140-外设接口；150-输入输出单元；170-显示单元；200-模型训练装置；210-第一获取模块；220-输入模块；230-特征融合模块；240-更新模块；300-检索装置；310-目标图片获取模块；320-目标特征向量获取模块；330-检索模块。具体实施方式下面将结合本专利技术实施例中附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图本文档来自技高网...

【技术保护点】
1.一种模型训练方法，其特征在于，所述方法包括：获取样本图片和用于表征所述样本图片中图像类别的标签，其中，所述样本图片包括：二维手绘草图和多个视角的投影图片；将所述样本图片输入预训练的三维形状检索模型，提取所述二维手绘草图的第一特征向量和多张投影图片中每张投影图片的第二特征向量；将所述第一特征向量和每个第二特征向量融入同一个高维子空间，获取与所述第一特征向量对应的第三特征向量以及与所述第二特征向量对应的第四特征向量；基于所述第三特征向量、多个所述第四特征向量、所述标签、多个类中心向量以及预设准则，对所述预训练的三维形状检索模型中的参数和与所述标签对应的类中心向量进行更新，获取与所述样本图片对应的三维形状的特征向量以及更新后的参数和类中心向量。

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：获取样本图片和用于表征所述样本图片中图像类别的标签，其中，所述样本图片包括：二维手绘草图和多个视角的投影图片；将所述样本图片输入预训练的三维形状检索模型，提取所述二维手绘草图的第一特征向量和多张投影图片中每张投影图片的第二特征向量；将所述第一特征向量和每个第二特征向量融入同一个高维子空间，获取与所述第一特征向量对应的第三特征向量以及与所述第二特征向量对应的第四特征向量；基于所述第三特征向量、多个所述第四特征向量、所述标签、多个类中心向量以及预设准则，对所述预训练的三维形状检索模型中的参数和与所述标签对应的类中心向量进行更新，获取与所述样本图片对应的三维形状的特征向量以及更新后的参数和类中心向量。2.根据权利要求1所述的方法，其特征在于，在基于所述标签，获取与所述标签对应的类中心向量之后，所述方法还包括：基于第一预设准则，对多个所述第四特征向量进行筛选，获取筛选后的第四特征向量，其中，筛选后的所述第四特征向量的个数少于筛选前。3.根据权利要求2所述的方法，其特征在于，基于所述第三特征向量、多个所述第四特征向量、所述标签、多个类中心向量以及预设准则，对所述预训练的三维形状检索模型中的参数和与所述标签对应的类中心向量进行更新，获取与所述样本图片对应的三维形状的特征向量以及更新后的参数和类中心向量，包括：基于第二预设准则，获取所述第三特征向量和多个类中心向量中每个类中心向量之间的第一距离；基于第三预设准则，获取多个所述第四特征向量和每个类中心向量之间的第二距离；基于多个所述第一距离、多个所述第二距离以及第三预设准则，对所述预训练的三维形状检索模型中的参数和与所述标签对应的类中心向量进行更新，获取与所述样本图片对应的三维形状的特征向量以及更新后的参数和类中心向量。4.一种检索方法，其特征在于，应用于权利要求1-3中任一权项所述的三维形状检索模型，所述方法包括：获取待检索的目标图片；基于所述目标图片和所述三维形状检索模型，获取所述目标图片对应的目标特征向量；分别计算所述目标特征向量与三维形状数据库中所有三维形状对应的特征向量的欧式距离，并将所述欧式距离按照从小到大进行检索排序，获取排序链表。5.一种训练装置，其特征在于，所述装置包括：第一获取模块，用于获取样本图片和用于表征所述样本图片中图像类别的标签，其中，所述样本图片包括：三...

【专利技术属性】
技术研发人员：雷印杰，周子钦，刘砚，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川,51