模型训练方法、检索方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种模型训练方法、检索方法、装置、电子设备及存储介质，获取样本图片和用于表征所述样本图片中图像类别的标签，样本图片包括：二维手绘草图和多个视角的投影图片；将样本图片输入预训练的三维形状检索模型，提取第一特征向量和多个第二特征向量；将第一特征向量和每个第二特征向量融入同一个高维子空间，获取第三特征向量以及第四特征向量；基于第三特征向量、多个第四特征向量、标签、多个类中心向量以及预设准则，获取与所样本图片的三维形状的特征向量、更新后的参数和类中心向量，降低训练时间，提高检索精度。

Model training method, retrieval method, device, electronic equipment and storage medium

The embodiment of the present invention provides a model training method, a retrieval method, a device, an electronic device and a storage medium to obtain sample pictures and labels used to characterize the image categories in the sample pictures. The sample pictures include: two-dimensional sketches and projection pictures from multiple perspectives; input the sample pictures into a pre-trained three-dimensional shape retrieval model to extract the first feature vector and multiple images. The second eigenvector; the third eigenvector and the fourth eigenvector are obtained by integrating the first eigenvector and each second eigenvector into the same high-dimensional subspace; based on the third eigenvector, multiple fourth eigenvectors, labels, multiple class center vectors and presupposition criteria, the feature vectors of the three-dimensional shape of the sample image, the updated parameters and the class center orientation are obtained. Quantity, reduce training time and improve retrieval accuracy.

【技术实现步骤摘要】
模型训练方法、检索方法、装置、电子设备及存储介质
本专利技术涉及图像处理领域，具体而言，涉及一种模型训练方法、检索方法、装置、电子设备及存储介质。
技术介绍
近十年是计算机视觉技术的快速发展期，尤其是随着深度学习技术的逐步成熟，该领域的核心问题(如图像识别、目标跟踪、图像分割以及图像标注等)都实现了快速发展。就研究对象的模态而言，计算机视觉技术主要可以分为两大类1)基于颜色、纹理信息(二维图像分析)；2)基于空间、形状信息(三维形状分析)。然而，二维图像是空间物体的平面投影，在投影过程中将损失掉大量的空间及形状等信息，且二维图像容易受到光照和姿态变化的影响。相反，三维形状受光照和姿态变化的影响不明显，可以弥补二维图像的内在缺陷。正因如此，三维形状分析受到了越来越多的关注，国内外都投入了大量人力物力进行研究。由于三维形状数据获取方式的限制，相比于传统二维图像数据库动辄上千万数量级的规模，三维形状数据库的规模普遍较小，例如目前最大的三维形状数据库ShapeNet包含了大约300万个形状，其核心子集ShapeNetCore仅包含了55类共51300个三维形状。较小的数据集为复杂深度神经网络本文档来自技高网...

【技术保护点】
1.一种模型训练方法，其特征在于，所述方法包括：获取样本图片和用于表征所述样本图片中图像类别的标签，其中，所述样本图片包括：二维手绘草图和多个视角的投影图片；将所述样本图片输入预训练的三维形状检索模型，提取所述二维手绘草图的第一特征向量和多张投影图片中每张投影图片的第二特征向量；将所述第一特征向量和每个第二特征向量融入同一个高维子空间，获取与所述第一特征向量对应的第三特征向量以及与所述第二特征向量对应的第四特征向量；基于所述第三特征向量、多个所述第四特征向量、所述标签、多个类中心向量以及预设准则，对所述预训练的三维形状检索模型中的参数和与所述标签对应的类中心向量进行更新，获取与所述样本图片对应...

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：获取样本图片和用于表征所述样本图片中图像类别的标签，其中，所述样本图片包括：二维手绘草图和多个视角的投影图片；将所述样本图片输入预训练的三维形状检索模型，提取所述二维手绘草图的第一特征向量和多张投影图片中每张投影图片的第二特征向量；将所述第一特征向量和每个第二特征向量融入同一个高维子空间，获取与所述第一特征向量对应的第三特征向量以及与所述第二特征向量对应的第四特征向量；基于所述第三特征向量、多个所述第四特征向量、所述标签、多个类中心向量以及预设准则，对所述预训练的三维形状检索模型中的参数和与所述标签对应的类中心向量进行更新，获取与所述样本图片对应的三维形状的特征向量以及更新后的参数和类中心向量。2.根据权利要求1所述的方法，其特征在于，在基于所述标签，获取与所述标签对应的类中心向量之后，所述方法还包括：基于第一预设准则，对多个所述第四特征向量进行筛选，获取筛选后的第四特征向量，其中，筛选后的所述第四特征向量的个数少于筛选前。3.根据权利要求2所述的方法，其特征在于，基于所述第三特征向量、多个所述第四特征向量、所述标签、多个类中心向量以及预设准则，对所述预训练的三维形状检索模型中的参数和与所述标签对应的类中心向量进行更新，获取与所述样本图片对应的三维形状的特征向量以及更新后的参数和类中心向量，包括：基于第二预设准则，获取所述第三特征向量和多个类中心向量中每个类中心向量之间的第一距离；基于第三预设准则，获取多个所述第四特征向量和每个类中心向量之间的第二距离；基于多个所述第一距离、多个所述第二距离以及第三预设准则，对所述预训练的三维形状检索模型中的参数和与所述标签对应的类中心向量进行更新，获取与所述样本图片对应的三维形状的特征向量以及更新后的参数和类中心向量。4.一种检索方法，其特征在于，应用于权利要求1-3中任一权项所述的三维形状检索模型，所述方法包括：获取待检索的目标图片；基于所述目标图片和所述三维形状检索模型，获取所述目标图片对应的目标特征向量；分别计算所述目标特征向量与三维形状数据库中所有三维形状对应的特征向量的欧式距离，并将所述欧式距离按照从小到大进行检索排序，获取排序链表。5.一种训练装置，其特征在于，所述装置包括：第一获取模块，用于获取样本图片和用于表征所述样本图片中图像类别的标签，其中，所述样本图片包括：三...

【专利技术属性】
技术研发人员：雷印杰，周子钦，刘砚，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川,51