【技术实现步骤摘要】
本专利技术涉及三维模型检索，特别是涉及基于跨实例和类别对比的三维模型检索方法及系统。
技术介绍
1、本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
2、三维模型检索在计算机视觉和图形学领域受到广泛的关注，其应用范围十分广泛，常应用于场景重建、3d打印、虚拟现实和电子商务平台。在三维模型检索中，分别用相应的特征提取器提取到检索对象和三维模型的特征表示由此来衡量两者特征表示的相似度。给定需要检索对象，三维模型检索旨在找到其对应的三维模型，从而达到检索的目的。
3、现有的三维模型检索可以分为基于模型的三维模型检索和基于图像的三维模型检索。基于模型的三维模型检索指通过一些方法提取具有代表性的三维模型特征，并测量这些特征的相似度，从而在三维模型检索中获得较高的性能。与基于模型的三维模型检索相比，基于图像的三维模型检索通常应用范围较广同时图像也相较于三维模型容易获取。三维模型检索的方法一般是将检索问题视为目标函数不断优化的过程，通过不断优化目标函数来达到检索准确度不断上升的目的。在实际的研究中，由于三维模型获取成本高，所以基于模型的三维模型检索局限型较大。基于图像的三维模型检索可以很好的解决这个问题，所以本专利技术选定基于图像的三维模型检索作为本专利技术的研究方向。
4、如何进一步提高检索精度，一直是三维模型检索研究领域的主题，在过去的几十年中，已经出现了许多关于基于图像的三维模型检索的工作，人们致力于找到更加合理准确的方法去不断地拉近图像和模型之间的距离，从而实现检索精度的提
5、在实际的应用中，二维图像和三维模型之间巨大的域差距以及二维图像的背景通常比较复杂是不可避免的。同时在现实世界中可能不会存在足够数量的二维图像与三维模型进行训练从而会导致其泛化能力不够高。这些都将可能导致错误的图像和三维模型之间具有较高的相似度，使得最终的检索结果的精度降低。
技术实现思路
1、为了解决现有技术的不足，本专利技术提供了基于跨实例和类别对比的三维模型检索方法及系统；增加更多合理有效的约束条件和图像信息来进行三维模型的检索，以此来减小二维图像和三维模型之间巨大的域差距，使得结果更准确可靠。
2、一方面，提供了基于跨实例和类别对比的三维模型检索方法；
3、基于跨实例和类别对比的三维模型检索方法，包括：
4、获取查询图像、查询图像的掩码图以及三维模型集合，每个三维模型均设有三维模型的多视图；
5、对查询图像进行图像增强得到若干个增强后的查询图像；
6、将增强后的查询图像、查询图像的掩码图、三维模型的多视图均输入到训练后的三维模型检索网络中，输出三维模型检索结果；
7、其中，训练后的三维模型检索网络，用于：将增强后的查询图像和查询图像的掩码图，均输入到第一卷积神经网络中，输出查询图像的特征表示；将三维模型的多视图输入到第二卷积神经网络中，输出三维模型每个视图的特征表示，将三维模型所有视图的特征表示进行加权求和，得到三维模型的特征表示；将查询图像的特征表示和三维模型的特征表示，均输入到分类器中，训练后的分类器输出查询图像所对应的三维模型；
8、其中，训练后的三维模型检索网络，总损失函数为第一、第二和第三损失函数的求和结果；第一损失函数用于缩小查询图像与三维模型之间的距离；第二损失函数用于缩小增强后的查询图像与其他增强后的查询图像之间的距离；第三损失函数用于增大不同实例三维模型之间的距离。
9、另一方面，提供了基于跨实例和类别对比的三维模型检索系统；
10、基于跨实例和类别对比的三维模型检索系统，包括：
11、获取模块，其被配置为：获取查询图像、查询图像的掩码图以及三维模型集合，每个三维模型均设有三维模型的多视图；
12、增强模块，其被配置为：对查询图像进行图像增强得到若干个增强后的查询图像；
13、输出模块，其被配置为：将增强后的查询图像、查询图像的掩码图、三维模型的多视图均输入到训练后的三维模型检索网络中，输出三维模型检索结果；
14、其中，训练后的三维模型检索网络，用于：将增强后的查询图像和查询图像的掩码图，均输入到第一卷积神经网络中，输出查询图像的特征表示；将三维模型的多视图输入到第二卷积神经网络中，输出三维模型每个视图的特征表示，将三维模型所有视图的特征表示进行加权求和，得到三维模型的特征表示；将查询图像的特征表示和三维模型的特征表示，均输入到分类器中，训练后的分类器输出查询图像所对应的三维模型；
15、其中，训练后的三维模型检索网络，总损失函数为第一、第二和第三损失函数的求和结果；第一损失函数用于缩小查询图像与三维模型之间的距离；第二损失函数用于缩小增强后的查询图像与其他增强后的查询图像之间的距离；第三损失函数用于增大不同实例三维模型之间的距离。
16、再一方面，还提供了一种电子设备，包括：
17、存储器，用于非暂时性存储计算机可读指令；以及
18、处理器，用于运行所述计算机可读指令，
19、其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
20、再一方面，还提供了一种存储介质，非暂时性存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
21、再一方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。
22、上述技术方案具有如下优点或有益效果：
23、为了解决上述方法的不足，即缩小图像和三维模型之间的域差距，解决图像背景复杂以及训练数据不够的问题，提高检索精度，本专利技术提出了一种通过图像增强和拉近图像和型之间的距离来提高精度的方法，该方法通过将原始图像经过图像增强的一些方法增加更多的图像信息，随后不断拉近图像和模型之间的距离，并且对每张查询图像进行颜色转换同时提取对应的mask来减轻复杂背景的影响从而使得基于图像的三维模型检索精度提升。同时本专利技术使用渲染好的多视图来表示三维模型，可以更好的表示三维模型的信息，该方法可以更好的使得图像检索到正确的三维模型，解决了目前检索精度低的问题。同时图像增强可以进一步提高模型的泛化能力。本专利技术所提方法用于拉近查询图像和其对应的三维模型之间的距离，解决查询图像背景复杂的问题，有助于克服之前方法的不足，缩小图像域和模型域之间的距离，提高检索精度。此外，此方法设计原理可靠，结构简单，具有非常广泛的应用前景。
本文档来自技高网...【技术保护点】
1.基于跨实例和类别对比的三维模型检索方法，其特征是，包括：
2.如权利要求1所述的基于跨实例和类别对比的三维模型检索方法，其特征是，获取查询图像、查询图像的掩码图以及三维模型集合，每个三维模型均设有三维模型的多视图；其中，查询图像的掩码图通过MaskRCNN实例分割算法计算得到查询图像的掩码图，先通过实例分割算法获得图像的主体部分，之后将其图像处理成二值图。
3.如权利要求1所述的基于跨实例和类别对比的三维模型检索方法，其特征是，对查询图像进行图像增强得到若干个增强后的查询图像，其中图像增强采用颜色转换的方式进行增强；
4.如权利要求3所述的基于跨实例和类别对比的三维模型检索方法，其特征是，所述在lαβ空间中将对图像qt进行颜色转换，具体包括：
5.如权利要求1所述的基于跨实例和类别对比的三维模型检索方法，其特征是，将增强后的查询图像、查询图像的掩码图、三维模型的多视图均输入到训练后的三维模型检索网络中，输出三维模型检索结果，其中，训练后的三维模型检索网络，包括：
6.如权利要求1所述的基于跨实例和类别对比的三维模型检
7.如权利要求1所述的基于跨实例和类别对比的三维模型检索方法，其特征是，训练后的三维模型检索网络，总损失函数为第一、第二和第三损失函数的求和结果，其中总损失函数Ltotal的具体表达式为：
8.基于跨实例和类别对比的三维模型检索系统，其特征是，包括：
9.一种电子设备，其特征是，包括：
10.一种存储介质，其特征是，非暂时性存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。
...【技术特征摘要】
1.基于跨实例和类别对比的三维模型检索方法，其特征是，包括：
2.如权利要求1所述的基于跨实例和类别对比的三维模型检索方法，其特征是，获取查询图像、查询图像的掩码图以及三维模型集合，每个三维模型均设有三维模型的多视图；其中，查询图像的掩码图通过maskrcnn实例分割算法计算得到查询图像的掩码图，先通过实例分割算法获得图像的主体部分，之后将其图像处理成二值图。
3.如权利要求1所述的基于跨实例和类别对比的三维模型检索方法，其特征是，对查询图像进行图像增强得到若干个增强后的查询图像，其中图像增强采用颜色转换的方式进行增强；
4.如权利要求3所述的基于跨实例和类别对比的三维模型检索方法，其特征是，所述在lαβ空间中将对图像qt进行颜色转换，具体包括：
5.如权利要求1所述的基于跨实例和类别对比的三维模型检索方法，其特征是，将增强后的查询图像、查询...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。