一种针对三维模型的语义化检索方法及装置制造方法及图纸

本发明专利技术公开了一种针对三维模型的语义化检索方法及装置，属于图像处理技术领域。本实施方式一具体方法包括：首先，对检索文本进行文本特征提取，生成文本特征；其次，基于三维模型特征数据库，对文本特征进行图像特征匹配，生成至少一个视觉图像；最后，基于至少一个视觉图像，确定与检索文本对应的三维模型。由此，本实施例无需大规模标注三维模型数据，基于已有的大规模图像文本预训练模型以及三维模型的视觉图像，能够实现三维模型到视觉特征再到文本特征的映射，从而实现了三维模型的语义化检索，提高了三维模型的检索效率。提高了三维模型的检索效率。提高了三维模型的检索效率。

【技术实现步骤摘要】
一种针对三维模型的语义化检索方法及装置


[0001]本专利技术属于图像处理
，尤其涉及一种针对三维模型的语义化检索方法及装置。

技术介绍

[0002]通过自然语言进行多媒体内容检索，已经成为了当前用户的一般需求，比如通过文本检索相关图片。一般来说，有两种思路实现这一检索的过程。一种是采用人工标注的方法，首先对二维图像进行人工标注以将图像转换为文本信息，之后采用匹配算法，从大规模的标注文本中找到最符合用户输入文本的图片。另一种是采用模型学习的方法，将从二维图像提取的二维图像特征以及文本特征映射到同一特征空间，之后通过距离计算的方式实现检索。这两种方式各有优势；其中，第二种方式由于不需要额外的人工参与，因此越来越受到推崇。
[0003]而在三维模型领域，采用模型学习进行检索，还存在较大的困难，主要原因在于缺乏高质量的大规模模型文本数据集；这导致没有模型可以很好地把三维模型特征和文本特征进行正确的映射。随着内容管理、元宇宙等应用场景的不断普及，用户对三维模型的检索需求也在不断增加。

技术实现思路

[0004]针对现有技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对三维模型的语义化检索方法，其特征在于，包括：对检索文本进行文本特征提取，生成文本特征；基于三维模型特征数据库，对所述文本特征进行图像特征匹配，生成至少一个视觉图像；基于至少一个视觉图像，确定与所述检索文本对应的三维模型。2.根据权利要求1所述的方法，其特征在于，还包括：对三维模型库中每个三维模型进行数据格式化处理，生成若干个三维模型文件；针对若干个三维模型文件中任一三维模型文件：将所述三维模型文件渲染在网页视图中，得到渲染模型；对所述渲染模型进行多角度特征提取，生成一组不同角度视觉图像；对每个视觉图像进行图像特征提取，生成图像特征；将所述视觉图像与所述图像特征建立第一映射关系，并将所述一组不同角度视觉图像与所述三维模型建立第二映射关系；基于三维模型库中每个所述三维模型对应的第一映射关系和第二映射关系，生成三维模型特征数据库。3.根据权利要求1或2所述的方法，其特征在于，所述基于三维模型特征数据库，对所述文本特征进行图像特征匹配，生成至少一个视觉图像，包括：针对所述三维模型特征数据库中任一图像特征：基于所述文本特征和所述图像特征进行相似度计算；从所有图像特征中选取相似度满足预设条件的至少一个准图像特征；针对任一所述准图像特征：从所述三维模型特征数据库中获取第一映射关系；其中，所述第一映射关系用于指示所述视觉图像与对应图像特征之间的映射关系；基于所述第一映射关系；确定与所述准图像特征对应的视觉图像；基于至少一个准图像特征，生成至少一个视觉图像。4.根据权利要求1所述的方法，其特征在于，所述基于至少一个视觉图像，确定与所述检索文本对应的三维模型，包括：从所述三维模型特征数据库中获取第二映射关系；其中，所述第二映射关系用于指示一组不同角度视觉图像与对应三维模型之间的映射关系；针对任一所述视觉图像：基于所述第二映射关系，确定与所述视觉图像对应的三维模型；将所述三维模型确定为所述检索文本对应的三维模型。5.根据权利要求2所述的方法，其特征在于，所述对所述渲染模型进行多角度特征提取，生成一组不同角度视觉图像，包括：将所述渲染模型的中心点作为拍摄相机所在坐标系原点；控制所述拍摄相机保持初始拍摄位姿，并在水平方向上沿着Z轴旋转，当所述拍摄相机每旋转...

【专利技术属性】
技术研发人员：卓京港，范凌，
申请(专利权)人：特赞上海信息科技有限公司，
类型：发明
国别省市：