三维模型匹配制造技术

本说明书实施例提供一种三维模型匹配

【技术实现步骤摘要】
三维模型匹配、多模态特征映射模型的训练方法及装置


[0001]本说明书涉及数据处理
，尤其涉及一种三维模型匹配
、
多模态特征映射模型的训练方法及装置
。

技术介绍

[0002]在一些场景中，用户存在查找其所需的三维模型的需求
。
为了满足这类用户的需求，提供一种三维模型匹配方法成为亟待解决的问题
。

技术实现思路

[0003]本说明书一个或多个实施例提供了一种三维模型匹配方法及装置，以实现对三维模型的匹配
。
[0004]根据第一方面，提供一种三维模型匹配方法，包括：
[0005]根据第一对象，使用目标多模态特征映射模型，确定所述第一对象对应的至少一个第一特征，其中，所述目标多模态特征映射模型基于样本图文对训练获得，所述样本图文对包括对应的文本和深度图，所述第一对象为第一文本或者第一三维模型；
[0006]获取第二三维模型对应的至少一个第二特征，各个所述第二特征根据所述第二三维模型的深度图，通过使用所述目标多模态特征映射模型而生成；
[0007]基于所述第一对象对应的第一特征，以及所述第二三维模型对应的多个第二特征，确定所述第一对象与所述第二三维模型的匹配结果
。
[0008]在一种可选实施方式中，所述第一对象为第一三维模型；
[0009]所述确定所述第一对象对应的至少一个第一特征，包括：
[0010]确定所述第一三维模型在至少一个预设的第一视角下的第一深度图；
[0011]根据各个第一深度图，使用所述目标多模态特征映射模型的图像编码器，确定各个第一深度图对应的第一特征
。
[0012]在一种可选实施方式中，所述第二三维模型的深度图，包括：各个第二三维模型分别在至少一个所述第一视角下的深度图；
[0013]所述确定所述第一对象与所述第二三维模型的匹配结果，包括：
[0014]计算所有第一深度图对应的第一特征的平均值，得到所述第一三维模型的平均特征；
[0015]针对各个第二三维模型，计算该第二三维模型对应的第二特征的平均值，得到各个第二三维模型的平均特征；
[0016]基于所述第一三维模型的平均特征和各个第二三维模型的平均特征，确定所述第一三维模型与各个第二三维模型的匹配结果
。
[0017]在一种可选实施方式中，所述确定所述第一三维模型与各个第二三维模型的匹配结果，包括：
[0018]计算所述第一三维模型的平均特征，分别与各个第二三维模型的平均特征之间的
第一相似度值；
[0019]将所对应第一相似度值最大的第二三维模型，确定为与所述第一三维模型匹配的三维模型
。
[0020]在一种可选实施方式中，所述第一对象为第一文本；
[0021]所述确定所述第一对象对应的至少一个第一特征，包括：
[0022]根据所述第一文本，使用所述目标多模态特征映射模型的文本编码器，确定所述第一文本对应的第一特征
。
[0023]在一种可选实施方式中，所述确定所述第一对象与所述第二三维模型的匹配结果，包括：
[0024]计算所述第一文本对应的第一特征，分别与各个第二特征之间的第二相似度值；
[0025]基于各个第二相似度值，确定所述第一文本与所述第二三维模型的匹配结果
。
[0026]在一种可选实施方式中，所述第二三维模型为多个；
[0027]所述基于各个第二相似度值，确定所述第一文本与所述第二三维模型的匹配结果，包括：
[0028]基于各个第二相似度值，从所述多个第二特征中，确定出所对应第二相似度值最大的
N
个第三特征，
N
为正整数；
[0029]确定各个第三特征对应的第二三维模型；
[0030]将对应第三特征数量最多的第二三维模型，确定为与所述第一文本匹配的三维模型
。
[0031]根据第二方面，提供一种多模态特征映射模型的训练方法，包括：
[0032]获取训练数据集中的样本图文对，所述样本图文对包括样本深度图及其对应的样本文本；
[0033]根据所述样本深度图和所述样本文本，使用待训练的多模态特征映射模型，确定所述样本深度图对应的图特征和所述样本文本对应的文本特征；
[0034]以最大化所述图特征和所述文本特征之间的相似度为目标，调整所述待训练的多模态特征映射模型的参数
。
[0035]在一种可选实施方式中，在所述获取训练数据集中的样本图文对之前，还包括：
[0036]获取色彩图像及其对应的第二文本；
[0037]根据所述色彩图像，使用深度估计模型，得到所述色彩图像对应的第二深度图，其中，所述第二深度图包括各像素的深度值，所述深度估计模型基于样本色彩图像及其对应的深度图训练获得；
[0038]基于所述第二文本和所述第二深度图，组成一组样本图文对，将其归入所述训练数据集
。
[0039]在一种可选实施方式中，在所述获取训练数据集中的样本图文对之前，还包括：
[0040]获取样本三维模型；
[0041]从至少一个第二视角，对所述样本三维模型进行渲染，得到各个第二视角对应的三维模型渲染图和第三深度图，其中，所述第三深度图包括，所述样本三维模型在所对应第二视角下对应的深度值；
[0042]根据各个三维模型渲染图，使用图像描述生成模型，确定各个三维模型渲染图对
应的第三文本，其中，所述图像描述生成模型用于，基于输入的图像生成对应的文本描述；
[0043]基于各个三维模型渲染图对应的第三文本和所述样本三维模型在各个第二视角下对应的第三深度图，组成各个第二视角对应的样本图文对，将其归入所述训练数据集
。
[0044]根据第三方面，提供一种三维模型匹配装置，包括：
[0045]第一确定模块，配置为根据第一对象，使用目标多模态特征映射模型，确定所述第一对象对应的至少一个第一特征，其中，所述目标多模态特征映射模型基于样本图文对训练获得，所述样本图文对包括对应的文本和深度图，所述第一对象为第一文本或者第一三维模型；
[0046]第一获取模块，配置为获取第二三维模型对应的至少一个第二特征，各个所述第二特征根据所述第二三维模型的深度图，通过使用所述目标多模态特征映射模型而生成；
[0047]第二确定模块，配置为基于所述第一对象对应的第一特征，以及所述第二三维模型对应的多个第二特征，确定所述第一对象与所述第二三维模型的匹配结果
。
[0048]根据第四方面，提供一种多模态特征映射模型的训练装置，包括：
[0049]第二获取模块，配置为获取训练数据集中的样本图文对，所述样本图文对包括样本深度图及其对应的样本文本；
[0050]第三确定模块，配置为根据所述样本深度图和所述样本文本，使用待训练的多模态特征映射模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种三维模型匹配方法，包括：根据第一对象，使用目标多模态特征映射模型，确定所述第一对象对应的至少一个第一特征，其中，所述目标多模态特征映射模型基于样本图文对训练获得，所述样本图文对包括对应的文本和深度图，所述第一对象为第一文本或者第一三维模型；获取第二三维模型对应的至少一个第二特征，各个所述第二特征根据所述第二三维模型的深度图，通过使用所述目标多模态特征映射模型而生成；基于所述第一对象对应的第一特征，以及所述第二三维模型对应的多个第二特征，确定所述第一对象与所述第二三维模型的匹配结果
。2.
如权利要求1所述的方法，所述第一对象为第一三维模型；所述确定所述第一对象对应的至少一个第一特征，包括：确定所述第一三维模型在至少一个预设的第一视角下的第一深度图；根据各个第一深度图，使用所述目标多模态特征映射模型的图像编码器，确定各个第一深度图对应的第一特征
。3.
如权利要求2所述的方法，其中，所述第二三维模型的深度图，包括：各个第二三维模型分别在至少一个所述第一视角下的深度图；所述确定所述第一对象与所述第二三维模型的匹配结果，包括：计算所有第一深度图对应的第一特征的平均值，得到所述第一三维模型的平均特征；针对各个第二三维模型，计算该第二三维模型对应的第二特征的平均值，得到各个第二三维模型的平均特征；基于所述第一三维模型的平均特征和各个第二三维模型的平均特征，确定所述第一三维模型与各个第二三维模型的匹配结果
。4.
如权利要求3所述的方法，其中，所述确定所述第一三维模型与各个第二三维模型的匹配结果，包括：计算所述第一三维模型的平均特征，分别与各个第二三维模型的平均特征之间的第一相似度值；将所对应第一相似度值最大的第二三维模型，确定为与所述第一三维模型匹配的三维模型
。5.
如权利要求1所述的方法，所述第一对象为第一文本；所述确定所述第一对象对应的至少一个第一特征，包括：根据所述第一文本，使用所述目标多模态特征映射模型的文本编码器，确定所述第一文本对应的第一特征
。6.
如权利要求5所述的方法，其中，所述确定所述第一对象与所述第二三维模型的匹配结果，包括：计算所述第一文本对应的第一特征，分别与各个第二特征之间的第二相似度值；基于各个第二相似度值，确定所述第一文本与所述第二三维模型的匹配结果
。7.
如权利要求6所述的方法，所述第二三维模型为多个；所述基于各个第二相似度值，确定所述第一文本与所述第二三维模型的匹配结果，包括：基于各个第二相似度值，从所述多个第二特征中，确定出所对应第二相似度值最大的
N
个第三特征，
N
为正整数；确定各个第三特征对应的第二三维模型；将对应第三特征数量最多的第二三维模型，确定为与所述第一文本匹配的三维模型
。8.
一种多模态特征映射模型的训练方...

【专利技术属性】
技术研发人员：陈明翔，
申请(专利权)人：蚂蚁区块链科技上海有限公司，
类型：发明
国别省市：