一种基于多模态预训练的建模过程与3D模型数据对齐方法技术

本发明专利技术公开了一种基于多模态预训练的建模过程与3D模型数据对齐方法，包括以下步骤：获取建模文件数据集，提取其中的建模特征树与对应的3D模型数据，并划分为训练集与测试集；使用预训练好的几何语义提取模型获取3D模型的几何语义表征；使用预训练好的建模语义提取模型获取建模特征树的建模语义表征；使用两种语义表征并采用对比学习的方式，构建模态融合网络正负样例对训练数据，训练模态融合网络，引入对比损失函数，对模型进行联合训练直至收敛。本发明专利技术可以在高维表征空间内与模型的3D形体特征对齐，之后可以用于其他下游任务。本发明专利技术实现零件从建模表征空间到模型表征空间的映射，进而通过对比学习的方式在高维空间中对齐。齐。齐。

【技术实现步骤摘要】
一种基于多模态预训练的建模过程与3D模型数据对齐方法


[0001]本专利技术涉及计算机图形学、人工智能、多模态融合
，特别是一种基于多模态预训练的建模过程与3D模型数据对齐方法。

技术介绍

[0002]在CAD/CAM中，建模技术是将现实世界中的物体及其属性转化为计算机内部数字化表达的原理和方法，是定义在计算机内部表示的数字模型、数字信息以及图形信息的工具，是产品信息化的源头。
[0003]建模特征被誉为CAD/CAM发展的里程碑，它作为产品开发过程中各种信息的载体，除了包含零件的几何拓扑信息外，还包含了涉及制造等过程所需要的一些非几何信息，因此建模特征包含丰富的工程语义，他是在更高层次上对几何形体上的凹腔、孔、槽等的集成描述。
[0004]STEP全称是Standard for the Exchange of Product Model Data，即产品模型数据交换标准，自1992成为ISO国际标准时起(ISO10303)，STEP文件作为三维CAD通用文本中间交换格式，在几何数据交互中起着重要作用。
[0005]多模态机器学习，英文全称MultiModal Machine Learning(MMML)。模态(modal)是事情经历和发生的方式，我们生活在一个由多种模态(Multimodal)信息构成的世界，包括视觉信息、听觉信息、文本信息、嗅觉信息等等，当研究的问题或者数据集包含多种这样的模态信息时我们称之为多模态问题，研究多模态问题是推动人工智能更好的了解和认知我们周围世界的关键。
[0006]多模态可归类为同质性的模态，例如从两台相机中分别拍摄的图片，异质性的模态，例如图片与文本语言的关系。

技术实现思路

[0007]针对现有技术中存在的问题，本专利技术提供了一种基于多模态预训练的建模过程与3D模型数据对齐方法，旨在为建模数据提供一种有效的表征方式，该表征可以在高维表征空间内与模型的3D形体特征对齐，之后可以用于其他下游任务。本专利技术通过提取建模特征树与STEP文件中的语义信息，实现零件从建模表征空间到模型表征空间的映射，进而通过对比学习的方式在高维空间中对齐。
[0008]本专利技术的目的通过以下技术方案实现。
[0009]一种基于多模态预训练的建模过程与3D模型数据对齐方法，包括以下步骤：
[0010]1)获取建模文件数据集，提取其中的建模特征树与对应的3D模型数据，并划分为训练集与测试集；
[0011]2)使用预训练好的几何语义提取模型获取3D模型的几何语义表征；
[0012]3)使用预训练好的建模语义提取模型获取建模特征树的建模语义表征；
[0013]4)使用步骤2)与3)中的两种语义表征并采用对比学习的方式，构建模态融合网络
正负样例对训练数据，训练模态融合网络，引入对比损失函数，对模型进行联合训练直至收敛。
[0014]进一步的，所述步骤2)具体步骤如下：
[0015]2.1)通过建模文件与建模软件输出STEP通用3D模型文件；
[0016]2.2)提取STEP通用3D模型文件中的拓扑数据与曲面信息；
[0017]2.3)将2.2)中提及的拓扑数据与曲面信息输入到与训练好的几何语义提取模型中，获得3D模型的几何语义表征。
[0018]进一步的，所述步骤3)具体步骤如下：
[0019]3.1)通过预处理将建模文件处理为建模特征文本队列；
[0020]3.2)使用预训练好的建模语义提取模型获得队列中每个建模特征的词向量；
[0021]3.3)构建建模语义提取模型，将队列中的所有词向量融合为一个建模语义表征；
[0022]进一步的，所述步骤4)具体步骤如下：
[0023]4.1)根据建模语义提取模型f
construction
(*)，获取输入特征文本队列F
i
的向量表示h
i
＝f
construction
(F
i
)，同时根据几何数据S
i
获得的几何语义表征表示为g
i
＝f
geometry
(S
i
)；
[0024]4.2)通过线性映射层，将h
i
与g
i
都应射到相同的嵌入特征维度D
e
，
[0025][0026][0027]4.3)一个批次中将成对的与作为正样例对为其他向量作为负样例
[0028]4.4)使用余弦相似度来衡量建模语义表征和几何语义表征描述的差异：
[0029][0030]其中<
·
，
·
>表示余弦相似度，该模型的损失函数为：
[0031]其中τ是可调节的Temperature参数，N为同一批次中全部样例数量，表示正样例对之间的相似度，而表示任意样例对之间的相似度。
[0032]相比于现有技术，本专利技术的优点在于：1.相比传统点云方法，使用本专利技术中的方法不需要采样的操作，每个模型的表征是固定的，有效地增加了分类的稳定性；2.通过对比学习网络融合建模语义表征与几何语义表征，使模型更精准地学习3D模型与建模过程的映射，这种映射能力可以用于更广泛的设计、模型相关的下游任务。
附图说明
[0033]图1为本专利技术流程图。
具体实施方式
[0034]下面结合说明书附图和具体的实施例，对本专利技术作详细描述。
[0035]一种基于多模态预训练的建模过程与3D模型数据对齐方法，包括以下步骤：
[0036]1)获取建模文件数据集，提取其中的建模特征树与对应的3D模型数据，并划分为训练集与测试集；
[0037]2)使用预训练好的几何语义提取模型获取3D模型的几何语义表征；
[0038]3)使用预训练好的建模语义提取模型获取建模特征树的建模语义表征；
[0039]4)使用步骤2)与3)中的两种语义表征并采用对比学习的方式，构建模态融合网络正负样例对训练数据，训练模态融合网络，引入对比损失函数，对模型进行联合训练直至收敛。
[0040]所述步骤2)具体步骤如下：
[0041]2.1)通过建模文件与建模软件输出STEP通用3D模型文件；
[0042]2.2)提取STEP通用3D模型文件中的拓扑数据与曲面信息；
[0043]2.3)将2.2)中提及的拓扑数据与曲面信息输入到与训练好的几何语义提取模型中，获得3D模型的几何语义表征(一个p维的向量)。
[0044]所述步骤3)具体步骤如下：
[0045]3.1)通过预处理将建模文件处理为建模特征文本队列；
[0046]3.2)使用预训练好的建模语义提取模型获得队列中每个建模特征的词向量；
[0047]3.3)构建建模语义提取模型，将队列中的所有词向量融合为一个建模语义表征。...

【技术保护点】

【技术特征摘要】
1.一种基于多模态预训练的建模过程与3D模型数据对齐方法，其特征在于，包括以下步骤：1)获取建模文件数据集，提取其中的建模特征树与对应的3D模型数据，并划分为训练集与测试集；2)使用预训练好的几何语义提取模型获取3D模型的几何语义表征；3)使用预训练好的建模语义提取模型获取建模特征树的建模语义表征；4)使用步骤2)与3)中的两种语义表征并采用对比学习的方式，构建模态融合网络正负样例对训练数据，训练模态融合网络，引入对比损失函数，对模型进行联合训练直至收敛。2.根据权利要求1所述的一种基于多模态预训练的建模过程与3D模型数据对齐方法，其特征在于，所述步骤2)具体步骤如下：2.1)通过建模文件与建模软件输出STEP通用3D模型文件；2.2)提取STEP通用3D模型文件中的拓扑数据与曲面信息；2.3)将2.2)中提及的拓扑数据与曲面信息输入到与训练好的几何语义提取模型中，获得3D模型的几何语义表征。3.根据权利要求1所述的一种基于多模态预训练的建模过程与3D模型数据对齐方法，其特征在于，所述步骤3)具体步骤如下：3.1)通过预处理将建模文件处理为建模特征文本队列；3.2)使用预训练好的建模语义提取模型获得队列中每个建模特征的词向量；3.3)构建建模语义提取模型，将队列中的所有词向量融合为一个建模语义表征。4.根据权利...

【专利技术属性】
技术研发人员：过晓蒙，
申请(专利权)人：上海设序科技有限公司，
类型：发明
国别省市：