一种基于语义空间投影变换的三维模型在线标注方法与系统技术方案

本发明专利技术公开了一种基于语义空间投影变换的三维模型在线标注方法与系统，该方法包括训练集三维模型的预处理；建立三维模型标注数据库；建立训练集三维模型的内容特征相似图；建立训练集的文本标签相关图；利用所述内容特征相似图和文本标签相关图计算三维模型特征正交投影矩阵和文本标签的语义特征向量，构建语义空间；对待标注三维模型进行预处理，提取内容特征向量，所述内容特征向量经过所述三维模型特征投影变换，得到三维模型的语义特征向量，计算三维模型的语义特征向量与所述文本标签的语义特征向量之间的相似度，得到近邻文本标签，所述近邻文本标签作为最终的标注词。以及一种系统。以解决三维模型在线标注方法准确率低的问题。

【技术实现步骤摘要】
一种基于语义空间投影变换的三维模型在线标注方法与系统
本专利技术涉及三维模型标注领域，具体说是一种基于语义空间投影变换的三维模型在线标注方法与系统。
技术介绍
三维模型在电影特效制作、游戏、计算机辅助设计等领域广泛应用。随着三维建模工具和三维扫描设备广泛使用，三维模型大量产生并广泛传播。由于三维建模过程费时耗力，因此，如何重用已有的三维模型是一个非常重要的问题。当前，三维模型检索技术主要分为三类：基于文本的三维模型检索技术；基于内容的三维模型检索技术和基于语义的三维模型检索技术。基于文本的检索最符合用户使用习惯，如谷歌公司发布的Google3DWarehouse[1]。这种检索方式的不足是缺乏描述三维模型的关键字，需要人工标注。对于大规模数据集来说，繁重的人工标注工作量，以及标注结果中存在的不准确、不完整现象不能满足实际检索需求。基于内容的三维模型检索技术通过模型的内容特征进行检索，这些内容特征包括：空间信息、拓扑结构信息、纹理信息、材质信息、颜色信息等等。如美国普林斯顿大学开发的三维模型检索系统[2]，不仅提供模型文本关键字查询，还提供草图查询。这种检索方式检索出的结果中存在大量与目标模型语义不同的模型。三维模型语义自动标注是指使用语义标签来表示一个三维模型的语义内容，是检索和管理三维模型的重要支撑技术。按照三维模型标注的粒度，标注方法可分为两种：一种是基于模型分割的局部标注方法；一种是全局语义标注方法。研究工作者对基于模型分割的标注方法进行了大量的研究，如文献[3]按模型的组合特性来分解三维模型，并对模型进行自动标注，该算法主要适用于CAD三维模型。文献[4]提出了一种基于分割的语义标注技术，其先主要是依靠模型部件与本体的关系来对模型进行标注。文献[5]设计了一个交互式的三维模型标注系统，对三维模型进行分割，提取分割装置特征，并利用本体对分割装置、装置属性和分割装置之间的关系进行描述，利用知识库实现三维模型自动标注。文献[6]提出了一种数据驱动的三维模型分割与标注方法，通过条件随机域模型对剖分装置和文本标签之间的相关性进行学习。中国专利(申请号201310019194.5)“一种三维模型构件类别的自动标注方法”可获得优于传统分割方法的标注结果，但是其需要数据集中存在大量已给出的模型部件标注信息。中国专利(申请号201310019194.5)“一种三维模型构成的自动标注方法”也同样受限于初始分割结果，而且当有新的三维模型添加到数据集的时候，需要重新进行联合分割，才能得到较好的标注结果。中国专利(申请号201410223528.5)“一种三维模型构件的在线标注方法”需要用户在三维模型上交互地选择各个分割部件，获得分割模型，这种用户指定分割种类和范围的模式使得标注结果受到用户主观影响，会降低标注精度。上述方法主要适用于规则的三维模型，有其局限性。三维模型涉及领域广泛，组织结构复杂，很难开发出完善的三维模型分割技术。而且，由于三维模型网格自动剖分算法复杂，需要人工参数调节，不可避免的存在三维模型过分割和欠分割现象，由此带来的累积误差无法满足实际环境中的三维模型标注要求。因此，适用度更广的全局语义标注得到了更多地重视。文献[7]采用对模型和文本标签进行概率统计，进行自动标注。但是该方法没有考虑词汇之间相似度计算。文献[8]提出了一种基于语义相关性的三维模型自动标注方法，语义相关性来自用户的相关反馈记录。文献[9]通过语义距离来判断语义群。文献[10]通过综合内容相似性、WORDNET语义相似度以及相关反馈确定最终的标注结果。其缺陷是相关反馈需要用户进行多次介入。文献[11]结合深度特征和词汇信息量共同完成语义标注。文献[12]提出了一种基于模糊近邻的三维模型半自动标注方法，该方法利用模糊分类结果，计算分类不确定度，并通过主动学习进行半自动化标注。文献[13]首先获得模型“视觉词汇”，并采用模糊近邻分类完成标注过程。文献[14]提出了一种基于半监督学习的标签传播方法，该方法在弱标签数据集上能够解决数据稀疏和噪声干扰问题。文献[15]计算不同CAD模型之间的形状相似度进行语义标注。文献[16,17]提出了一种求解三维模型语义相似度的简便计算方法。文献[18]利用WordNet语义度量优化标注结果，这是一种引入额外数据源的方法，但是这种本体知识库对于词典依赖性过强，仅考虑候选标注间的字典语义关系，与数据集统计特性无关。综上所述，当前语义标注方法准确率低的主要原因在于：已有的标注模型分别在三维模型的内容特征空间和文本特征空间两个异构空间上对内容特征和标签进行相关性建模。因此，其模型构建过程没有充分利用视觉内容和其附带文本标签的语义关联和互补特性。同时，现有方法的计算复杂性限制了其在大规模三维模型数据集上应用。文献[1]https://3dwarehouse.sketchup.com。文献[2]http://shape.cs.princeton.edu/search.html。文献[3]Symonova,Olga,Minh-SonDao,GiulianaUcelli,andRaffaeleDeAmicis."Ontologybasedshapeannotationandretrieval."InProc.oftheECAI.2006。文献[4]Robbiano,Francesco,MarcoAttene,MichelaSpagnuolo,andBiancaFalcidieno."Part-basedannotationofvirtual3dshapes."InCyberworlds,2007.CW'07.InternationalConferenceon,pp.427-436.IEEE,2007。文献[5]Attene,Marco,FrancescoRobbiano,MichelaSpagnuolo,andBiancaFalcidieno."Characterizationof3Dshapepartsforsemanticannotation."Computer-AidedDesign41,no.10(2009):756-763。文献[6]Kalogerakis,Evangelos,AaronHertzmann,andKaranSingh."Learning3Dmeshsegmentationandlabeling."ACMTransactionsonGraphics(TOG)29,no.4(2010):102。文献[7]Goldfeder,Corey,andPeterAllen."Autotaggingtoimprovetextsearchfor3dmodels."InProceedingsofthe8thACM/IEEE-CSjointconferenceonDigitallibraries,pp.355-358.ACM,2008。文献[8]王新颖.三维模型检索中基于语义方法的若干问题研究[D].吉林大学,2009。文献[9]Lu,Tianyang,ShaobinHuang,PengWu,andYeranJia."ResearchesonSemanticAnnotationandRetrievalo本文档来自技高网...

【技术保护点】
一种基于语义空间投影变换的三维模型在线标注方法，其特征在于，包括：第一步，训练集三维模型的预处理，提取所述训练集三维模型的内容特征向量；第二步，建立三维模型标注数据库，存储所述内容特征向量和所述三维模型附带的文本标签数据；第三步，从所述三维模型标注数据库中获取所述内容特征向量，计算所述内容特征向量之间的相似度，以所述训练集三维模型为节点，所述相似度为边，建立训练集三维模型的内容特征相似图；第四步，从所述文本标签数据中获取文本标签向量，计算标签的相关度，以所述标签为节点，以所述相关度为边，建立训练集的文本标签相关图；第五步，根据所述内容特征相似图和文本标签相关图，计算三维模型特征正交投影矩阵，得到三维模型的语义特征向量和文本标签的语义特征向量，所述三维模型的语义特征向量和文本标签的语义特征向量构成语义空间，将所述三维模型的语义特征向量和文本标签的语义特征向量存储到所述三维模型标注数据库；第六步，通过待标注三维模型的预处理，提取所述待标注三维模型的内容特征向量；第七步，对所述待标注三维模型的内容特征向量进行三维模型特征投影变换，得到待标注的三维模型的语义特征向量，在所述语义空间内计算所述待标注的三维模型的语义特征向量与所述文本标签的语义特征向量之间的相似度，得到所述待标注三维模型的近邻文本标签，所述近邻文本标签作为最终的标注词。...

【技术特征摘要】
1.一种基于语义空间投影变换的三维模型在线标注方法，其特征在于，包括：第一步，训练集三维模型的预处理，提取所述训练集三维模型的内容特征向量；第二步，建立三维模型标注数据库，存储所述内容特征向量和所述三维模型附带的文本标签数据；第三步，从所述三维模型标注数据库中获取所述内容特征向量，计算所述内容特征向量之间的相似度，以所述训练集三维模型为节点，所述相似度为边，建立训练集三维模型的内容特征相似图；第四步，从所述文本标签数据中获取文本标签向量，计算标签的相关度，以所述标签为节点，以所述相关度为边，建立训练集的文本标签相关图；第五步，根据所述内容特征相似图和文本标签相关图，计算三维模型特征正交投影矩阵，得到三维模型的语义特征向量和文本标签的语义特征向量，所述三维模型的语义特征向量和文本标签的语义特征向量构成语义空间，将所述三维模型的语义特征向量和文本标签的语义特征向量存储到所述三维模型标注数据库；第六步，通过待标注三维模型的预处理，提取所述待标注三维模型的内容特征向量；第七步，对所述待标注三维模型的内容特征向量进行三维模型特征投影变换，得到待标注的三维模型的语义特征向量，在所述语义空间内计算所述待标注的三维模型的语义特征向量与所述文本标签的语义特征向量之间的相似度，得到所述待标注三维模型的近邻文本标签，所述近邻文本标签作为最终的标注词。2.根据权利要求1所述基于语义空间投影变换的三维模型在线标注方法，其特征在于，所述语义空间的构建方法包括：建立语义空间优化目标函数：其中，为所述训练集三维模型的内容特征向量构成的内容特征矩阵，{t1,t2,...,tm}为所述文本标签数据的文本标签的集合；其中，LS是所述内容特征相似图的规范拉普拉斯相似度矩阵，LC是所述训练集的文本标签相关图的规范拉普拉斯相关度矩阵；其中，为所述文本标签向量构成的标签矩阵，Yij＝1表示所述内容特征矩阵O中特征向量oj具备文本标签ti，Yij＝0表示所述内容特征矩阵O中特征向量oj不具备文本标签ti；其中，为文本标签语义特征矩阵，为所述语义空间中第i个文本标签ti的语义特征向量；为三维模型语义特征矩阵，为所述语义空间中第j个三维模型的语义特征向量，所述文本标签的语义特征向量和所述三维模型的语义特征向量构成所述语义空间；其中，为所述三维模型特征正交投影矩阵；其中，为在所述语义空间内，所述ui与所述vj的相似度；其中，为p阶单位矩阵，α、β与γ为参数，3.根据权利要求2所述基于语义空间投影变换的三维模型在线标注方法，其特征在于，所述参数取值为：α＝0.8，β＝0.6，γ＝0.005。4.根据权利要求3所述基于语义空间投影变换的三维模型在线标注方法，其特征在于，所述计算三维模型特征正交投影矩阵A和文本标签语义特征矩阵U的方法包括：语义空间优化目标函数的拉格朗日函数为：随机初始化所述三维模型特征正交投影矩阵A和所述文本标签语义特征矩阵U，并初始迭代变量t＝1；步骤1：计算所述目标函数对于A的导数：步骤2：计算所述目标函数对于U的导数：所述目标函数对于U的每个列向量的导数为：所述目标函数对于U的导数为步骤3：更新更新η为下降步长；步骤4：更新所述迭代变量t＝t+1；重复步骤1、步骤2、步骤3，直至所述三维模型特征正交投影矩阵A和文本标签语义特征矩阵U收敛；其中，λ和ζ为拉格朗日不定乘子；利用所述三维模型特征正交投影矩阵A对所述训练集三维模型内容特征矩阵进行变换，所述变换为O'＝ATO，将所述三维模型的语义特征向量和所述文本标签的语义特征向量存储到三维模型标注数据库中。5.根据权利要求4所述基于语义空间投影变换的三维模型在线标注方法，其特征在于，所述参数取值为：λ＝ζ＝0.005，下降步长η＝0.005。6.一种基于语义空间投影变换的三维模型在线标注系统，其特征在于，包括：训练集三维模型预处理装置，与三维模型标注数据库装置连接，用于提取所述训练集三维模型的内容特征向量和文本标签向量；所述三维模型标注数据库装置，分别与训练集三维模型预处理装置、训练集的三维模型的内容特征相似图建立装置、训练集的文本标签相关图建立装置、语义...

【专利技术属性】
技术研发人员：田枫，尚福华，周凯，
申请(专利权)人：东北石油大学，
类型：发明
国别省市：黑龙江,23