三维预测模型的训练方法、三维重建方法及装置制造方法及图纸

本公开提供了一种三维预测模型的训练方法、三维重建方法及装置，通过将样本对象的第一样本序列输入预设三维预测模型，得到预测坐标序列，其中，第一样本序列是基于样本对象的二维样本视图所得；根据样本对象的标注坐标序列以及预测坐标序列，对预设三维预测模型进行训练，得到目标三维预测模型，目标三维预测模型用于根据待建模对象的二维视图生成待建模对象的目标坐标序列，目标坐标序列用于生成待建模对象的三维模型。本公开提供的三维预测模型的训练方法、三维重建方法及装置，通过目标三维预测模型可以生成待建模对象的三维模型，对二维视图的依赖性低，且对图纸的错误不敏感，提高了三维模型重建的精度及鲁棒性。提高了三维模型重建的精度及鲁棒性。提高了三维模型重建的精度及鲁棒性。

【技术实现步骤摘要】
三维预测模型的训练方法、三维重建方法及装置


[0001]本公开涉及三维重建
，尤其涉及三维预测模型的训练方法、三维重建方法及装置。

技术介绍

[0002]从三视图重建三维物体是根据物体的平面二维视图重建物体的三维模型的过程，其是计算机辅助设计中一个长期研究的课题。如何提升重建的三维模型的精度是三维物体重建的重点问题。另一方面，如何鲁棒得从二维图纸(如图纸错误、线段丢失等噪声问题)中重建三维模型也没有受到行业的太多关注。

技术实现思路

[0003]本公开提供了一种三维预测模型的训练方法、三维重建方法及装置。
[0004]根据本公开的一方面，提供了一种三维预测模型的训练方法，包括：将样本对象的第一样本序列输入预设三维预测模型，得到预测坐标序列，其中，第一样本序列是基于样本对象的二维样本视图所得；根据样本对象的标注坐标序列以及预测坐标序列，对预设三维预测模型进行训练，得到目标三维预测模型，目标三维预测模型用于根据待建模对象的二维视图生成待建模对象的目标坐标序列，目标坐标序列用于生成待建模对象的三维模型。
[0005]根据本公开的另一方面，提供了一种三维重建方法，包括：根据待建模对象的二维视图，生成第一序列；将第一序列输入目标三维预测模型，得到目标坐标序列，其中，目标三维预测模型是根据上述任一项实施例的方法训练得到的；根据目标坐标序列，生成待建模对象的三维模型。
[0006]根据本公开的另一方面，提供了一种三维预测模型的训练装置，包括：输入单元，用于将样本对象的第一样本序列输入预设三维预测模型，得到预测坐标序列，其中，第一样本序列是基于样本对象的二维样本视图所得；训练单元，用于根据样本对象的标注坐标序列以及预测坐标序列对预设三维预测模型进行训练，得到目标三维预测模型，目标三维预测模型用于根据待建模对象的二维视图生成待建模对象的目标坐标序列，目标坐标序列用于生成待建模对象的三维模型。
[0007]根据本公开的另一方面，提供了一种三维重建装置，包括：第一生成单元，用于根据待建模对象的二维视图，生成第一序列；预测单元，用于将第一序列输入目标三维预测模型，得到目标坐标序列，其中，目标三维预测模型是根据上述任一项实施例的方法训练得到的；第二生成单元，用于根据目标坐标序列，生成待建模对象的三维模型。
[0008]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与该至少一个处理器通信连接的存储器；其中，该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。
[0009]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储
介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。
[0010]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。
[0011]本公开实施例提供的三维预测模型的训练方法、三维重建方法及装置，通过将样本对象的第一样本序列输入预设三维预测模型，得到预测坐标序列，其中，第一样本序列是基于样本对象的二维样本视图所得；根据样本对象的标注坐标序列以及预测坐标序列，对预设三维预测模型进行训练，得到目标三维预测模型，目标三维预测模型用于根据待建模对象的二维视图生成待建模对象的目标坐标序列，目标坐标序列用于生成待建模对象的三维模型。本公开实施例提供的三维预测模型的训练方法、三维重建方法及装置，使得目标三维预测模型可以生成待建模对象的三维模型，相比于相关技术中的依靠二维视图与三维模型的对照关系进行建模的方式，利用目标三维预测模型进行三维重建，对二维视图的依赖性低，对图纸的错误不敏感，提高了三维模型重建的精度及鲁棒性。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0014]图1是应用本公开实施例的三维预测模型的训练方法及三维重建方法的系统的结构示意图；
[0015]图2是根据本公开实施例提供的三维预测模型的训练方法的流程示意图；
[0016]图3是根据本公开实施例提供的三维预测模型的结构示意图；
[0017]图4是根据本公开实施例提供的三维重建方法的流程示意图；
[0018]图5是根据本公开实施例提供的三维重建方法生成三维模型的过程图；
[0019]图6A是根据本公开实施例提供的三维重建方法的三维模型全局编辑示意图；
[0020]图6B是根据本公开实施例提供的三维重建方法的三维模型局部编辑示意图；
[0021]图7是根据本公开实施例提供的三维预测模型的训练装置的结构示意图；
[0022]图8是根据本公开实施例提供的三维重建装置的结构示意图；
[0023]图9是用来实现本公开实施例的三维预测模型的训练方法及三维重建方法的电子设备的框图。
具体实施方式
[0024]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0025]本公开实施例提供一种三维预测模型的训练方法、三维重建方法及装置方法、装置、电子设备及存储介质。具体地，本公开实施例的三维预测模型的训练方法、三维重建方法及装置可以由电子设备执行，其中，该电子设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、智能语音交互设备、智能家电、穿戴式智能设备、飞
行器、智能车载终端等设备，终端还可以包括客户端，该客户端可以是音频客户端、视频客户端、浏览器客户端、即时通信客户端或小程序等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
[0026]从二维三视图重建三维物体是计算机辅助设计中一个长期研究的课题。相关技术中的三维重建方法通过显式建模三维模型与二维视图之间的对应关系来重建三维模型。重建流程如下：(1)从二维顶点生成三维顶点；(2)从三维顶点生成三维线段；(3)从三维线段生成三维面；(4)从三维面生成三维体；(5)由三维体构建三维模型。
[0027]但是，该方法严重依赖于图纸的准确性，对于图纸中的错误非常敏感，一旦图纸存在图元的错误或是缺失，便会导致重建失败，重建精本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维预测模型的训练方法，包括：将样本对象的第一样本序列输入预设三维预测模型，得到预测坐标序列，其中，所述第一样本序列是基于所述样本对象的二维样本视图所得；根据所述样本对象的标注坐标序列以及所述预测坐标序列，对所述预设三维预测模型进行训练，得到目标三维预测模型，所述目标三维预测模型用于根据待建模对象的二维视图生成所述待建模对象的目标坐标序列，所述目标坐标序列用于生成所述待建模对象的三维模型。2.根据权利要求1所述的方法，其中，所述样本对象包括M个面，所述预测坐标序列包括M个预测坐标，所述M个预测坐标中的预测坐标为所述M个面中的面的预测坐标，M为大于等于2的正整数；将样本对象的第一样本序列输入预设三维预测模型，得到预测坐标序列，包括：将所述第一样本序列输入所述预设三维预测模型中的编码器，得到第一嵌入特征；将所述第一嵌入特征和第t
‑
1历史样本序列输入所述预设三维预测模型的解码器，得到第t个预测坐标，其中，所述第t
‑
1历史样本序列是基于所述第t个预测坐标之前的t
‑
1个预测坐标所得，t为大于等于2且小于等于M的正整数；至少基于所述第t个预测坐标，得到预测坐标序列。3.根据权利要求2所述的方法，其中，将所述第一嵌入特征和第t
‑
1历史样本序列输入所述预设三维预测模型的解码器，得到第t个预测坐标，包括：将所述第一嵌入特征以及所述第t
‑
1历史样本序列输入所述解码器，得到第t个隐藏特征；根据所述第t个隐藏特征，确定第t条件概率分布结果；根据所述第t条件概率分布结果，确定所述第t个预测坐标。4.根据权利要求3所述的方法，其中，根据所述第t个隐藏特征，确定第t条件概率分布结果，包括：根据所述第t个隐藏特征，确定第一条件概率分布以及依附概率，所述第一条件概率分布为所述第t个预测坐标的候选数值的概率分布；根据所述第t个隐藏特征以及第t
‑
1历史隐藏特征序列，确定第二条件概率分布，所述第t
‑
1历史隐藏特征序列包括所述编码器输出的位于所述第t个隐藏特征之前的t
‑
1个隐藏特征；所述第二条件概率分布为所述第t个预测坐标的候选依附关系的概率分布，所述候选依附关系用于指向所述M个面中与当前面具有依附关系的面，所述当前面为所述M个面中与所述第t个预测坐标对应的面；根据所述第一条件概率分布、所述第二条件概率分布以及所述依附概率，确定所述第t条件概率分布结果。5.根据权利要求4所述的方法，其中，根据所述第t条件概率分布结果，确定所述第t个预测坐标，包括：从所述第t条件概率分布结果中确定最大概率对应的候选结果；基于所述候选结果得到所述第t个预测坐标。6.根据权利要求5所述的方法，其中，在所述候选结果为所述第一条件概率分布中的候选数值的情况下，所述第t个预测坐
标为所述候选数值；或者，在所述候选结果为所述第二条件概率分布中的候选依附关系的情况下，所述第t个预测坐标为所述候选依附关系所指向的面的标识。7.根据权利要求2
‑
6任一项所述的方法，其中，所述第t
‑
1历史样本序列包括t
‑
1个转化特征，所述t
‑
1个转化特征中的第s个转化特征是基于第s个预测坐标所得；所述第s个转化特征包括以下至少之一：面数值特征、部件位置特征以及面位置特征；其中，所述面数值特征用于表示第s个预测坐标的坐标值；所述部件位置特征用于表示所述第s个预测坐标所在的第一部件在所述样本对象中的相对位置，所述第一部件为所述样本对象所包括的多个部件中的一个；所述面位置特征用于表示所述第s个预测坐标所对应的面在所述第一部件中的相对位置。8.根据权利要求1
‑
7中任一项所述的方法，还包括：获取所述二维样本视图中包含的多个线段；将所述多个线段的坐标转化为线段坐标序列；将所述线段坐标序列转化为第一样本序列。9.根据权利要求8所述的方法，其中，将所述多个线段的坐标转化为线段坐标序列，包括：根据第一预设规则，对所述多个线段进行排序；将排序后的所述多个线段的坐标转化为线段坐标序列。10.根据权利要求8所述的方法，其中，所述线段坐标序列包括N个线段坐标，所述第一样本序列包括N个第一特征，所述N个第一特征中的第r个第一特征是基于所述N个线段坐标中的第r个线段坐标所得，N为正整数；所述第r个第一特征包括以下至少之一：数值特征、视图特征、视图位置特征、线段位置特征以及可视特征；其中，所述数值特征用于表示所述第r个线段坐标的坐标值；所述视图特征用于表示所述第r个线段坐标所在的二维样本视图；所述线段位置特征用于表示所述第r个线段坐标所在的第一线段在所述二维样本视图中的相对位置，所述第一线段为所述多个线段中的一个；所述坐标位置特征用于表示所述第r个线段坐标在所述第一线段中的相对位置；所述可视特征用于表示所述第一线段的可视状态。11.根据权利要求1
‑
10中任一项所述的方法，还包括：确定所述样本对象的有向无环图，所述有向无环图包括依附关系集合以及面集合，所述依附关系集合中的依附关系用于表示所述样本对象的M个面中的具有依附关系的两个面，所述面集合包括所述M个面的坐标；根据第二预设规则，对所述向无环图进行排序，得到所述样本对象的有序图；将所述有序图转化为所述标注坐标序列，所述标注坐标序列包括以预设规则排列的M个标注坐标，所述M个标注坐标中的标注坐标为所述M个面中的面的坐标。12.根据权利要求11所述的方法，其中，
在所述标注坐标对应的第一面位于所述依附关系集合的情况下，所述标注坐标为与所述第一面具有依附关系的第二面的标识；或者，在所述标注坐标对应的第一面不位于所述依附关系集合的情况下，所述标注坐标为所述第一面的坐标值；其中，所述第一面和所述第二面为所述M个面中的不同面。13.根据权利要求11所述的方法，其中，所述样本对象包括A个部件；所述方法还包括：获取所述A个部件中部件的坐标集合，所述部件的坐标集合包括构成所述部件的B个面的坐标；至少基于所述部件的坐标集合，得到所述面集合，其中，A和B为正整数，且M的取值与A和B的值相关。14.一种三维重建方法，包括：根据待建模对象的二维视图，生成第一序列；将所述第一序列输入目标三维预测模型，得到目标坐标序列，其中，所述目标三维预测模型是根据权利要求1
‑
13中任一项所述的方法训练得到的；根据所述目标坐标序列，生成所述待建模对象的三维模型。15.根据权利要求14所述的方法，在根据所述目标坐标序列，生成所述待建模对象的三维模型之后，所述方法还包括：对所述目标坐标序列进行修改，以编辑所述三维模型。16.一种三维预测模型的训练装置，包括：输入单元，用于将样本对象的第一样本序列输入预设三维预测模型，得到预测坐标序列，其中，所述第一样本序列是基于所述样本对象的二维样本视图所得；训练单元，用于根据所述样本对象的标注坐标序列以及所述预测坐标序列对所述预设三维预...

【专利技术属性】
技术研发人员：郑佳，胡文涛，张紫欣，周子寒，
申请(专利权)人：杭州群核信息技术有限公司，
类型：发明
国别省市：