由2D图像重建3D模型的方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种由2D图像重建3D模型的方法、装置、设备及存储介质。包括：获取三维物体至少两个视角分别对应的二维图像；将所述至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得所述三维物体的3D模型。本发明专利技术实施例提供的由2D图像重建3D模型的方法，将至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得所述三维物体的3D模型，不仅可以提高重建3D模型的准确性，而且使得用户通过查看3D模型更容易理解三维物体。

Method, Device, Equipment and Storage Medium for Reconstructing 3D Model from 2D Image

【技术实现步骤摘要】
由2D图像重建3D模型的方法、装置、设备及存储介质
本专利技术实施例涉及图像处理
，尤其涉及一种由2D图像重建3D模型的方法、装置、设备及存储介质。
技术介绍
在专业数字文献(如专利文本、期刊等)中包含大量的视图，目的是为了读者更好的理解文献的具体内容。其中，视图可以是平面图、立体图、剖视图或者透视图等。现有的数字文献在描述三维物体时，通常采用三维物体各个角度对应的视图，如：正视图、俯视图、左视图、右视图及仰视图等。虽然这些视图有助于用户从不同角度了解三维物体，但是这些视图是分离且独立的，读者通常不容易在脑海中重建原始的三维物体，从而无法准确的理解文献的内容。
技术实现思路
本专利技术实施例提供一种由2D图像重建3D模型的方法、装置、设备及存储介质，根据数字文献中的2D图重建3D模型，有助于读者准确的理解文献的内容。第一方面，本专利技术实施例提供了一种由2D图像重建3D模型的方法，该方法包括：获取三维物体至少两个视角分别对应的二维图像；将所述至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得所述三维物体的3D模型。进一步地，获取三维物体至少两个视角分别对应的二维图像，包括：从数字文献中提取三维物体至少两个视角分别对应的初始二维图像；分别对各初始二维图像进行预处理，获得至少两个视角分别对应的目标二维图像；将所述目标二维图像与视角信息相关联；相应的，将所述至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，包括：将与视角信息相关联的目标二维图像输入设定神经网络进行信息融合及3D模型重建。进一步地，从数字文献中提取三维物体至少两个视角分别对应的初始二维图像，包括：从数字文献中提取图形标题部分，并对所述图像标题部分进行标准化处理，获得初始二维图像的图像类型。进一步地，从数字文献中提取图形标题部分，并对所述图像标题部分进行标准化处理，获得初始二维图像的图形类型，包括：对数字文献中的附图说明信息进行定位；对定位后的附图说明信息进行附图说明抽取及附图编号的抽取；从抽取的附图说明中获得二维图像的图像类型，并对图像类型进行归一化处理。进一步地，对数字文献中的附图说明信息进行定位，包括：采用内容解析器对数字文献中设定部分的内容切分为多个内容对，所述内容对包括小节标题及小节内容；根据所述小节标题按照预设类别表对附图说明信息进行定位。进一步地，对定位后的附图说明信息进行附图说明抽取及附图编号的抽取，包括：采用预先构建的正则表达式对附图说明进行抽取。进一步地，对定位后的附图说明信息进行附图说明抽取及附图编号的抽取，包括：采用模式匹配方式获取附图编号的模式，根据所述附图编号的模式进行附图编号的抽取。进一步地，所述附图编号的模式包括第一模式和第二模式，第一模式为附图编号由分离的一个或多个编号组成，第二模式为附图编号由编号范围组成；若附图编号的模式为第一模式，根据所述附图编号的模式进行附图编号的抽取，包括：将分离的一个或多个编号进行抽取，确定为附图编号；若附图编号的模式为第二模式，则对编号范围进行切分，获取编号范围包含的各个编号，确定为附图编号。进一步地，分别对各初始二维图像进行预处理，获得至少两个视角分别对应的目标二维图像，包括：分别对各初始二维图像进行图形剪切，获得至少两个视角分别对应的目标二维图像；相应的，将所述目标二维图像与视角信息相关联，包括：获取所述至少两个视角图像正交投影后的视图类型，确定为视角信息；将所述目标二维图像与视角信息相关联。进一步地，所述设定神经网络包括第一卷积子网络、第二卷积子网络和信息融合子网络；所述第一卷积子网络和第二卷积子网络均与所述信息融合子网络连接；将所述至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得所述三维物体的3D模型，包括：将所述各视角分别对应的二维图像输入所述第一卷积子网络获得深度图及曲面法向图；将所述各视角分别对应的二维图像输入所述第二卷积子网络进行特征提取，获得关键特征；将所述深度图、所述曲面法向图和所述关键特征输入所述信息融合子网络进行信息融合及3D模型重建，获得所述三维物体的3D模型。进一步地，所述3D模型包括如下至少一种：3D点云、网格3D表面和CAD模型。进一步地，若3D模型为CAD模型，则将所述深度图、所述曲面法向图和所述关键特征输入所述信息融合子网络进行信息融合及3D模型重建，获得所述三维物体的3D模型，包括：将所述深度图和所述曲面法向图分别与所述关键特征进行对齐处理，获得所述关键特征的矢量形式；根据所述关键特征的矢量形式生成CAD模型。进一步地，在获取三维物体至少两个视角分别对应的图像之前，还包括：获取训练样本集，所述训练样本集包括多个参考3D模型以及各参考3D模型分别对应的至少两个视角的二维图像；根据所述训练样本集对设定神经网络进行训练。进一步地，根据所述训练样本集对设定神经网络进行训练，包括：将至少两个视角的二维图像输入所述第一卷积子网络获得深度图及曲面法向图；将至少两个视角的二维图像输入所述第二卷积子网络进行特征提取，获得关键特征；将所述深度图、所述曲面法向图和所述关键特征输入所述信息融合子网络进行信息融合及3D模型重建，获得预测3D模型；根据所述预测3D模型和所述参考3D模型对所述设定神经网络中的参数进行调整，直至训练结束。进一步地，在获得所述三维物体的3D模型之后，还包括：将所述3D模型存储于数据库中，并建立所述3D模型的搜索索引信息。第二方面，本专利技术实施例还提供了一种由2D图像重建3D模型的装置，该装置包括：二维图像获取模块，用于获取三维物体至少两个视角分别对应的二维图像；3D模型获取模块，用于将所述至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得所述三维物体的3D模型。第三方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术实施例所述的由2D图像重建3D模型的方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例所述的由2D图像重建3D模型的方法。本专利技术实施例，首先获取三维物体至少两个视角分别对应的二维图像，然后将至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得三维物体的3D模型。本专利技术实施例提供的由2D图像重建3D模型的方法，将至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得所述三维物体的3D模型，不仅可以提高重建3D模型的准确性，而且使得用户通过查看3D模型更容易理解三维物体。附图说明图1是本专利技术实施例一中的一种由2D图像重建3D模型的方法的流程图；图2是本专利技术实施例一中的一种设定神经网络的结构示意图；图3是本专利技术实施例一中的生成椅子的3D模型的示例图；图4是本专利技术实施例二中的一种由2D图像重建3D模型的方法的流程图；图5是本专利技术实施例二中的一种对设定神经网络进行训练的示例图；图6是本专利技术实施例三中的一种由2D图像重建3D模型的装置的结构示意图；图7是本专利技术实施例四中的一种计算机设备的结构示意图。具体实施方式下面结合附图和实本文档来自技高网...

【技术保护点】
1.一种由2D图像重建3D模型的方法，其特征在于，包括：获取三维物体至少两个视角分别对应的二维图像；将所述至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得所述三维物体的3D模型。

【技术特征摘要】
1.一种由2D图像重建3D模型的方法，其特征在于，包括：获取三维物体至少两个视角分别对应的二维图像；将所述至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得所述三维物体的3D模型。2.根据权利要求1所述的方法，其特征在于，获取三维物体至少两个视角分别对应的二维图像，包括：从数字文献中提取三维物体至少两个视角分别对应的初始二维图像；分别对各初始二维图像进行预处理，获得至少两个视角分别对应的目标二维图像；将所述目标二维图像与视角信息相关联；相应的，将所述至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，包括：将与视角信息相关联的目标二维图像输入设定神经网络进行信息融合及3D模型重建。3.根据权利要求2所述的方法，其特征在于，从数字文献中提取三维物体至少两个视角分别对应的初始二维图像，包括：从数字文献中提取图形标题部分，并对所述图像标题部分进行标准化处理，获得初始二维图像的图像类型。4.根据权利要求3所述的方法，其特征在于，从数字文献中提取图形标题部分，并对所述图像标题部分进行标准化处理，获得初始二维图像的图形类型，包括：对数字文献中的附图说明信息进行定位；对定位后的附图说明信息进行附图说明抽取及附图编号的抽取；从抽取的附图说明中获得二维图像的图像类型，并对图像类型进行归一化处理。5.根据权利要求4所述的方法，其特征在于，对数字文献中的附图说明信息进行定位，包括：采用内容解析器对数字文献中设定部分的内容切分为多个内容对，所述内容对包括小节标题及小节内容；根据所述小节标题按照预设类别表对附图说明信息进行定位。6.根据权利要求4所述的方法，其特征在于，对数字文献中的附图说明信息进行定位，包括：采用预先构建的正则表达式对附图说明进行抽取。7.根据权利要求4所述的方法，其特征在于，对定位后的附图说明信息进行附图说明抽取及附图编号的抽取，包括：采用模式匹配方式获取附图编号的模式，根据所述附图编号的模式进行附图编号的抽取。8.根据权利要求7所述的方法，其特征在于，所述附图编号的模式包括第一模式和第二模式，第一模式为附图编号由分离的一个或多个编号组成，第二模式为附图编号由编号范围组成；若附图编号的模式为第一模式，根据所述附图编号的模式进行附图编号的抽取，包括：将分离的一个或多个编号进行抽取，确定为附图编号；若附图编号的模式为第二模式，则对编号范围进行切分，获取编号范围包含的各个编号，确定为附图编号。9.根据权利要求2所述的方法，其特征在于，分别对各初始二维图像进行预处理，获得至少两个视角分别对应的目标二维图像，包括：分别对各初始二维图像进行图形剪切，获得至少两个视角分别对应的目标二维图像；相应的，将所述目标二维图像与视角信息相关联，包括：获取所述至少两个视角图像正交投影后的视图类型，确定为视角信息；将所述目标二维图像与视角信息相关联。10.根据权利要求1所述的方法，其特征在于，所述设定神经网络包括第一卷积子网络、第二卷积子网...

【专利技术属性】
技术研发人员：杜嘉，川合滋典，高欣婷，兀提哈，傅学勇，黑马，
申请(专利权)人：智慧芽信息科技苏州有限公司，
类型：发明
国别省市：江苏,32