基于手绘草图的三维模型生成与装配方法和系统技术方案

本发明专利技术提供了一种基于手绘草图的三维模型生成与装配方法和系统，包括：构成整体形态的三维模型数据集，拆分为由部件的三维模型组成，构成各部件的三维模型数据集，并渲染得到草图；计算出部件装配的空间位置参数，对各部件独立地训练有向距离函数神经网络，实现从部件形态草图到部件三维模型的映射；将各部件的三维模型根据估计的空间位置参数进行装配，采用泊松重建算法生成由单一表面构成且具有水密特性的整体形态的三维模型，作为基于手绘草图的三维模型生成与装配的结果。本发明专利技术通过将复杂的三维模型拆分为形态更加简单、更易表示的部件，在提高产品形态设计效率的同时保证了方案验证的准确性。方案验证的准确性。方案验证的准确性。

【技术实现步骤摘要】
基于手绘草图的三维模型生成与装配方法和系统


[0001]本专利技术涉及三维模型
，具体地，涉及一种基于手绘草图的三维模型生成与装配方法和系统。

技术介绍

[0002]近年来，产品形态设计向着智能化、自动化的方向发展，在概念设计方案创作效率、方案评价准确性和方案生成质量上有了明显提升。在这一发展趋势中，以图像分析和三维模型重建为代表的相关人工智能技术的应用起到了关键作用。例如，利用图像内容生成技术快速生成大量兼具通用特性与典型风格的椅子产品原型图像，能够明显减轻设计师的创作负担，并为他们提供灵感来源。利用三维模型重建技术基于已有产品图像生成相应的三维模型，能够减少人工建模的工作量，提升设计流程的效率。
[0003]然而，目前人工智能技术的应用在产品形态设计领域面临一些挑战。例如，生成式模型的性能提升需要更大的模型、更多的数据量和计算力，这些成本限制了生成式模型的效果。因此，需要对通用的人工智能技术在领域下采用特定的改进方法进行应用，以达到符合领域相关要求的效果。针对基于手绘草图的三维模型设计方案生成，三维模型的表示相对于二维图像需要更大数据量，且三维模型精度的提升所需的生成式模型规模增大相对于二维的情况更显著，导致目前基于手绘草图的三维模型生成精度低、对细节特征的表示效果差。
[0004]专利文献CN108109190A(申请号：CN201711349153.7)公开了一种融合手绘风格的卡通动画生成方法，包括以下步骤：(1)首先利用手绘图构建角色的三维网格和骨架子空间模型；(2)然后结合姿态重建和微分域网格变形算法，创建一组与多视点手绘图相匹配的视点相关模型；(3)最后通过运动标注和启发式泛化算法将手绘风格融入输入的运动序列，使生成的动画既保留运动序列的原始特征。然而该专利无法解决目前存在的技术问题。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术的目的是提供一种基于手绘草图的三维模型生成与装配方法和系统。
[0006]根据本专利技术提供的基于手绘草图的三维模型生成与装配方法，包括：
[0007]步骤1：从开放的ShapeNet数据库中获取属于目标产品类型的三维模型样本，构成整体形态的三维模型数据集，并对三维模型利用blender平台的线稿渲染工具通过透视投影渲染得到草图，构成整体形态的草图数据集；
[0008]步骤2：将整体形态的三维模型样本拆分为由部件的三维模型组成，构成各部件的三维模型数据集，并对各部件的三维模型利用blender平台的线稿渲染工具通过透视投影渲染得到草图，构成各部件的独立的形态草图数据集；
[0009]步骤3：对整体形态的三维模型利用blender平台的线稿渲染工具通过平行投影渲染得到草图，从中计算出部件装配的空间位置参数，构成各部件的空间位置参数数据集；
[0010]步骤4：利用各部件的三维模型数据集，对各部件独立地训练有向距离函数神经网络，实现从部件形态草图到部件三维模型的映射，利用部件的空间位置参数数据集，训练用于装配位置参数估计的深度神经网络，实现从整体形态草图到各部件空间位置参数的映射；
[0011]步骤5：测试时将手绘的整体形态草图输入到已训练的深度神经网络，得到各部件的装配位置参数的估计结果，并将手绘的各部件的形态草图作为已训练的各部件的有向距离函数神经网络的一项输入，采用移动立方体算法处理神经网络，得到各部件的三角面片形式表示的三维模型；
[0012]步骤6：将测试时生成的各部件的三维模型根据估计的空间位置参数进行装配，采用泊松重建算法生成由单一表面构成且具有水密特性的整体形态的三维模型，作为基于手绘草图的三维模型生成与装配的结果。
[0013]优选的，所述步骤1包括：所述的构建整体形态的三维模型数据集，其中每个三维模型样本以三角面片形式表示并存储在obj格式的文件中；所述的构建整体形态的草图数据集，在渲染时，blender平台下的相机面向一个预定义的、体现产品对象特征的固定方向P1。
[0014]优选的，所述步骤3包括：所述的计算部件装配的空间位置参数，以平行投影渲染草图时，blender平台下的相机面向一个预定义的、体现各部件相对位置的固定方向P2；采用霍夫圆检测算法，检测出平行投影所渲染的草图中符合预定义的各部件半径范围的圆形，并根据圆形在草图图像的相对位置和半径大小匹配为各个部件类型，最后以草图图像的左下角为坐标原点，将各部件的圆形中心的像素坐标分别沿x、y轴方向均匀归一化到[0,1]范围，作为各部件的空间位置参数。
[0015]优选的，所述步骤4包括：所述的训练有向距离函数神经网络，训练前对每个样本的三维模型随机采样9000个空间点，并计算各采样点的有向距离函数值，将每个样本的形态草图、各采样点空间坐标、各采样点的有向距离函数值共同作为训练数据；训练迭代次数为2000，在每个训练代，将每8个训练样本作为同一批次，每个样本的9000个采样点空间坐标分别与该样本的形态草图共同作为有向距离函数神经网络的输入，训练损失为网络输出的有向距离函数值与真实采样得到的有向距离函数值之间的平均绝对误差，全连接层权重参数的初始值设为0，使用Adam优化器进行网络权重更新，学习率为0.00005，使用pytorch深度学习框架进行搭建。
[0016]优选的，所述步骤4包括：所述的训练用于装配位置参数估计的深度神经网络，对应网络输入的训练数据为相机面向P1方向以透视投影渲染出的整体形态草图，对应网络输出的训练数据为各部件的空间位置参数经过归一化的结果，在每个训练代，将每32个训练样本作为同一批次，网络权重采用xavier方法初始化，使用pytorch深度学习框架进行搭建。
[0017]根据本专利技术提供的基于手绘草图的三维模型生成与装配系统，包括：
[0018]模块M1：从开放的ShapeNet数据库中获取属于目标产品类型的三维模型样本，构成整体形态的三维模型数据集，并对三维模型利用blender平台的线稿渲染工具通过透视投影渲染得到草图，构成整体形态的草图数据集；
[0019]模块M2：将整体形态的三维模型样本拆分为由部件的三维模型组成，构成各部件
的三维模型数据集，并对各部件的三维模型利用blender平台的线稿渲染工具通过透视投影渲染得到草图，构成各部件的独立的形态草图数据集；
[0020]模块M3：对整体形态的三维模型利用blender平台的线稿渲染工具通过平行投影渲染得到草图，从中计算出部件装配的空间位置参数，构成各部件的空间位置参数数据集；
[0021]模块M4：利用各部件的三维模型数据集，对各部件独立地训练有向距离函数神经网络，实现从部件形态草图到部件三维模型的映射，利用部件的空间位置参数数据集，训练用于装配位置参数估计的深度神经网络，实现从整体形态草图到各部件空间位置参数的映射；
[0022]模块M5：测试时将手绘的整体形态草图输入到已训练的深度神经网络，得到各部件的装配位置参数的估计结果，并将手绘的各部件的形态草图作为已训练的各部件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于手绘草图的三维模型生成与装配方法，其特征在于，包括：步骤1：从开放的ShapeNet数据库中获取属于目标产品类型的三维模型样本，构成整体形态的三维模型数据集，并对三维模型利用blender平台的线稿渲染工具通过透视投影渲染得到草图，构成整体形态的草图数据集；步骤2：将整体形态的三维模型样本拆分为由部件的三维模型组成，构成各部件的三维模型数据集，并对各部件的三维模型利用blender平台的线稿渲染工具通过透视投影渲染得到草图，构成各部件的独立的形态草图数据集；步骤3：对整体形态的三维模型利用blender平台的线稿渲染工具通过平行投影渲染得到草图，从中计算出部件装配的空间位置参数，构成各部件的空间位置参数数据集；步骤4：利用各部件的三维模型数据集，对各部件独立地训练有向距离函数神经网络，实现从部件形态草图到部件三维模型的映射，利用部件的空间位置参数数据集，训练用于装配位置参数估计的深度神经网络，实现从整体形态草图到各部件空间位置参数的映射；步骤5：测试时将手绘的整体形态草图输入到已训练的深度神经网络，得到各部件的装配位置参数的估计结果，并将手绘的各部件的形态草图作为已训练的各部件的有向距离函数神经网络的一项输入，采用移动立方体算法处理神经网络，得到各部件的三角面片形式表示的三维模型；步骤6：将测试时生成的各部件的三维模型根据估计的空间位置参数进行装配，采用泊松重建算法生成由单一表面构成且具有水密特性的整体形态的三维模型，作为基于手绘草图的三维模型生成与装配的结果。2.根据权利要求1所述的基于手绘草图的三维模型生成与装配方法，其特征在于，所述步骤1包括：所述的构建整体形态的三维模型数据集，其中每个三维模型样本以三角面片形式表示并存储在obj格式的文件中；所述的构建整体形态的草图数据集，在渲染时，blender平台下的相机面向一个预定义的、体现产品对象特征的固定方向P1。3.根据权利要求1所述的基于手绘草图的三维模型生成与装配方法，其特征在于，所述步骤3包括：所述的计算部件装配的空间位置参数，以平行投影渲染草图时，blender平台下的相机面向一个预定义的、体现各部件相对位置的固定方向P2；采用霍夫圆检测算法，检测出平行投影所渲染的草图中符合预定义的各部件半径范围的圆形，并根据圆形在草图图像的相对位置和半径大小匹配为各个部件类型，最后以草图图像的左下角为坐标原点，将各部件的圆形中心的像素坐标分别沿x、y轴方向均匀归一化到[0,1]范围，作为各部件的空间位置参数。4.根据权利要求1所述的基于手绘草图的三维模型生成与装配方法，其特征在于，所述步骤4包括：所述的训练有向距离函数神经网络，训练前对每个样本的三维模型随机采样9000个空间点，并计算各采样点的有向距离函数值，将每个样本的形态草图、各采样点空间坐标、各采样点的有向距离函数值共同作为训练数据；训练迭代次数为2000，在每个训练代，将每8个训练样本作为同一批次，每个样本的9000个采样点空间坐标分别与该样本的形态草图共同作为有向距离函数神经网络的输入，训练损失为网络输出的有向距离函数值与真实采样得到的有向距离函数值之间的平均绝对误差，全连接层权重参数的初始值设为0，使用Adam优化器进行网络权重更新，学习率为0.00005，使用pytorch深度学习框架进行搭建。
5.根据权利要求2所述的基于手绘草图的三维模型生成与装配方法，其特征在于，所述步骤4包括：所述的训练用于装配位置参数估计的深度神经网络，对应网络输入的训练数据为相机面向P1方向以透视投影渲染出的整体形态草图，对应网络输出的训练数据为各部件的空间位置参数经过归一化的结果，在每个训练代，将每32个训练样本作为同一批次，网络权重采用xavier方法初始化，使用pytorch深度学习框架进行搭建。6.一种基于手绘草...

【专利技术属性】
技术研发人员：戚进，朱思羽，胡洁，董伯树，雷逸豪，蒋心瑶，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：