基于二维图像特征引导的三维模型变形方法及装置制造方法及图纸

本发明专利技术公开了一种基于二维图像特征引导的三维模型变形方法及装置，包括：将目标图片输入至预先设立的双模型网络中，识别出目标图片的边界点和两端点，并使用相似度度量方法在三维模型库中获取与目标图片最相似的三维模型；获取最相似的三维模型的边界点和两端端点，并将进行最大主成向方向进行投影，得到二维网格模型的二维边界点和两端点；将二维网格模型的边界点映射到目标图片的边界上，获得二维目标边界；接着将三维模型的Z值坐标添加到二维目标边界，获得三维目标边界；将三维目标边界通过网格形变算法获得目标三维模型。本发明专利技术通过网格形变算法，精准确定网格模型形变的目标边界点。目标边界点。目标边界点。

【技术实现步骤摘要】
基于二维图像特征引导的三维模型变形方法及装置


[0001]本专利技术属于计算机视觉中的三维重建
，具体涉及一种基于二维图像特征引导的三维模型变形方法及装置。

技术介绍

[0002]三维模型变形算法是三维模型造型技术的关键步骤，被广泛应用于三维打印、影视动画、生物医学等领域。三维模型变形多应用在建模的早期阶段，用户对已有模型做拉伸、旋转、平移等操作，以构建具有不同外观的新的三维模型，为各种应用提供数据基础。三维模型变形方法可以实现高质量高效率的三维模型重构，体现三维模型几何设计的高效性。
[0003]目前有一种基于图片的真实感树叶建模方法，它包括以下几个步骤：(1)对一幅树叶图像进行边缘检测并配合Marching Square算法提取出树叶的轮廓及叶脉信息；(2)利用改进的Delaunay三角形算法对叶片进行三角形网格化处理，得到具有均匀三角形网格的叶片模型；(3)以叶脉作为变形控制骨架，采用基于Laplace方程的迭代变形算法对二维叶片进行变形，以生成带有自然弯曲变形效果的叶片模型。这种方法能够反映真实植物叶片的形态特征，并有利于树叶自然变形效果的模拟。但以Delaunay三角形算法生成的叶片网格模型缺乏叶片自身的空间信息并难以确定网格模型形变的目标边界点。
[0004]尽管当前各种粒度的三维植株建模任务取得一定进展，但无论三维扫描仪或多视图方式获取的三维数据大都只包含场景的几何属性(如形状、法向、曲率等)，缺少高层语义类别属性，且三维点云的非结构化特性使得点云具有较强的主观性和不确定性，导致植株不同器官(如叶柄、叶片、茎干等)颜色相近或者遮挡时，难以在点云上实现不同器官的准确分割，进而影响后续各器官形态结构信息的解析。另一方面，由于植株二维图像本身蕴含丰富的语义信息和结构信息(如叶片和茎干结构、不同视角对应等)，而这些信息可为植株形态结构精准三维建模提供充分监督信息。现有的方法普遍存在的缺点是需要大规模且高质量的数据集来训练和评估生成单张图片三维重建模型。但现有数据集通常只包含少数类别或少量样本，导致可能存在噪声、遮挡、低分辨率等问题，并且计算资源和时间成本较高，限制了模型在实际场景中的应用。针对上述，提出基于二维图像引导三维模型变形算法，借助基于输入的二维图像，通过深度学习双模型进行叶片相似性度量，获得其轮廓、叶根、叶尖及图像库中形状最佳匹配叶片等信息，在此基础上，结合图像库中叶片三维模型对输入叶片进行形变处理，实现其三维形状建模。

技术实现思路

[0005]本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于二维图像特征引导的三维模型变形方法，基于二维图像，通过深度学习双模型进行叶片相似性度量以及形变算法，能够保持模型的局部特征，精准确定网格模型形变的目标边界点。
[0006]为了达到上述目的，本专利技术采用以下技术方案：
[0007]本专利技术一方面提供了一种基于二维图像特征引导的三维模型变形方法，包括下述步骤：
[0008]将目标图片输入至预先设立的双模型网络中，识别出目标图片的边界点和两端点，并使用相似度度量方法在三维模型库中获取与目标图片最相似的三维模型；所述双模型网络包括Mask R
‑
CNN模型和Simple
‑
Baseline模型；所述Simple
‑
Baseline模型用于分割目标图片，获取边界轮廓信息；所述Simple
‑
Baseline模型用于对目标图片两端点进行定位；
[0009]获取所述最相似的三维模型的边界点和两端点，并将最相似的三维模型的最大主成向方向进行投影，得到二维网格模型的边界点和两端点；并将目标图片的两端点根据所述二维网格模型的两端点距离进行调整大小与配准；
[0010]将所述二维网格模型的边界点映射到目标图片的边界上，获得二维目标边界；接着将三维模型的Z值坐标添加到二维目标边界，获得三维目标边界；
[0011]将所述三维目标边界通过网格形变算法获得目标三维模型；所述网格形变算法是通过构建拉普拉斯矩阵，确定变化参数后计算变换的目标位置，并使用二次能量函数来实现形变。
[0012]作为优选的技术方案，所述相似度度量方法是将两端点之间的距离作为长度，再给长度作垂线，其中最长的一根垂线为宽度，因此，通过长度和宽度得到形状；其中，两个形状之间的比值为相似度的值，相似度的值越趋近于1，则形状越相似。
[0013]作为优选的技术方案，所述Simple
‑
Baseline模型用于对目标图片两端点进行定位；具体的：对目标图片进行特征提取，通过上采样层将特征图恢复到原始分辨率，然后在每个特征图上使用一个卷积层输出对应关键点类别的热图，并通过softmax函数归一化；最后，在每个热图上找到最大值所在位置作为预测关键点坐标，并通过高斯峰值调整进行细化，最终得到两端点。
[0014]作为优选的技术方案，所述获取所述最相似的三维模型的边界点和两端点，具体为：
[0015]获取三维模型两端点：将三维模型图片中的顶点作为输入点集，遍历输入点集，找出距离最远的两个点即为两端点；
[0016]获取三维模型边界点：
[0017]遍历三维模型中的所有面，获取每个面所有边；
[0018]对于每条边，检查是否在一个面中只出现了一次，如果是，说明该条边在边界上；
[0019]如果一个边在边界上，将该条边的两个顶点加入到边界点集合中；
[0020]如果边界点集合中的点数量小于三维模型的顶点数量，说明还有一些顶点不在边界上，需要将孤立的顶点添加到边界点集合中。
[0021]作为优选的技术方案，所述将最相似的三维模型的最大主成向方向进行投影是将高维数据投影到低维空间中，使得投影后的数据方差最大，从而保留数据的主要特征。
[0022]作为优选的技术方案，所述将所述二维网格模型的边界点映射到目标图片的边界上，获得二维目标边界，具体为：
[0023]将二维网格模型的边界设为A集合，目标边界设为B集合，对于A中的每个点A
i
，计算其与B中所有点之间的距离d(A
i
,B
j
),其中B
j
表示B中的第j个点；
[0024]对于每个A
i
，选择距离最小的点B
k
，记录其距离d(A
i
,B
k
)；
[0025]遍历A点集合，获得A点集合中每个点到B点集合的各个点，并记录下来。
[0026]作为优选的技术方案，所述网格形变算法是通过构建拉普拉斯矩阵，确定变化参数后计算变换的目标位置，并使用二次能量函数来实现形变，具体为：
[0027]构建拉普拉斯矩阵，拉普拉斯矩阵是一个和网格结构相关的矩阵，用于描述网格的形状和特征，矩阵每一行表示一个顶点和其周围顶点的关系，通过计算顶点的加权平均值得到；具体而言，将每个顶点的坐标值减去周围顶点坐标的平均值，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于二维图像特征引导的三维模型变形方法，其特征在于，包括下述步骤：将目标图片输入至预先设立的双模型网络中，识别出目标图片的边界点和两端点，并使用相似度度量方法在三维模型库中获取与目标图片最相似的三维模型；所述双模型网络包括Mask R
‑
CNN模型和Simple
‑
Baseline模型；所述Simple
‑
Baseline模型用于分割目标图片，获取边界轮廓信息；所述Simple
‑
Baseline模型用于对目标图片两端点进行定位；获取所述最相似的三维模型的边界点和两端点，并将最相似的三维模型的最大主成向方向进行投影，得到二维网格模型的边界点和两端点；并将目标图片的两端点根据所述二维网格模型的两端点距离进行调整大小与配准；将所述二维网格模型的边界点映射到目标图片的边界上，获得二维目标边界；接着将三维模型的Z值坐标添加到二维目标边界，获得三维目标边界；将所述三维目标边界通过网格形变算法获得目标三维模型；所述网格形变算法是通过构建拉普拉斯矩阵，确定变化参数后计算变换的目标位置，并使用二次能量函数来实现形变。2.根据权利要求1所述基于二维图像特征引导的三维模型变形方法，其特征在于，所述相似度度量方法是将两端点之间的距离作为长度，再给长度作垂线，其中最长的一根垂线为宽度，因此，通过长度和宽度得到形状；其中，两个形状之间的比值为相似度的值，相似度的值越趋近于1，则形状越相似。3.根据权利要求1所述基于二维图像特征引导的三维模型变形方法，其特征在于，所述Simple
‑
Baseline模型用于对目标图片两端点进行定位；具体的：对目标图片进行特征提取，通过上采样层将特征图恢复到原始分辨率，然后在每个特征图上使用一个卷积层输出对应关键点类别的热图，并通过softmax函数归一化；最后，在每个热图上找到最大值所在位置作为预测关键点坐标，并通过高斯峰值调整进行细化，最终得到两端点。4.根据权利要求1所述基于二维图像特征引导的三维模型变形方法，其特征在于，所述获取所述最相似的三维模型的边界点和两端点，具体为：获取三维模型两端点：将三维模型图片中的顶点作为输入点集，遍历输入点集，找出距离最远的两个点即为两端点；获取三维模型边界点：遍历三维模型中的所有面，获取每个面所有边；对于每条边，检查是否在一个面中只出现了一次，如果是，说明该条边在边界上；如果一个边在边界上，将该条边的两个顶点加入到边界点集合中；如果边界点集合中的点数量小于三维模型的顶点数量，说明还有一些顶点不在边界上，需要将孤立的顶点添加到边界点集合中。5.根据权利要求1所述基于二维图像特征引导的三维模型变形方法，其特征在于，所述将最相似的三维模型的最大主成向方向进行投影是将高维数据投影到低维空间中，使得投影后的数据方差最大，从而保留数据的主要特征。6.根据权利要求1所述基于二维图像特征引导的三维模型变形方法，其特征在于，所述将所述二维网格模型的边界点映射到目标图片的边界上，获得二维目标边界，具体为：将二维网格模型的边界设为A集合，目标边界设为B集合，对于A中的每个点A
i
，计算其与B中所有点之间的距离d(A
i
,B
j
),其中B
j
表示B中的第j个点；
对于每个A
i
，选择距离最小的点B
k
，记录其距离d(A
i
,B
k
)；遍历A点集合，获得A点集合中每个点到B点集合的各个点，并记录下来。7.根据权利要求1所述基于二维图像特征引导的三维模型变形方法，其特征在于，所述网格形变算法是通过构建...

【专利技术属性】
技术研发人员：高月芳，杨烽，李必政，黄琼，杨存义，肖冬冬，郑朱茵，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：