【技术实现步骤摘要】
本申请涉及三维形状分割领域，特别是涉及基于半监督的三维形状分割框架的构建与优化方法及电子设备。
技术介绍
1、三维形状分割任务涉及将三维形状划分为有意义的部分，对于高效处理三维形状至关重要。它使我们能够更轻松地理解形状的内在特性，例如其拓扑结构。因此，各种任务，包括网格编辑、重建、建模、变形和形状检索等，都依赖于三维形状分割以获得令人满意的结果。目前，形状分割已经成为最受欢迎和充满挑战的研究领域之一。
2、传统的三维形状分割方法通常包括三个主要步骤。首先，使用手工制作的形状描述符将形状上的每个面映射到相应的特征向量，随后，在特征空间中应用聚类或分类方法来为每个特征向量分配标签，最后，根据相应的特征向量的标签，对三维形状中的每个面进行标记。然而，机器学习的最新进展导致了基于学习的分割方法的发展，特别是基于深度学习架构的方法。与传统的几何优化方法相比，这些方法在性能上表现出了显著的改进
3、尽管基于学习的分割方法，特别是深度学习方法，已经取得了令人印象深刻的成果，但它们存在一个主要缺点，即需要大量与目标形状相似的完全标记的训练数据，这可能会在手动标记方面带来显著的时间和成本负担。此外，这些方法通常需要为每个目标的三维形状准备不同的训练形状集，增加了训练过程的复杂性。
技术实现思路
1、为了克服当前基于学习的分割方法的局限性，降低训练过程的复杂度，提高分割的精准度，根据本申请实施例的一个方面，本专利技术提出了一种基于半监督的三维形状分割框架的构建方法，所述三维形状
2、所述构建方法包括：
3、获取第一数据集与第二数据集；所述第一数据集中的数据为完整标注的三维形状；所述第二数据集中的数据为带有稀疏scribble标注的三维形状；
4、对第一数据集中各三维形状的参考标签进行采样，以生成对应的带有稀疏scribble标注的三维形状，得到第三数据集；
5、将第三数据集输入辅助分割网络模块以训练辅助分割网络，其中，所述投影模块获取第三数据集中各三维形状对应的多视图投影图像得到第四数据集，并建立参考矩阵；所述参考矩阵中的数据包括在获取多视图投影图像的过程中，每个像素对应在原始三维形状上的顶点坐标；所述辅助分割网络基于第一目标函数与第四数据集中的多视图投影图像进行训练，以预测出多视图投影图像中各二维图像对应的预测标签；所述反投影模块利用参考矩阵将预测标签映射回对应的三维形状的面片上，以对第三数据集中三维形状的各面片生成对应的完整标注；
6、将第二数据集输入训练后的辅助分割网络模块，以输出包含完整标注的三维形状即伪标签，得到第五数据集；
7、通过第一数据集与第五数据集训练主分割网络，以针对三维形状的每个面片输出对应的面片特征，并预测出对应的预测标签；
8、通过自细化模块将辅助分割网络模块输出的伪标签与主分割网络输出的面片特征进行融合，得到融合后的伪标签；
9、通过计算模块利用真实标签、融合后的伪标签以及主分割网络生成的预测标签计算交叉熵损失值，并根据交叉熵损失值调整主分割网络的网络参数。
10、进一步地，所述多视图投影图像的二维图像包括深度图与渲染图；
11、所述反投影模块，具体用于根据每个像素在参考矩阵(对应位置)中记录的顶点坐标，寻找三维形状中对应坐标的面片，得到二维图像中预测标签与三维形状上每个面片的语义标签之间的对应关系，并基于对应关系将预测标签映射至对应的三维形状面片上。
12、进一步地，所述辅助分割网络包括：
13、encoder模块，用于接收多视图投影图像，并提取多视图投影图像中各二维图像对应的图像特征信息；
14、decoder模块，用于根据图像特征信息对其对应的二维图像进行标签预测，得到各二维图像对应的预测标签。
15、进一步地，所述主分割网络包括：
16、由四层全连接层组成的主要细分模块，用于提取三维形状中每个面片对应的面片特征；
17、softmax模块，用于根据每个面片对应的面片特征预测出对应的预测标签；
18、所述计算模块具体用于：
19、针对第一数据集，通过真实标签与softmax模块生成的预测标签计算交叉熵损失值，针对第五数据集，通过融合后的伪标签与softmax模块生成的预测标签计算交叉熵损失值。
20、进一步地，所述自细化模块包括两层卷积层,用于在预测过程中动态地学习主分割网络和辅助分割网络对带有稀疏scribble标注的三维形状的预测结果的权重分配。
21、进一步地，所述第一目标函数的公式表达式为：
22、
23、式中，f表示第一数据集，s(f)表示第一数据集中三维形状的面片；x(f)表示s(f)面片的特征向量，y(f)表示辅助分割网络对x(f)的预测标签，θ表示辅助分割网络的网络参数，paux表示辅助分割网络对应的预测函数。
24、根据本申请实施例的另一个方面，还提出了一种基于半监督的三维形状分割框架的优化方法，包括：
25、获取目标函数；
26、通过目标函数优化三维形状分割框架；其中，所述三维形状分割框架通过上文所述的基于半监督的三维形状分割框架的构建方法得到。
27、进一步地，所述目标函数的公式表达式为：
28、
29、式中，与φ均表示主分割网络的网络参数，λ表示自细化模块的网络参数，f表示第一数据集，ppri表示主分割网络的预测，x(f)表示第一数据集f中三维形状的面片的特征向量，y(f)表示主分割网络对x(f)的预测标签，s表示第二数据集或第三数据集，qconv表示自细化模块产生的动态权重，x(s)表示第二数据集或第三数据集中三维形状的面片的特征向量，s(s)表示第二数据集或第三数据集中三维形状的面片，y表示辅助分割网络对x(s)的预测，s(f)表示第一数据集中三维形状的面片。
30、根据本申请实施例的另一个方面，还提出了一种基于半监督的三维形状分割方法，包括：
31、获取未标注的待分割三维形状；
32、将未标注的待分割三维形状输入主分割网络进行预测，得到包含完整标注的三维形状；其中，所述主分割网络通过上文所述的基于半监督的三维形状分割框架的构建方法训练得到。
33、根据本申请实施例的再一个方面，还提出了一种电子设备，包括：处理器，以及存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行以上任一实施例中的方法。
34、与现有技术相比，本申请提出的技术方案具有以下技术效果：
35、(1)本专利技术通过对第一数据集中各三维形状的参考标签进行采样，生成对应的带有稀疏s本文档来自技高网...
【技术保护点】
1.一种基于半监督的三维形状分割框架的构建方法，其特征在于，所述三维形状分割框架包括辅助分割网络模块、自细化模块以及包含主分割网络与计算模块的主分割网络模块；所述辅助分割网络模块包括用于预测伪标签的辅助分割网络、用于对三维形状进行投影的投影模块与反投影模块；
2.根据权利要求1所述的一种基于半监督的三维形状分割框架的构建方法，其特征在于，所述多视图投影图像的二维图像包括深度图与渲染图；
3.根据权利要求2所述的一种基于半监督的三维形状分割框架的构建方法，其特征在于，所述辅助分割网络包括：
4.根据权利要求3所述的一种基于半监督的三维形状分割框架的构建方法，其特征在于，所述主分割网络包括：
5.根据权利要求4所述的一种基于半监督的三维形状分割框架的构建方法，其特征在于，所述自细化模块包括两层卷积层,用于在预测过程中动态地学习主分割网络和辅助分割网络对带有稀疏Scribble标注的三维形状的预测结果的权重分配。
6.根据权利要求5所述的一种基于半监督的三维形状分割框架的构建方法，其特征在于，所述第一目标函数的公式表达式为：<...
【技术特征摘要】
1.一种基于半监督的三维形状分割框架的构建方法，其特征在于，所述三维形状分割框架包括辅助分割网络模块、自细化模块以及包含主分割网络与计算模块的主分割网络模块；所述辅助分割网络模块包括用于预测伪标签的辅助分割网络、用于对三维形状进行投影的投影模块与反投影模块；
2.根据权利要求1所述的一种基于半监督的三维形状分割框架的构建方法，其特征在于，所述多视图投影图像的二维图像包括深度图与渲染图；
3.根据权利要求2所述的一种基于半监督的三维形状分割框架的构建方法，其特征在于，所述辅助分割网络包括：
4.根据权利要求3所述的一种基于半监督的三维形状分割框架的构建方法，其特征在于，所述主分割网络包括：
5.根据权利要求4所述的一种基于半监督的三维形状分割框架的构建方法，其特征在于...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。