一种基于多尺度特征融合的家具多视图三维模型重建方法技术

本发明专利技术公开了一种基于多尺度特征融合的家具多视图三维模型重建方法，本发明专利技术属于家具的三维技术领域，包括：获取原始家具视图，对原始家具视图进行预处理，得到增强家具视图；构建多尺度特征融合模型，多尺度特征融合模型包括：编码器、解码器和特征融合模块；将原始家具视图和增强家具视图分别输入编码器、解码器，得到多尺度特征向量，其中所述多尺度特征向量包括：形体特征向量、材质特征向量和光源特征向量；对多尺度特征向量进行特征融合，得到家具多视图三维模型。本发明专利技术能够以低成本的代价重建出可供设计师在设计工具中使用的三维模型，也可仅使用一张物体的图片数据来进行重建工作，填补了现有技术的不足。填补了现有技术的不足。填补了现有技术的不足。

【技术实现步骤摘要】
一种基于多尺度特征融合的家具多视图三维模型重建方法


[0001]本专利技术属于家具的三维技术
，尤其涉及一种基于多尺度特征融合的家具多视图三维模型重建方法。

技术介绍

[0002]三维重建的工作一般指利用二维图片的信息来生成相对应的三维模型。随着智能机器人、增强现实等技术的快速发展，对精准、无交互的三维重建的工作提出了更多挑战，比如越来越多设计人员希望仅通过拍摄一张或少数物体的照片，通过这些照片就能获得物体的三维模型并在设计工具中进行编辑使用。对于该重建工作，专业人员常使用基于运动结构恢复或者多视角立体视觉的方法来完成三维重建工作。
[0003]现有技术中，大部分三维重建为交互式建模，即需要使用专业机器，比如激光相机等设备，对物体进行扫描摄像才能进行建模，使用成本较高；其次，大部分三维重建需要使用一些实验室数据才能完成建模工作，比如相机内外参数，一般人员难以获得这些额外数据；此外，基于运动结构恢复和多视角立体视觉的方法还存在着很大的局限性，比如当只有少数的非重叠视图数据可以使用的时候，就会出现无法进行重建或者重建完全失败的情况。

技术实现思路

[0004]本专利技术提出了一种基于多尺度特征融合的家具多视图三维模型重建方法，仅以使用普通相机获取物体的少数不同视角的视图数据为素材，生成家具对应的三维模型，使用户可以简单快速在设计工具中使用该三维模型；以解决上述现有技术中存在的成本高、难以获得相机参数和三维重建失败的技术问题。
[0005]为实现上述目的，本专利技术提供了一种基于多尺度特征融合的家具多视图三维模型重建方法，包括：获取原始家具视图，对所述原始家具视图进行预处理，得到增强家具视图；构建多尺度特征融合模型，所述对比学习模型包括：编码器、解码器和特征融合模块；将所述原始家具视图和所述增强家具视图分别依次输入所述编码器和解码器，得到多尺度特征向量，其中所述多尺度特征向量包括：形体特征向量、材质特征向量和光源特征向量；对所述多尺度特征向量进行特征融合，得到家具多视图三维模型。
[0006]优选地，得到多尺度特征向量的过程包括：基于所述原始家具视图，通过编码器得到原始家具特征向量；基于所述增强家具视图，通过编码器得到增强家具特征向量；将所述原始家具特征向量和增强家具特征向量进行拼接，获得家具序列特征向量；
将所述家具序列特征向量输入解码器，得到形体特征向量、材质特征向量和光源特征向量；其中所述编码器分别为两个共享参数。
[0007]优选地，通过编码器，得到原始家具潜在向量的过程包括：将所述原始家具视图进行批编码，得到原始批编码序列，基于所述编码器对所述原始批编码序列进行归一化、多头自注意力计算，得到原始注意力序列，将所述原始家具视图与所述原始注意力序列进行残差连接，得到编码器潜在向量，将所述编码器潜在向量进行归一化并输入至全连接层，得到原始家具特征向量。
[0008]优选地，通过编码器，得到原始家具潜在向量的过程包括：将所述原始家具视图进行批编码，得到原始批编码序列，基于所述编码器对所述原始批编码序列进行归一化、多头自注意力计算，得到原始注意力序列，将所述原始家具视图与所述原始注意力序列进行残差连接，得到编码器潜在向量，将所述编码器潜在向量进行归一化并输入至全连接层，得到原始家具特征向量。
[0009]优选地，通过编码器，得到增强家具潜在向量的过程包括：将所述增强家具视图进行批编码，得到增强批编码序列，基于所述编码器对所述增强批编码序列进行归一化、多头自注意力计算，得到增强注意力序列，将所述增强家具视图与所述增强注意力序列进行残差连接，得到编码器潜在向量，将所述编码器潜在向量进行归一化并输入至全连接层，得到增强家具特征那个向量。
[0010]优选地，通过解码器，得到多尺度特征向量的过程包括：对所述家具序列特征向量进行一次大尺度的卷积层计算，获得大尺度潜在向量，对大尺度潜在向量依次进行批编码、自注意力计算、全连接层计算和残差连接后获得形体特征向量；对所述大尺度潜在向量进行一次中尺度的卷积层计算，获得中尺度潜在向量，对中尺度潜在向量依次进行批编码、自注意力计算、全连接层计算和残差连接后获得材质特征向量；对所述中尺度潜在向量进行一次小尺度的卷积层计算，获得小尺度潜在向量，对小尺度潜在向量依次进行批编码、自注意力计算、全连接层计算和残差连接后获得光源特征向量；优选地，得到家具多视图三维重建模型的过程包括：将所述形体特征向量、材质特征向量和光源特征向量通过特征融合模块分别进行小、中、大尺度的卷积层计算并输出结果，基于输出结果得到家具多视图三维模型。
[0011]优选地，基于输出结果得到家具多视图三维模型的过程包括：对输出结果进行组合拼接，获得最终的家具三维模型，其中所述输出结果包括：三维形体图、材质UV图和光源结构图。
[0012]与现有技术相比，本专利技术具有如下优点和技术效果：本专利技术通过多尺度特征融合模型，重建出家具三维模型，能够在不使用如相机内外参等额外数据的情况下，以低成本的代价重建出可供设计师在设计工具中使用的三维模型，也可仅使用一张物体的图片数据来进行重建工作，填补了现有方案的不足。
附图说明
[0013]构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本专利技术实施例的方法流程图；图2为本专利技术实施例的预处理流程图；图3为本专利技术实施例的多尺度特征融合模型结构图；图4为本专利技术实施例的编码器的结构图；图5为本专利技术实施例的解码器的结构图；图6为本专利技术实施例的特征融合模块的结构图。
具体实施方式
[0014]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0015]需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0016]实施例一
[0017]如图1所示，本实施例中提供一种基于多尺度特征融合的家具多视图三维模型重建方法，包括：S1：使用相机拍摄需要进行建模的家具的视图数据；S2：对视图数据进行预处理，得到原视图序列数据和增强后的视图序列数据；S3：通过原视图序列数据和增强后的视图序列数据获得家具的形体特征潜在向量、材质特征潜在向量和光源特征潜在向量；S4：将家具的形体特征潜在向量、材质特征潜在向量和光源特征潜在向量输入特征融合模块模块生成对应的三维模型；进一步地，步骤S1具体过程如下：S1
‑
1：使用普通相机，以不同的视角拍摄家具的一定数量的二维视图数据，数量最少可仅有一张；进一步地，步骤S2具体过程如下：S2
‑
1：将获取的视图数据缩放为长为224像素，宽为224像素的RGB视图数据；S2
‑
2：将视图序列数据进行数据增强，获得原视图序列数据和增强后的视图序本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度特征融合的家具多视图三维模型重建方法，其特征在于，包括以下步骤：获取原始家具视图，对所述原始家具视图进行预处理，得到增强家具视图；构建多尺度特征融合模型，所述多尺度特征融合模型包括：编码器、解码器和特征融合模块；将所述原始家具视图和所述增强家具视图分别依次输入所述编码器、解码器，得到多尺度特征向量，其中所述多尺度特征向量包括：形体特征向量、材质特征向量和光源特征向量；对所述多尺度特征向量进行特征融合，得到家具多视图三维模型。2.根据权利要求1所述的基于多尺度特征融合的家具多视图三维模型重建方法，其特征在于，得到多尺度特征向量的过程包括：基于所述原始家具视图输入编码器，得到原始家具特征向量；基于所述增强家具视图输入编码器，得到增强家具特征向量；将所述原始家具特征向量和增强家具特征向量进行拼接，获得家具序列特征向量；将所述家具序列特征向量输入解码器，得到形体特征向量、材质特征向量和光源特征向量；其中所述编码器分别为两个共享参数。3.根据权利要求2所述的基于多尺度特征融合的家具多视图三维模型重建方法，其特征在于，通过编码器，得到原始家具特征向量的过程包括：将所述原始家具视图进行批编码，得到原始批编码序列，基于所述编码器对所述原始批编码序列进行归一化、多头自注意力计算，得到原始注意力序列，将所述原始家具视图与所述原始注意力序列进行残差连接，得到编码器潜在向量，将所述编码器潜在向量进行归一化并输入至全连接层，得到原始家具特征向量。4.根据权利要求2所述的基于多尺度特征融合的家具多视图三维模型重建方法，其特征在于，通过编码器，得到增强家具特征向量的过程包括：将所述增...

【专利技术属性】
技术研发人员：马礼斌，胡展坤，刘建圻，姚壮凯，
申请(专利权)人：广东皮阿诺科学艺术家居股份有限公司，
类型：发明
国别省市：