一种三维模型构建方法、装置、存储介质及电子设备制造方法及图纸

技术编号：40647381 阅读：10 留言：0更新日期：2024-03-13 21:26

本说明书公开了一种三维模型构建方法、装置、存储介质及电子设备，通过提示参数，对生成器的参数进行调整，可使得生成器生成的图像特征为提示要求的图像特征。也就是说，通过提示参数，对生成器生成的图像特征进行限制，增强生成器的控制能力。对初始视角图像特征进行位置编码，获取了若干个预设视角图像特征，获取了不同于初始视角的图像特征可提高根据图像特征构建三维模型的准确性，减少当生成器的生成准确率较低时，对构建的三维模型的影响。

全部详细技术资料下载

【技术实现步骤摘要】

本说明书涉及图像处理领域，尤其涉及一种三维模型构建方法、装置、存储介质及电子设备。

技术介绍

1、随着图像处理技术的发展，图像处理设备可通过二维图像得到对应的三维模型，例如，将多张不同视角的二维图像输入神经辐射场模型，得到二维图像的特征参数，以根据该特征参数，生成三维模型。还可将多张二维图像的图像特征输入训练好的生成对抗网络的生成器，得到用于构建三维模型的三维顶点数据，进而确定三维模型。

2、但是通过神经辐射场模型生成三维模型，需要先获取二维图像的像素点到图像采集设备的距离，以确定该像素点的相机射线，再对该相机射线进行采样，得到若干采样点，再对采样点进行渲染，过程较为复杂，使得生成三维模型的速度较慢。

3、此外，一般的生成对抗网络主要通过生成器与判别器对抗训练，以提高生成器的生成准确率及判别器的判别准确率，但仅通过生成器与判别器对抗训练，可能使得生成器生成三维顶点数据的准确率较低，从而影响生成的三维模型的准确率。例如，生成器的训练主要依赖于生成对抗网络中判别器的判别结果，而判别器的判别结果依赖于判别器的标注三维顶点数据的准确性，若标注三维顶点数据准确性较低，则使得判别结果准确性较低，导致生成器未得到充分训练，使得生成器生成的预测三维顶点数据的准确性低，进而影响生成的三维模型的准确性。

4、基于此，本说明书提供一种三维模型构建方法。

技术实现思路

1、本说明书提供一种三维模型构建方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。</p>

2、本说明书采用下述技术方案：

3、本说明书提供了一种三维模型构建方法，所述方法包括：

4、获取二维图像及所述二维图像的提示参数，所述提示参数包括所述二维图像的采集视角参数；

5、将所述提示参数输入训练好的生成对抗网络的生成器中的映射网络，以使所述映射网络根据所述提示参数，调整所述生成器，得到调整后的生成器；

6、将所述二维图像输入所述调整后的生成器，得到所述调整后的生成器输出的所述二维图像的初始视角图像特征；

7、将所述初始视角图像特征进行位置编码，得到预设视角图像特征；

8、根据所述预设视角图像特征，构建所述二维图像的三维模型。

9、可选地，将所述初始视角图像特征进行位置编码，得到预设视角图像特征，具体包括：

10、根据预设卷积方式，对所述初始视角图像特征进行卷积，得到新的初始视角图像特征；

11、对新的初始视角图像特征进行位置编码，得到预设视角图像特征。

12、可选地，对新的初始视角图像特征进行位置编码，得到预设视角图像特征，具体包括：

13、在所述新的初始视角图像特征所在的三维空间内，针对所述三维空间的每个二维平面，根据所述新的初始视角图像特征，对该二维平面进行双线性插值，得到该二维平面的平面特征；

14、确定不同频率的位置编码函数；

15、针对每种频率的位置编码函数，根据该位置编码函数，对所述平面特征进行位置编码，得到预设视角图像特征。

16、可选地，根据所述预设视角图像特征，构建所述二维图像的三维模型，具体包括：

17、确定所述二维图像中每个像素点对应的世界坐标系中的三维坐标；

18、针对每个三维坐标，将该三维坐标映射至所述新的初始视角图像特征所在的三维空间内，得到映射后的三维坐标；

19、根据所述映射后的三维坐标及所述预设视角图像特征，构建所述二维图像的三维模型。

20、可选地，根据所述映射后的三维坐标及所述预设视角图像特征，构建所述二维图像的三维模型，具体包括：

21、针对每个映射后的三维坐标，确定该映射后的三维坐标的位置编码，得到坐标位置编码；并在若干个预设视角图像特征中，确定该映射后的三维坐标的每个二维平面的预设视角图像特征；

22、根据映射后的三维坐标的每个二维平面的预设视角图像特征及所述坐标位置编码，确定第三图像特征；

23、根据所述第三图像特征，构建所述二维图像的三维模型。

24、可选地，根据所述第三图像特征，构建所述二维图像的三维模型，具体包括：

25、对所述第三图像特征进行解码，得到所述映射后的三维坐标的特征参数；

26、针对所述二维图像中每个像素点，根据所述特征参数，确定该像素点的色彩特征；

27、根据所述色彩特征，构建所述二维图像的三维模型。

28、可选地，根据所述色彩特征，构建所述二维图像的三维模型，具体包括：

29、根据所述提示参数及所述色彩特征，确定所述二维图像的第一三维图像；

30、对所述色彩特征进行采样，得到采样后的色彩特征；并根据采样后的色彩特征，确定所述二维图像的第二三维图像；

31、对所述第二三维图像进行上采样，得到上采样后的所述第二三维图像；

32、根据所述上采样后的所述第二三维图像及所述第一三维图像，构建所述二维图像的三维模型。

33、可选地，训练所述生成对抗网络的生成器，具体包括：

34、获取样本二维图像，并获取所述样本二维图像的标注三维图像及标注提示参数，作为所述样本二维图像的标签；

35、将所述样本二维图像输入所述生成对抗网络的生成器，得到所述生成器输出的所述样本二维图像的预测图像特征；

36、对所述预测图像特征进行位置编码，得到编码后的预测图像特征；

37、根据所述编码后的预测图像特征，确定所述样本二维图像的预测三维图像；

38、将所述预测三维图像输入所述生成对抗网络的判别器，以使所述判别器根据所述标签，输出的所述样本二维图像的判别结果；

39、根据所述判别结果，对所述生成器进行训练。

40、本说明书提供了一种三维模型构建装置，所述装置包括：

41、二维图像获取模块，用于获取二维图像及所述二维图像的提示参数，所述提示参数包括所述二维图像的采集视角参数；

42、调整模块，用于将所述提示参数输入训练好的生成对抗网络的生成器中的映射网络，以使所述映射网络根据所述提示参数，调整所述生成器，得到调整后的生成器；

43、初始视角图像特征确定模块，用于将所述二维图像输入所述调整后的生成器，得到所述调整后的生成器输出的所述二维图像的初始视角图像特征；

44、预设视角图像特征确定模块，用于将所述初始视角图像特征进行位置编码，得到预设视角图像特征；

45、构建模块，用于根据所述预设视角图像特征，构建所述二维图像的三维模型。

46、可选地，所述预设视角图像特征确定模块具体用于，根据预设卷积方式，对所述初始视角图像特征进行卷积，得到新的初始视角图像特征；对新的初始视角图像特征进行位置编码，得到预设视角图像特征。

47、可选地，所述预设视角图像特征确定模块本文档来自技高网...

【技术保护点】

1.一种三维模型构建方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，将所述初始视角图像特征进行位置编码，得到预设视角图像特征，具体包括：

3.如权利要求2所述的方法，其特征在于，对新的初始视角图像特征进行位置编码，得到预设视角图像特征，具体包括：

4.如权利要求2所述的方法，其特征在于，根据所述预设视角图像特征，构建所述二维图像的三维模型，具体包括：

5.如权利要求4所述的方法，其特征在于，根据所述映射后的三维坐标及所述预设视角图像特征，构建所述二维图像的三维模型，具体包括：

6.如权利要求5所述的方法，其特征在于，根据所述第三图像特征，构建所述二维图像的三维模型，具体包括：

7.如权利要求6所述的方法，其特征在于，根据所述色彩特征，构建所述二维图像的三维模型，具体包括：

8.如权利要求1所述的方法，其特征在于，训练所述生成对抗网络的生成器，具体包括：

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~8任一项所述的方法。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~8任一项所述的方法。

...

【技术特征摘要】

1.一种三维模型构建方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，将所述初始视角图像特征进行位置编码，得到预设视角图像特征，具体包括：

3.如权利要求2所述的方法，其特征在于，对新的初始视角图像特征进行位置编码，得到预设视角图像特征，具体包括：

4.如权利要求2所述的方法，其特征在于，根据所述预设视角图像特征，构建所述二维图像的三维模型，具体包括：

5.如权利要求4所述的方法，其特征在于，根据所述映射后的三维坐标及所述预设视角图像特征，构建所述二维图像的三维模型，具体包括：

6.如权利要求5所述的方法，其特...

【专利技术属性】
技术研发人员：王宏升，林峰，岳金鸿，杨鑫，徐迅，
申请(专利权)人：之江实验室，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人