三维场景建模方法及装置、存储介质、计算机设备制造方法及图纸

本申请公开了一种三维场景建模方法及装置、存储介质、计算机设备，该方法包括：对场景图片进行前景裁剪得到至少一个前景裁剪图，基于所述前景裁剪图和所述场景图片，确定所述场景图片对应的前景特征向量和背景特征向量，预测所述背景特征向量对应的背景物体模型数据，预测每个所述前景特征向量各自对应的前景物体模型数据；分别预测每张所述前景裁剪图对应的前景物体局部姿态，基于所述前景裁剪图在所述场景图片中的位置以及所述前景物体局部姿态，确定前景物体全局姿态；根据所述前景物体全局姿态对所述前景物体模型数据进行位姿变换，基于所述背景物体模型数据和位姿变换后的前景物体模型数据，确定所述场景图片对应的三维场景模型数据。维场景模型数据。维场景模型数据。

【技术实现步骤摘要】
三维场景建模方法及装置、存储介质、计算机设备


[0001]本申请涉及三维建模
，尤其是涉及到一种三维场景建模方法及装置、存储介质、计算机设备。

技术介绍

[0002]三维场景重建面临的问题是，场景中的对象很多，有遮挡，不同对象的重要性不同，不仅仅要对对象三维重建，还要还原其在场景中的姿态。通过单视图对室内复杂场景进行自动建模，难度大，但能大幅提升很多应用场景3D内容创作效率，比如游戏，比如影视动漫，比如元宇宙/数字人/数字孪生等等，具有非常重大的意义。
[0003]在计算机视觉领域，对复杂室内场景进行较好的布局识别和三维重建一直是一个重要但具有挑战性的问题。

技术实现思路

[0004]有鉴于此，本申请提供了一种三维场景建模方法及装置、存储介质、计算机设备，将三维场景重建分为前景建模和背景建模两部分，对于高精度要求的前景部分，利用前景裁剪图进行局部姿态估计后又结合了全局信息进一步确定前景物体的全局姿态，从而还原了前景物体在三维场景中的位姿，只需一张场景图片即可实现三维场景的准确建模，简单方便、实用性强。
[0005]根据本申请的一个方面，提供了一种三维场景建模方法，所述方法包括：获取待建模的场景图片；通过预训练的三维场景建模模型执行以下步骤得到所述场景图片对应的三维场景模型数据：对所述场景图片进行前景裁剪得到至少一个前景裁剪图，基于所述前景裁剪图和所述场景图片，确定所述场景图片对应的前景特征向量和背景特征向量，并预测所述背景特征向量对应的背景物体模型数据，以及预测每个所述前景特征向量各自对应的前景物体模型数据；分别预测每张所述前景裁剪图对应的前景物体局部姿态，并基于所述前景裁剪图在所述场景图片中的位置以及所述前景物体局部姿态，确定前景物体全局姿态；根据所述前景物体全局姿态对所述前景物体模型数据进行位姿变换，并基于所述背景物体模型数据和位姿变换后的前景物体模型数据，确定所述场景图片对应的三维场景模型数据。
[0006]可选地，所述基于所述前景裁剪图和所述场景图片，确定所述场景图片对应的前景特征向量和背景特征向量，包括：通过预训练的前景特征提取网络，分别提取每张所述前景裁剪图对应的前景特征向量；通过预训练的全景特征提取网络，提取所述场景图片对应的全景特征向量，并基
于所述前景裁剪图在所述场景图片中对应的前景物体包围盒坐标，在所述全景特征向量中减掉前景特征部分得到所述场景图片对应的背景特征向量。
[0007]可选地，所述基于所述前景裁剪图在所述场景图片中的位置以及所述前景物体局部姿态，确定前景物体全局姿态，包括：基于所述前景裁剪图在所述场景图片中的位置，确定裁剪相机相对于所述场景图片的原点的平移数据，并确定所述平移数据对应的弱透视相机投影参数；将所述弱透视相机投影参数变换为透视相机投影参数，并基于所述透视相机投影参数和所述前景物体局部姿态，确定所述前景物体全局姿态。
[0008]可选地，所述将所述弱透视投影参数变换为透视相机投影参数，并基于所述透视相机投影参数和所述前景物体局部姿态，确定所述前景物体全局姿态，包括：根据弱透视相机到透视相机的变换公式，将所述弱透视投影参数变换为透视相机投影参数，其中，所述弱透视相机到透视相机的变换公式为：
[0009][0010]其中，和分别表示以所述场景图片的中心点为原点裁剪相机沿X轴、Y轴的平移数据，b表示所述前景裁剪图的边长，s表示缩放参数，表示裁剪相机焦距；
[0011]根据全局姿态估计公式，对所述透视相机投影参数和所述前景物体局部姿态进行计算，得到所述前景物体全局姿态，其中，所述全局姿态估计公式为：
[0012][0013]其中，是裁剪相机相对于原始相机的变换角度，表示以所述场景图片的中心点为原点的所述前景裁剪图的中心点坐标。
[0014]可选地，所述获取待建模的场景图片之前，所述方法还包括：建立三维场景建模模型，其中，所述三维场景建模模型包括前景裁剪网络、前景特征提取网络、全景特征提取网络、背景特征提取模块、前景模型预测网络、背景模型预测网络、局部姿态预测网络、全局姿态预测模块、以及三维建模模块；构建所述前景模型预测网络对应的前景预测损失函数、所述背景模型预测网络对应的背景预测损失函数、以及所述局部姿态预测网络对应的姿态预测损失函数，并基于所述前景预测损失函数、所述背景预测损失函数以及所述姿态预测损失函数确定所述三维场景建模模型的模型损失函数；利用场景图片样本和场景三维模型数据样本，对所述三维场景建模模型进行训练，其中，完成训练的三维场景建模模型用于对二维场景图片进行三维场景建模。
[0015]可选地，所述前景模型预测网络用于对输入的前景特征向量中各前景像素点对应的三维模型前景采样点是否属于待建模场景进行预测，各前景像素点对应的预测值用于表征对应的三维模型前景采样点属于待建模场景的概率；所述前景预测损失函数用于计算各三维模型前景采样点的预测值和真实值之间的损失值；所述背景模型预测网络用于对输入的背景特征向量中各背景像素点对应的三维
模型背景采样点是否属于待建模场景进行预测，各背景像素点的预测值用于表征对应的三维模型背景采样点属于待建模场景的概率；所述背景预测损失函数用于计算各三维模型背景采样点的预测值和真实值之间的损失值；所述姿态预测损失函数用于计算所述全局姿态预测模块输出的前景物体全局姿态对应的正交投影数据与所述场景三维模型数据样本中的前景物体样本对应的真实正交投影数据之间的损失值。
[0016]可选地，所述利用场景图片样本和场景三维模型数据样本，对所述三维场景建模模型进行训练之前，所述方法还包括：获取至少一个场景三维模型数据样本，其中，所述场景三维模型数据样本为点云类型、体素类型以及网络类型中的任一种数据类型；对多个预设角度以及多个预设包围盒深度进行组合，得到多个图像拍摄参数，并分别以每个所述图像拍摄参数对所述场景三维模型数据样本对应的样本三维模型进行拍摄，得到所述场景三维模型数据样本对应的多个场景图片样本；分别对每个所述样本三维模型进行采样，得到三维模型前景采样点和三维模型背景采样点,分别计算每个所述样本三维模型中各前景物体样本对应的正交投影数据作为所述真实正交投影数据；相应地，所述利用场景图片样本和场景三维模型数据样本，对所述三维场景建模模型进行训练，包括：利用每个所述场景三维模型数据样本及其对应的三维模型前景采样点、三维模型背景采样点、真实正交投影数据以及多个场景图片样本，对所述三维场景建模模型进行训练。
[0017]可选地，利用三维场景建模模型对二维场景图片进行三维场景建模的过程包括：通过所述前景裁剪网络对所述场景图片进行前景裁剪得到至少一个前景裁剪图，并通过所述前景特征提取网络分别提取每张所述前景裁剪图对应的前景特征向量；通过所述全景特征提取网络提取所述场景图片对应的全景特征向量，并将所述全景特征向量以及各张所述前景裁剪图在所述场景图片中的位置信息，输入至所述背景特征提取模块中，以使所述背景特征提取模块在所述全景特征向量中减掉前景特征部分得到所述场景图片对应的背景特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维场景建模方法，其特征在于，所述方法包括：获取待建模的场景图片；通过预训练的三维场景建模模型执行以下步骤得到所述场景图片对应的三维场景模型数据：对所述场景图片进行前景裁剪得到至少一个前景裁剪图，基于所述前景裁剪图和所述场景图片，确定所述场景图片对应的前景特征向量和背景特征向量，并预测所述背景特征向量对应的背景物体模型数据，以及预测每个所述前景特征向量各自对应的前景物体模型数据；分别预测每张所述前景裁剪图对应的前景物体局部姿态，并基于所述前景裁剪图在所述场景图片中的位置以及所述前景物体局部姿态，确定前景物体全局姿态；根据所述前景物体全局姿态对所述前景物体模型数据进行位姿变换，并基于所述背景物体模型数据和位姿变换后的前景物体模型数据，确定所述场景图片对应的三维场景模型数据。2.根据权利要求1所述的方法，其特征在于，所述基于所述前景裁剪图和所述场景图片，确定所述场景图片对应的前景特征向量和背景特征向量，包括：通过预训练的前景特征提取网络，分别提取每张所述前景裁剪图对应的前景特征向量；通过预训练的全景特征提取网络，提取所述场景图片对应的全景特征向量，并基于所述前景裁剪图在所述场景图片中对应的前景物体包围盒坐标，在所述全景特征向量中减掉前景特征部分得到所述场景图片对应的背景特征向量。3.根据权利要求1所述的方法，其特征在于，所述基于所述前景裁剪图在所述场景图片中的位置以及所述前景物体局部姿态，确定前景物体全局姿态，包括：基于所述前景裁剪图在所述场景图片中的位置，确定裁剪相机相对于所述场景图片的原点的平移数据，并确定所述平移数据对应的弱透视相机投影参数；将所述弱透视相机投影参数变换为透视相机投影参数，并基于所述透视相机投影参数和所述前景物体局部姿态，确定所述前景物体全局姿态。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述获取待建模的场景图片之前，所述方法还包括：建立三维场景建模模型，其中，所述三维场景建模模型包括前景裁剪网络、前景特征提取网络、全景特征提取网络、背景特征提取模块、前景模型预测网络、背景模型预测网络、局部姿态预测网络、全局姿态预测模块、以及三维建模模块；构建所述前景模型预测网络对应的前景预测损失函数、所述背景模型预测网络对应的背景预测损失函数、以及所述局部姿态预测网络对应的姿态预测损失函数，并基于所述前景预测损失函数、所述背景预测损失函数以及所述姿态预测损失函数确定所述三维场景建模模型的模型损失函数；利用场景图片样本和场景三维模型数据样本，对所述三维场景建模模型进行训练，其中，完成训练的三维场景建模模型用于对二维场景图片进行三维场景建模。5.根据权利要求4所述的方法，其特征在于，所述前景模型预测网络用于对输入的前景特征向量中各前景像素点对应的三维模型
前景采样点是否属于待建模场景进行预测，各前景像素点对应的预测值用于表征对应的三维模型前景采样点属于待建模场景的概率；所述前景预测损失函数用于计算各三维模型前景采样点的预测值和真实值之间的损失值；所述背景模型预测网络用于对输入的背景特征向量中各背景像素点对应的三维模型背景采样点是否属于待建模场景进行预测，各背景像素点的预测值用于表征对应的三维模型背景采样点属于待建模场景的概率；所述背景预测损失函数用于计算各三维模型背景采样点的预测值和真实值之间的损失值；所述姿态预测损失函数用于计算所述全局姿态预测模块输出的前景物体全局姿态对应的正交投影数据与所述场景三维模型数据样本中的前景物体样本对应的真实正交投影数据之间的损失值...

【专利技术属性】
技术研发人员：方顺，孙思远，冯星，崔铭，杨峰峰，韦建伟，胡梓楠，乔磊，张造时，汪成峰，穆子杰，刘锦，王月，熊宏康，房超，李荣华，单仝，张志恒，
申请(专利权)人：北京渲光科技有限公司，
类型：发明
国别省市：