3D矢量网格生成方法及设备技术

本申请公开了一种3D矢量网格生成方法及设备，该方法包括：获取针对当前场景的多张第一图像，对多张第一图像进行点云重建得到当前场景的点云和第一图像的位姿；对多张第一图像中的每张第一图像进行语义分割得到该第一图像的2D语义信息；根据当前场景的点云、第一图像的位姿及多张第一图像中每张第一图像的2D语义信息生成当前场景的3D语义模型；对当前场景的3D语义模型进行矢量模型的特征提取及分类，得到当前场景中矢量模型的类别和参数；根据当前场景中矢量模型的类别和参数获取当前场景的3D矢量网格。采用实施例的方案可以构建各种场景的3D矢量网格，极大提高了矢量建模的适用范围和商用价值。适用范围和商用价值。适用范围和商用价值。

【技术实现步骤摘要】
3D矢量网格生成方法及设备


[0001]本专利技术涉及增强现实(augmented reality，AR)领域，尤其涉及一种3D矢量网格生成方法及设备。

技术介绍

[0002]随着AR技术的发展，虚实融合的全新数字现实体验走进普通用户的生活，AR生态逐渐丰富，新型的AR应用层出不穷，其中与现实场景相关的交互离不开场景的三维信息构建。
[0003]如图1所示，3D矢量网格作为场景三维信息的一种简洁表示，对虚拟对象放置、场景交互碰撞、虚实遮挡等有重要作用。其获取方式主要是由专业测绘团队测量场景3D信息，再由专业人员手工处理生成，效率低、成本高。
[0004]当前对于自动生成矢量网格的方法，主要依赖3D平面拟合，仅仅能生成平面建筑物的外形轮廓的矢量网格，对于曲面建筑和室内场景并不适用。通过卷积神经网络(convolutional neural networks，CNN)网络等对图像序列做2D语义分割，可以实现对室内外图像的形状标注，再通过马尔科夫随机场(markov random field，MRF)等优化方法，可以生成带语义信息的室内外3D网格，但是3D语义网格的形状相较于原始网格并无改变，数据量大，且拓扑复杂，因此主要用于导航、场景理解、目标识别等，其包含的场景结构信息对建模方面的应用没有被广泛开发。

技术实现思路

[0005]本申请实施例提供一种3D矢量网格生成方法及设备，采用实施例的方案可以构建各种场景的3D矢量网格，比如室内、室外、平面和曲面等，极大提高了矢量建模的适用范围和商用价值。
[0006]第一方面，本申请实施例提供一种3D矢量网格生成方法，包括：
[0007]获取针对当前场景的多张第一图像，该多张第一图像为连续帧；对多张第一图像进行点云重建得到当前场景的点云和多张第一图像中每张第一图像的位姿；对多张第一图像中的每张第一图像进行语义分割得到该第一图像的2D语义信息；根据当前场景的点云、多张第一图像中每张第一图像的位姿及多张第一图像中每张第一图像的2D语义信息生成当前场景的3D语义模型，当前场景的3D语义模型为携带类别信息的3D点云；对当前场景的3D语义模型进行矢量模型的特征提取及分类，得到当前场景中矢量模型的类别和参数；根据当前场景中矢量模型的类别和参数获取当前场景的3D矢量网格。
[0008]其中，当前场景的3D语义模型为携带类别信息的3D点云，具体是指当前场景的3D语义模型包括3D点云及该3D点云中每个3D点的类别。比如当前场景中包括桌子，在当前场景的3D语义模型中，当前场景中桌子对应的3D点云中每个3D点的类别为桌子。
[0009]根据当前场景中矢量模型的类别和参数获取当前场景的3D矢量网格，具体包括根据当前场景的矢量模型及参数从矢量模型库中获取当前场景的矢量模型，当前场景的3D矢
量网格包括当前场景的矢量模型。
[0010]可选地，当前场景中矢量模型的数量可以是一个，或者多个；当前场景的3D矢量网格包括当前场景中的一个或多个矢量模型。
[0011]通过结合形状语义分割，解决了矢量建模只能重建平面信息的问题，同时解决了现有矢量建模的无法适应室内复杂场景的问题；通过基于当前场景的3D语义模型进行矢量模型的特征提取和分类得到矢量模型的类别及参数，并根据矢量模型的类别及参数从矢量模型库中获取当前场景的矢量模型，使得可以依赖3D语义模型重建出多种多样的矢量模型，进而使得到覆盖全面、准确的3D矢量网格成为可能，真正打通了3D语义模型和3D矢量网格之间的通路，让系统能自适应各种场景，比如室内、室外、平面和曲面等，极大提高了矢量建模的适用范围和商用价值。
[0012]在一个可行的实施例中，对当前场景的3D语义模型进行矢量模型的特征提取及分类，得到当前场景中矢量模型的类别和参数，包括：
[0013]对当前场景的3D语义模型进行特征提取，得到当前场景的3D特征图；对当前场景的3D特征图进行特征解码，得到当前场景的3D语义模型中矢量模型的特征向量；根据矢量模型的特征向量对矢量模型进行分类，以得到矢量模型的类别；根据当前场景的3D特征图得到矢量模型的参数。
[0014]通过基于当前场景的3D语义模型得到当前场景中矢量模型的类型及参数，是得3D矢量建模不局限于几种特征的结构类别，可以适应室内、室外、平面和曲面等各种场景，极大提高了矢量建模的使用范围及商业价值。
[0015]在一个可行的实施例中，对当前场景的3D语义模型进行矢量模型的特征提取及分类，得到当前场景中矢量模型的类别和参数，包括：
[0016]调用多任务神经网络，将当前场景的3D语义模型输入到多任务神经网络中进行特征提取和分类，得到当前场景中矢量模型的类别和参数。
[0017]在一个可行的实施例中，多任务神经网络包括卷积层、第一全连接层、第二全连接层和分类器，其中，卷积层的输出数据为第一全连接层的输入数据和第二全连接层的输入数据，第一全连接层的输出数据为分类器的输入数据，将当前场景的3D语义模型输入到多任务神经网络中进行特征提取和分类，得到当前场景中矢量模型的类别和参数，包括：
[0018]将当前场景的3D语义模型输入到卷积层进行特征提取，得到当前场景的3D特征图；将当前场景的3D特征图输入到第一全连接层进行特征解码，得到当前场景的3D语义模型中矢量模型的特征向量；将当前场景的3D语义模型中矢量模型的特征向量输入到分类器中进行分类，得到当前场景的3D语义模型中矢量模型的类别；将当前场景的3D特征图输入到第二全连接层进行处理，得到当前场景的3D语义模型中矢量模型的参数。
[0019]通过引入多任务神经网络，输入3D语义模型，得到矢量模型的类别及参数，从而得到更加精细的矢量结果，并且扩大了使用范围。
[0020]在一个可行的实施例中，卷积层包括第一卷积层和第二卷积层，第一卷积层的结构和参数与第二卷积层的结构和参数相同；
[0021]第一卷积层的输出数据为第一全连接网络的输入数据；第二卷积层的输出数据为第二全连接层的输出数据；将当前场景的3D语义模型输入到第一卷积层进行特征提取，得到当前场景的3D特征图；将当前场景的3D语义模型输入到第二卷积层进行特征提取，得到
当前场景的3D特征图。
[0022]其中，由于在特征提取阶段，第一卷积层和第二卷积层共享权值，因此第一卷积层的3D特征图和第二卷积层输出的3D特征图相同。
[0023]在一个可行的实施例中，根据当前场景的点云、多张第一图像中每张第一图像的位姿及多张第一图像中每张第一图像的2D语义信息生成当前场景的3D语义模型，包括：
[0024]根据多张第一图像中每张第一图像的位姿将目标点云投影到多张第一图像中的每张第一图像上，得到目标点云中每个3D点在第一图像上对应的类别；其中，目标点云为当前场景的点云；将目标点云中的3D点作为节点，将3D点和该3D点在第一图像对应类别之间的连线作为边，构建基于马尔科夫随机场MRF的图模型；根据能量函数对基于MRF的图模型进行MR本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种3D矢量网格生成方法，其特征在于，包括：获取针对当前场景的多张第一图像，所述多张第一图像为连续帧；对所述多张第一图像进行点云重建得到所述当前场景的点云和所述多张第一图像中每张第一图像的位姿；对所述多张第一图像中的每张第一图像进行语义分割得到该第一图像的2D语义信息；根据所述当前场景的点云、所述多张第一图像中每张第一图像的位姿及所述多张第一图像中每张第一图像的2D语义信息生成所述当前场景的3D语义模型，所述当前场景的3D语义模型为携带类别信息的3D点云；对所述当前场景的3D语义模型进行矢量模型的特征提取及分类，得到当前场景中矢量模型的类别和参数；根据所述当前场景中矢量模型的类别和参数获取所述当前场景中矢量模型。2.根据权利要求1所述的方法，其特征在于，所述对所述当前场景的3D语义模型进行矢量模型的特征提取及分类，得到当前场景中矢量模型的类别和参数，包括：对所述当前场景的3D语义模型进行特征提取，得到当前场景的3D特征图；对所述当前场景的3D特征图进行特征解码，得到所述当前场景的3D语义模型中矢量模型的特征向量；根据所述矢量模型的特征向量对矢量模型进行分类，以得到矢量模型的类别；根据当前场景的3D特征图得到矢量模型的参数。3.根据权利要求2所述的方法，其特征在于，所述对所述当前场景的3D语义模型进行矢量模型的特征提取及分类，得到当前场景中矢量模型的类别和参数，包括：调用多任务神经网络，将所述当前场景的3D语义模型输入到所述多任务神经网络中进行特征提取和分类，得到所述当前场景中矢量模型的类别和参数。4.根据权利要求3所述的方法，其特征在于，所述多任务神经网络包括卷积层、第一全连接层、第二全连接层和分类器，其中，所述卷积层的输出数据为所述第一全连接层的输入数据和所述第二全连接层的输入数据，所述第一全连接层的输出数据为所述分类器的输入数据，所述将所述当前场景的3D语义模型输入到所述多任务神经网络中进行特征提取和分类，得到所述当前场景中矢量模型的类别和参数，包括：将所述当前场景的3D语义模型输入到所述卷积层进行特征提取，得到所述当前场景的3D特征图；将所述当前场景的3D特征图输入到所述第一全连接层进行特征解码，得到所述当前场景的3D语义模型中矢量模型的特征向量；将所述当前场景的3D语义模型中矢量模型的特征向量输入到分类器中进行分类，得到所述当前场景的3D语义模型中矢量模型的类别；将所述当前场景的3D特征图输入到所述第二全连接层进行处理，得到所述当前场景的3D语义模型中矢量模型的参数。5.根据权利要求4所述的方法，其特征在于，所述卷积层包括第一卷积层和第二卷积层，所述第一卷积层的结构和参数与所述第二卷积层的结构和参数相同；所述第一卷积层的输出数据为第一全连接网络的输入数据；所述第二卷积层的输出数据为所述第二全连接层的输出数据；
将所述当前场景的3D语义模型输入到所述第一卷积层进行特征提取，得到所述当前场景的3D特征图；将所述当前场景的3D语义模型输入到所述第二卷积层进行特征提取，得到所述当前场景的3D特征图。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述根据所述当前场景的点云、所述多张第一图像中每张第一图像的位姿及所述多张第一图像中每张第一图像的2D语义信息生成所述当前场景的3D语义模型，包括：根据所述多张第一图像中每张第一图像的位姿将目标点云投影到所述每张第一图像上，得到目标点云中每个3D点在所述每张第一图像上对应的类别；其中，所述目标点云为所述当前场景的点云；将所述目标点云中的3D点作为节点，将所述3D点和该3D点在所述第一图像对应类别之间的连线作为边，构建基于马尔科夫随机场MRF的图模型；根据能量函数对所述基于MRF的图模型进行MRF优化求解，得到所述当前场景的3D语义模型，该3D语义模型中的每个3D点有唯一类别。7.一种服务器，其特征在于，包括：获取单元，用于获取针对当前场景的多张第一图像，所述多张第一图像为连续帧；处理单元，用于对所述多张第一图像进行点云重建得到所述当前场景的点云和所述多张第一图像中每张第一图像的位姿；对所述多张第一图像中的每张第一图像进行语义分割得到该第一图像的2D语义信息；生成单元，用于根据所述当前场景的点云、所述多张第一图像中每张第一图像的位姿及所述多张第一图像中每张第一图像的2D语义信息生成所述当前场景的3D语义模型，所述当前场景的3D语义模型为携带类别信息的3D点...

【专利技术属性】
技术研发人员：林曼青，梁丁，柳跃天，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：