一种基于隐函数三维表示和图神经网络的场景理解方法技术

本发明专利技术涉及计算机视觉领域技术领域，公开了一种基于隐函数三维表示和图神经网络的场景理解方法。本发明专利技术用于实现包括布局估计、相机姿态估计、三维目标检测、单目三维场景重建在内的三维场景理解任务。在内的三维场景理解任务。在内的三维场景理解任务。

【技术实现步骤摘要】
一种基于隐函数三维表示和图神经网络的场景理解方法


[0001]本专利技术涉及计算机视觉领域
，具体地说，是一种基于隐函数三维表示和图神经网络的场景理解方法，用于实现包括布局估计、相机姿态估计、三维目标检测、单目三维场景重建在内的三维场景理解任务。

技术介绍

[0002]单目三维场景理解目的是从单张透视相机图像中获取室内场景的三维信息，包括但不限于场景的墙体、天花板、地板的位置(布局估计)，相机的姿态(相机姿态估计)，物体的三维包围盒/姿态(三维目标检测)，和三维模型(单目三维场景重建)。场景理解可用于机器人、VR、AR等领域，进一步实现室内导航或与场景中物体直接交互。图神经网络被广泛应用于图结构数据的学习，实现对节点之间上下文的理解。图神经网络的提出解决了图结构数据与深度学习的不兼容问题，并进一步从深度卷积神经网络中引入了卷积操作，实现了相邻节点之间信息的传播。隐函数三维表示是最近在深度学习领域提出的一种利用神经网络实现的三维表示方法。隐函数三维表示将三维信息编码到相对较短的隐式向量(latent vector)中，并利用深度学习网络解码隐式向量中隐含的三维信息。不同于深度图、体素、点云、网格等传统的三维表示方法，其具有精度高、信息密度高、适合用于深度学习任务等优点。
[0003]图神经网络和隐函数三维表示在各自领域已得到了充分的发展，最新的隐函数三维表示方法和局部深度隐式函数(Local Deep Implicit Functions for 3D Shape,LDIF)在单个物体的三维表示中展现了较高的精度和性能，但在高度依赖上下文理解和单目物体重建的场景理解任务中，仍缺少一种技术将两者结合，因此，本专利技术提出了一种技术方案，将两者进行结合。

技术实现思路

[0004]本专利技术的目的在于提供一种基于隐函数三维表示和图神经网络的场景理解方法，用于实现包括布局估计、相机姿态估计、三维目标检测、单目三维场景重建在内的三维场景理解任务。
[0005]本专利技术通过下述技术方案实现：一种基于隐函数三维表示和图神经网络的场景理解方法，包括：
[0006]步骤S1：在图估计阶段，使用二维目标检测网络从输入的图像中提取图像中的物体的二维包围盒和类别，然后使用场景图卷积网络更新并表示图像的上下文信息，在二维包围盒和类别的基础上，使用三维包围盒表示物体姿态和房间布局参数，并对物体类别编码和物体保留标签进行估计，输出图估计结果，所述图估计结果包括物体姿态、房间布局参数、物体隐式表示向量、物体类别编码和物体保留标签，进行初始估计所述上下文信息为图像的物体和房间布局之间的关系信息；
[0007]步骤S2：在图优化阶段，使用场景图卷积网络对步骤S1中的图估计结果进行迭代
优化，并根据估计的物体保留标签对图进行裁剪，删除保留标签低于阈值的检测结果和对应的物体节点；
[0008]步骤S3：场景图卷积网络输出物体隐式表示向量后，由局部深度隐式函数解码物体的三维模型输出网格表示模型，并结合步骤S2中优化迭代后的图估计结果实现场景重建。
[0009]为了更好地实现本专利技术，进一步地，步骤S1包括：
[0010]使用二维目标检测网络从输入的图像中检测到候选物体后，将图像中的物体和布局建模为一个由物体节点和布局节点组成的图；
[0011]然后将提取到的物体节点和布局节点特征嵌入到图的对应节点中作为节点表示向量，通过场景图神经网络对节点表示向量进行更新并表示图像的上下文信息；
[0012]更新后的节点表示向量通过多层感知器进行解码，其中物体节点的表示向量解码为物体姿态和隐式表示向量，布局节点的表示向量解码为布局的参数。
[0013]为了更好地实现本专利技术，进一步地，对物体类别编码和物体保留标签进行估计的方法包括：
[0014]对物体类别编码输入onehot编码，对物体保留标签设计为线性回归任务。
[0015]为了更好地实现本专利技术，进一步地，场景图卷积网络的学习过程包括：
[0016]使用深度残差网络为房间布局和图像中的物体提取图像特征，并将图像特征与布局节点局部特征和物体节点特征分别进行扁平化处理，再串联成一个向量，然后用多层感知器MLP将向量编码为长度相同的节点表示向量；
[0017]所述布局节点特征包括按图像高度归一化的相机内参，所述物体节点特征包括二维目标检测网络估计的物体类别的原始编码输出；
[0018]建立物体节点o或布局节点o对应的图像，并建立其对应的特征矩阵Z
o
∈R
d
×
(N+1)
，其中，R是实数，是数学里公认的符号，d是节点表示向量的维度，N指物体的个数，再对3D场景建模的图像进行消息传递和节点以定义的方式表示更新；
[0019]所述定义的方式表达为其中，i表示第i次消息传递的特征矩阵，W∈R
d
×
d
表示从特征矩阵到特征矩阵更新量的线性变换，是上一次更新后物体节点o或布局节点o的表示向量，其下标表示第i
‑
1次更新；σ是线性整流函数。
[0020]为了更好地实现本专利技术，进一步地，步骤S2包括：
[0021]在图估计阶段得到图估计结果，图优化阶段将已有特征和参数嵌入为节点表示，用场景图卷积网络进行迭代优化；
[0022]在图优化的每次迭代中，场景图卷积网络通过四步消息传递后，用独立的多层感知器MLP将图神经网络中的节点的表示向量解码成相应物体或布局包围盒参数以及隐式表示向量和物体类别、保留标签的残差，并加到初始阶段的估计值上，以得到本次迭代的估计结果，所述图神经网络中的节点包括物体节点和布局节点；
[0023]所述结果被随后作为特征与当前节点表示一起重新编码，成为下一次迭代的节点表示向量。
[0024]为了更好地实现本专利技术，进一步地，步骤S3包括：
[0025]选择局部深度隐式函数进行物体重建，局部深度隐式函数是32个3D元素的组合，
每个元素用10个高斯函数参数和32维隐式向量来表示；
[0026]高斯参数描述了每个高斯函数的缩放尺度、中心点、半径和欧拉角，高斯参数包含了三维模型的结构信息，高斯函数参数在对物体进行三维表示的同时，也作为物体节点的特征为图优化阶段的场景图卷积网络提供物体的几何和位置信息。
[0027]为了更好地实现本专利技术，进一步地，包括：
[0028]在单独训练局部深度隐式函数网络时，采用高斯椭球中心损失函数和点采样损失函数；在对物体姿态和房间布局参数进行训练时，对网络输出采用交叉熵损失函数和合作损失函数。所述网络输出为二维目标检测网络输出和场景图卷积网络输出。
[0029]本专利技术与现有技术相比，具有以下优点及有益效果：
[0030](1)本专利技术可以实现包括布局估计、相机姿态估计、三维目标检测、单目三维场景重建在内的三维场景理解任务；
[0031](2)本专利技术利用场景图卷积网络在图估计和图优化两个阶段中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于隐函数三维表示和图神经网络的场景理解方法，其特征在于，包括以下步骤：步骤S1：在图估计阶段，使用二维目标检测网络从输入的图像中提取图像中的物体的二维包围盒和类别，然后使用场景图卷积网络更新并表示图像的上下文信息，在二维包围盒和类别的基础上，使用三维包围盒表示物体姿态和房间布局参数，并对物体类别编码和物体保留标签进行估计，输出图估计结果，所述图估计结果包括物体姿态、房间布局参数、物体隐式表示向量、物体类别编码和物体保留标签，进行初始估计所述上下文信息为图像的物体和房间布局之间的关系信息；步骤S2：在图优化阶段，使用场景图卷积网络对步骤S1中的图估计结果进行迭代优化，并根据估计的物体保留标签对图进行裁剪，删除保留标签低于阈值的检测结果和对应的物体节点；步骤S3：场景图卷积网络输出物体隐式表示向量后，由局部深度隐式函数解码物体的三维模型输出网格表示模型，并结合步骤S2中优化迭代后的图估计结果实现场景重建。2.根据权利要求1所述的一种基于隐函数三维表示和图神经网络的场景理解方法，其特征在于，所述步骤S1包括：使用二维目标检测网络从输入的图像中检测到候选物体后，将图像中的物体和布局建模为一个由物体节点和布局节点组成的图；然后将提取到的物体节点和布局节点特征嵌入到图的对应节点中作为节点表示向量，通过场景图神经网络对节点表示向量进行更新并表示图像的上下文信息；更新后的节点表示向量通过多层感知器进行解码，其中物体节点的表示向量解码为物体姿态和隐式表示向量，布局节点的表示向量解码为布局的参数。3.根据权利要求1所述的一种基于隐函数三维表示和图神经网络的场景理解方法，其特征在于，对物体类别编码和物体保留标签进行估计的方法包括：对物体类别编码输入onehot编码，对物体保留标签设计为线性回归任务。4.根据权利要求1所述的一种基于隐函数三维表示和图神经网络的场景理解方法，其特征在于，所述场景图卷积网络的学习过程包括：使用深度残差网络为房间布局和图像中的物体提取图像特征，并将图像特征与布局节点特征和物体节点特征分别进行扁平化处理，再串联成一个向量，然后用多层感知器MLP将向量编码为长度相同的节点表示向量；所述布局节点特征包括按图像高度归一化的相机内参，所述物体节点特征包括二维目标检测网络估计的物体类别的原始编码输出；建立物体节点o或...

【专利技术属性】
技术研发人员：刘帅成，章程，郑梓澜，陈才，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：