基于多模态特征融合的不完整形状对称性预测方法和系统技术方案

本申请涉及一种基于多模态特征融合的不完整形状对称性预测方法和系统，所述方法包括：将不完整形状的RGB图像和深度图像输入通道感知网络进行融合，提取出的交叉模态特征融合了颜色和深度两种模态特征，将交叉模态特征输入三维变分自动编码器的自重构网络进行重构，得到完整的几何形状，为后续的对称性预测网络提供了全局几何特征，将交叉模态特征和全局几何特征输入对称性预测网络进行对称性预测，得到不完整形状的预测对称性。采用本方法能够将不完整形状进行重构得到完整的几何形状，克服了不完整形状缺少全局几何特征的缺陷，实现对不完整形状的对称性预测。实现对不完整形状的对称性预测。实现对不完整形状的对称性预测。

【技术实现步骤摘要】
基于多模态特征融合的不完整形状对称性预测方法和系统


[0001]本申请涉及对称性预测
，特别是涉及一种基于多模态特征融合的不完整形状对称性预测方法和系统。

技术介绍

[0002]检测三维物体的对称性是许多计算机视觉应用的关键和基本问题，在几何处理中，在几何数据(如点云、多边形网格和体素)中发现对称性，可以帮助许多应用程序利用对称信息解决任务或改进算法，例如形状匹配、分割、补全等。在所有对称类型中，最常见和最重要的是平面反射对称。传统的平面对称性检测方法通常基于这样一种观察，即沿对称平面进行镜像变换后，形状上的所有采样点都将与原始形状重合。例如，一个形状可以与主轴对齐，然后可以检查由成对主轴形成的平面，看它们是否是对称平面。最近，基于深度学习的方法利用神经网络提取形状的全局特征，用于捕捉可能的对称性。
[0003]然而，上述方法都是对完整三维形状的对称性检测。但是，由于传感器分辨率、单视点和遮挡的限制，在实际应用中捕获的对象形状通常是不完整的，在这种情况下，上述完整三维形状的基本假设将被打破。
[0004]对于不完整形状的对称性检测，一个常见的应用场景是基于单视图RGB
‑
D(Red
‑
Green
‑
Blue
‑
Depth Map)图像估计三维形状的对称性，但是由于部分观测和对象的遮挡，带来了几何检测无法解决的特殊挑战，例如，缺少全局几何信息会导致找到由镜像变换支持的局部对称对应的关键困难。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种基于多模态特征融合的不完整形状对称性预测方法和系统。
[0006]一种基于多模态特征融合的不完整形状对称性预测方法，所述方法包括：
[0007]将不完整形状的RGB图像和深度图像输入通道感知网络进行融合，得到不完整形状的交叉模态特征；
[0008]将交叉模态特征输入三维变分自动编码器的自重构网络进行重构，得到完整的几何形状，其中，完整的几何形状提供全局几何特征；
[0009]将交叉模态特征和全局几何特征输入对称性预测网络进行对称性预测，得到不完整形状的预测对称性。
[0010]在一个实施例中，将不完整形状的RGB图像和深度图像输入通道感知网络进行融合，得到不完整形状的交叉模态特征，还包括：
[0011]输入不完整形状的RGB图像和深度图像，建立两个子网络分别处理RGB图像的模态特征和深度图像的模态特征，得到颜色特征图和深度特征图；
[0012]根据通道感知网络中的批量归一层分别对颜色特征图和深度特征图进行归一化处理，确定两个特征图中每条通道的重要性；
[0013]根据两个特征图中每条通道的重要性判断是否需要将通道进行通道感知，若为否，输出通道；若为是，根据通道感知网络融合通道和另一个特征图中对应通道的信息，将通道替换为新通道，得到融合了两个特征图信息的交叉模态特征。
[0014]在一个实施例中，根据两个特征图中每条通道的重要性判断是否需要将通道进行替换，还包括：两个特征图中每条通道的重要性由批量归一化层中的比例因子表示，根据比例因子判断是否需要将通道进行通道感知，若为否，输出通道；若为是，根据通道感知网络将通道与另一个特征图中对应通道进行注意力感知网络融合得到新通道，将通道替换为新通道，得到融合了两个特征图信息的交叉模态特征。
[0015]在一个实施例中，得到融合了两个特征图信息的交叉模态特征，还包括：将交叉模态特征输入非线性激活，激活后的交叉模态特征在三维变分自动编码器的自重构网络中进行卷积。
[0016]在一个实施例中，三维变分自动编码器的自重构网络，还包括：
[0017]三维变分自动编码器的自重构网络由编码器网络、潜在层和解码器网络组成；
[0018]编码器网络为三维下采样网络，由三个三维卷积层组成，编码器网络中的下采样是通过跨步卷积实现；
[0019]潜在层为一个三维网络，以保留几何特征；
[0020]解码器网络为三维上采样网络，由三个三维卷积层组成，解码器网络中的上采样是通过反卷积实现。
[0021]在一个实施例中，将交叉模态特征输入三维变分自动编码器的自重构网络进行重构，得到完整的几何形状，其中，完整的几何形状提供全局几何特征，还包括：
[0022]输入交叉模态特征，根据编码器网络将交叉模态特征编码到一个隐式空间，隐式空间服从正态分布；
[0023]在潜在层中对隐式空间进行采样，得到解码器网络的输入；
[0024]根据解码器网络对输入进行重构，得到完整的几何形状，其中，完整的几何形状提供全局几何特征。
[0025]在一个实施例中，根据解码器网络对输入进行重构，得到完整的几何形状，还包括：定义三维变分自动编码器的损失函数，根据损失函数对解码器网络的重构过程进行训练，提高重构过程的精度，得到完整的几何形状，提供全局几何特征，其中，损耗函数表示完整的几何形状与不完整形状的真实完整形状之间的误差。
[0026]在一个实施例中，将交叉模态特征和全局几何特征输入对称性预测网络进行对称性预测，得到不完整形状的预测对称性，还包括：
[0027]将交叉模态特征和全局几何特征进行聚合得到最终特征，将最终特征输入对称性预测网络进行对称性预测，其中，对称性预测网络由六个三维卷积层组成；
[0028]最终特征在每个三维卷积层进行卷积后，根据最大池和修正线性单元对卷积后的最终特征进行激活，得到激活的最终特征；
[0029]在每个三维卷积层进行卷积后，根据最大池和修正线性单元对卷积后的最终特征进行激活，得到激活的最终特征。
[0030]在一个实施例中，得到不完整形状的预测对称性，还包括：根据不完整形状的预测对称性和真值对称性之间的差异计算密集对称误差，确定不完整形状的预测对称性的是否
正确。
[0031]一种基于多模态特征融合的不完整形状对称性预测系统，所述系统包括：
[0032]多模态特征融合模块，用于将不完整形状的RGB图像和深度图像输入通道感知网络进行融合，得到不完整形状的交叉模态特征；
[0033]重构模块，用于将交叉模态特征输入三维变分自动编码器的自重构网络进行重构，得到完整的几何形状，其中，完整的几何形状提供全局几何特征；
[0034]对称性预测模块，用于将交叉模态特征和全局几何特征输入对称性预测网络进行对称性预测，得到不完整形状的预测对称性。
[0035]上述基于多模态特征融合的不完整形状对称性预测方法和系统，将不完整形状的RGB图像和深度图像输入通道感知网络进行融合，提取出的交叉模态特征融合了颜色和深度两种模态特征，将交叉模态特征输入三维变分自动编码器的自重构网络进行重构，得到完整的几何形状，为后续的对称性预测网络提供了全局几何特征，将交叉模态特征和全局几何特征输入对称性预测网络进行对称性预测，得到不完整形状的预测对称性。与现有技术相比，本专利技术提出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态特征融合的不完整形状对称性预测方法，其特征在于，所述方法包括：将不完整形状的RGB图像和深度图像输入通道感知网络进行融合，得到所述不完整形状的交叉模态特征；将所述交叉模态特征输入三维变分自动编码器的自重构网络进行重构，得到完整的几何形状，其中，所述完整的几何形状提供全局几何特征；将所述交叉模态特征和所述全局几何特征输入对称性预测网络进行对称性预测，得到所述不完整形状的预测对称性。2.根据权利要求1所述的方法，其特征在于，所述将不完整形状的RGB图像和深度图像输入通道感知网络进行融合，得到所述不完整形状的交叉模态特征，包括：输入所述不完整形状的RGB图像和深度图像，建立两个子网络分别处理所述RGB图像的模态特征和所述深度图像的模态特征，得到颜色特征图和深度特征图；根据所述通道感知网络中的批量归一层分别对所述颜色特征图和所述深度特征图进行归一化处理，确定两个所述特征图中每条通道的重要性；根据两个所述特征图中每条通道的重要性判断是否需要将所述通道进行替换，若为否，输出所述通道；若为是，根据所述通道感知网络融合所述通道和另一个所述特征图中对应通道的信息，将所述通道替换为新通道，得到融合了两个所述特征图信息的交叉模态特征。3.根据权利要求2所述的方法，其特征在于，所述根据两个所述特征图中每条通道的重要性判断是否需要将所述通道进行替换，包括：两个所述特征图中每条通道的重要性由所述批量归一化层中的比例因子表示，根据所述比例因子判断是否需要将所述通道进行替换，若为否，输出所述通道；若为是，根据所述通道感知网络将所述通道与另一个特征图中对应通道进行注意力感知网络融合得到新通道，将所述通道替换为新通道，得到融合了两个所述特征图信息的所述交叉模态特征。4.根据权利要求3所述的方法，其特征在于，所述得到融合了两个所述特征图信息的所述交叉模态特征之后，还包括：将所述交叉模态特征输入非线性激活，激活后的所述交叉模态特征在所述三维变分自动编码器的自重构网络中进行卷积。5.根据权利要求1所述的方法，其特征在于，所述三维变分自动编码器的自重构网络包括：所述三维变分自动编码器的自重构网络由编码器网络、潜在层和解码器网络组成；所述编码器网络为三维下采样网络，由三个三维卷积层组成，所述编码器网络中的下采样是通过跨步卷积实现；所述潜在层为一个三维网络，以保留几何特征；所述解码器网络为三维上采样网络，由三个三维卷积层组...

【专利技术属性】
技术研发人员：惠军华，蔡志平，胡玲，叶云帆，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：