【技术实现步骤摘要】
一种基于非刚性点云的稠密对应预测方法
本专利技术属于三维重建领域，具体为一种基于非刚性点云的稠密对应预测方法。
技术介绍
估计三维形状的稠密对应是计算机视觉和计算机图形学的基本问题之一，也是许多有前景应用(如游戏、机器人技术和虚拟现实)的重要组成部分。随着三维点云越来越普遍，非刚性点云的稠密对应估计在多视点立体、物体检索、三维重建、运动跟踪等许多研究课题中占有重要地位。然而，由于变形物体的变化、3D数据的不完整以及相机视角的变化等因素，从点云中估计稠密对应关系仍然具有挑战性。大多数方法都是通过非刚性变形技术将模板模型注册到输入点云来获得稠密点对应。这些方法工作在一个序列的帧，而不是一个单帧，因为最邻近搜索方法的点对应只在小运动的相邻帧之间有效。在单帧点云与模板模型存在较大差异的情况下，建立的对应关系容易出现错误。模型拟合方法首先检测二维关节位置，然后对检测到的关节拟合一个统计模型进行对应。由于模型拟合方法高度依赖关节估计，难以处理遮挡或位姿较大的情况，导致对应误差较大。Wei等人提出深度学习方法将人体三维形状之间的稠密对应问...
【技术保护点】
1.一种基于非刚性点云的稠密对应预测方法，其特征在于，包括如下步骤：/n利用图卷积神经网络和多个集合抽象层分别提取网格和点云的几何特征并进行拼接；/n利用基于图卷积神经网络的分层解码器网络预测模板模型顶点的三维位移向量，并将三维位移向量加在模板模型上，生成新的网格；/n利用局部回归网络估计点集的局部特征，并将局部特征作为层次图卷积神经网络的输入图特征，学习新的网格的深层特征；/n采用多个集合抽象层提取点云的全局特征，并将其与学习的新的网格的深度特征进行拼接，并使用层次图卷积神经网络估计3D位移向量的增量，将3D位移向量的增量加在新的网格，生成初始预测对应；/n基于输入点云的...
【技术特征摘要】
1.一种基于非刚性点云的稠密对应预测方法，其特征在于，包括如下步骤：
利用图卷积神经网络和多个集合抽象层分别提取网格和点云的几何特征并进行拼接；
利用基于图卷积神经网络的分层解码器网络预测模板模型顶点的三维位移向量，并将三维位移向量加在模板模型上，生成新的网格；
利用局部回归网络估计点集的局部特征，并将局部特征作为层次图卷积神经网络的输入图特征，学习新的网格的深层特征；
采用多个集合抽象层提取点云的全局特征，并将其与学习的新的网格的深度特征进行拼接，并使用层次图卷积神经网络估计3D位移向量的增量，将3D位移向量的增量加在新的网格，生成初始预测对应；
基于输入点云的初始预测对应，恢复拟合到真实点云上的参数模型，并将参数模型作为伪真值对应。
2.根据权利要求1所述的基于非刚性点云的稠密对应预测方法，其特征在于，利用多个集合抽象层提取点云的几何特征的具体方法为：
每个集合抽象层对点云进行最远点采样，形成n个质心点Y＝{y1,y2,...,yn}，所述质心点覆盖整个点集；
对每个质心点yi，在半径r内找出所有k邻近点，每个质心点的k邻近点构成一个局部区域的点集；
从所有质心点的m个局部区域中，利用多层感知器网络提取每个点的特征；
在每个局部区域使用最大池化操作从所有邻近点聚集信息提取质心点yi的局部特征；
经过多层连续的集合抽象层，在整个点云上提取出全局特征向量，即点云的几何特征。
3.根据权利要求1所述的基于非刚性点云的稠密对应预测方法，其特征在于，所述分层解码器网络每层采用图卷积神经网络对三维网格进行卷积，同时通过向上采样生成高分辨率的网格，经过多层图卷积神经网络得到多分辨率的网格，且最后一层图卷积神经网络得到网格分辨率和三维模板模型一样。
4.根据权利要求1所述的基于非刚性点云的稠密对应预测方法，其特征在于，所述分层解码器网络通过多层图卷积神经网络迭代损失确定三维位移向量，损失公式具体为：
其中，是模板上第i个顶点的三维坐标，di是将三维位移向量回归到第i个顶点对应的点，pi是对应点的真实三维坐标。
5.根据权利要求1所述的基于非刚性点云的稠密对应预测方法，其特征在于，利用多个集合抽象层提取点云的局部特征，并将局部特征作为层次图卷积神经网络的输入图特征，学习新的网格的深层特征的具体方法为：
对于网格M’...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。