一种基于单视角点云序列的三维人体稠密对应估计方法技术

本发明专利技术公开了一种基于单视角点云序列的三维人体稠密对应估计方法，其包括如下步骤：使用模板模型对齐输入的单视角点云来补全单视角点云的人体信息；计算模板模型点云和输入点云的LBO，得到拉普拉斯基；通过深度点云特征提取网络得到模板模型点云和输入点云的点云特征；拉普拉斯基与提取的特征矩阵相乘得到它们的频域空间特征；使用频域空间特征计算线性函数映射以表征稠密点对关系；通过点对关系分别对模板模型点云和输入点云进行重排序；将重排序的模板模型通过变形模块得到的变形距离误差作为单帧内部的无监督误差，并引入运动一致性损失函数对变形模块进行无监督学习。本发明专利技术能够准确地进行三维人体稠密对应估计。明能够准确地进行三维人体稠密对应估计。明能够准确地进行三维人体稠密对应估计。

【技术实现步骤摘要】
一种基于单视角点云序列的三维人体稠密对应估计方法


[0001]本专利技术属于三维人体重建
，特别涉及一种基于单视角点云序列的三维人体稠密对应估计方法。

技术介绍

[0002]目前在计算机视觉和图形学相关领域中，对应点估计或形状匹配是一个非常重要的问题。计算形状之间的对应点关系是可以帮助解决语义驱动技术的关键问题之一，且各种问题都可以归入形状对应的范畴，于是在近年来成为了计算机视觉领域的一个热门研究方向。形状对应背后的终极目标是识别形状的各个部分并推断它们的用途，因此建立从一个形状到另一个形状的映射在语义上是有意义的。形状点对关系是在三维对齐和时空重建等任务中的一个关键组成部分，也是属性迁移、形状插值和统计建模等各种应用中不可或缺的先决条件。
[0003]由于表示三维对象、场景的灵活性和效率性问题，三维点云已被广泛应用于各种应用中，例如互动通信、自动驾驶、AR/VR等。在AR/VR 中，对应点关系估计是三维重建和运动跟踪等 AR/VR 关键技术的基石。例如虚拟试衣系统中需要建立三维人体模型，并且对齐人体模型与服装，合成试衣结果，最终本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单视角点云序列的三维人体稠密对应估计方法，其特征在于，包括如下步骤：步骤1. 利用模板模型对齐输入的单视角点云，并补全单视角点云的人体信息；步骤2. 分别计算模板模型点云以及补全的单视角点云的 LBO，通过对LBO进行特征分解，分别得到模板模型点云以及补全的单视角点云的拉普拉斯基；步骤3. 利用深度点云特征提取网络分别对模板模型点云以及补全的单视角点云进行特征提取，得到模板模型点云和补全的单视角点云的点向特征；将模板模型点云的点向特征和补全的单视角点云的点向特征分别与对应点云的拉普拉斯基相乘，得到模板模型点云和补全的单视角点云的频域空间特征；步骤4. 利用模板模型点云和补全的单视角点云的频域空间特征计算得到线性函数映射矩阵，以表示模板模型点云与补全的单视角点云之间的点对关系；步骤5. 利用步骤4得到的点对关系，对模板模型点云以及补全的单视角点云进行重排序，得到重排序的模板模型点云以及重排序的单视角点云；步骤6. 将补全的单视角点云的点向特征经过预处理后，与重排序的模板模型点云进行拼接，并输入到变形模块，经过变形后输出与重排序的单视角点云对齐的模板模型点云；计算变形后输出的模板模型点云与重排序的单视角点云之间的变形距离误差；将该变形距离误差作为变形模块的无监督学习误差，同时引入运动一致性损失约束，对变形模块进行无监督学习，进而得到学习好的变形模块；步骤7. 利用变形模块对输入的单视角点云序列进行三维人体稠密对应估计。2.根据权利要求1所述的三维人体稠密对应估计方法，其特征在于，所述步骤1具体为：步骤1.1. 首先计算单视角点云的二维关节，再通过二维到三维的转换得到三维关节；步骤1.2. 使用 KEEP IT SMPL 将模板模型通过最小化三维关节的误差，将模板模型变形至与输入的单视角点云对齐，此处对齐是指模板模型点云与单视角点云的躯干对齐；步骤1.3. 用变形后的模板模型不可见点去补全输入的单视角点云中丢失的人体信息。3.根据权利要求1所述的三维人体稠密对应估计方法，其特征在于，所述步骤2具体为：步骤2.1. 首先将计算点云上所有顶点的切空间；步骤2.2. 然后将每个点邻域半径r以内的所有邻接点映射到该点的切空间中；步骤2.3. 计算所有投影后邻接点的 LBO算子；拉普拉斯矩阵L定义为：L=S
‑1W；其中，S表示面积矩阵，W表示权重矩阵；步骤2.4. 将LBO通过特征分解WΦ=SΦΛ得到拉普拉斯基Φ和分解后得到的特征值Λ。4.根据权利要求3所述的三维人体稠密对应估计方法，其特征在于，所述步骤2.3中，面积矩阵S和权重矩阵W的计算过程如下：首先计算每个点的球形邻域，邻域半径为r，在这个邻域中找到其所有邻接点，将它们全部投影到该点的切空间中，并将投影点进行局部三角剖分，再计算点云LBO；
将面积矩阵S定义为：当i≠j时，s
ij
=∑
k≠i,j S
ijk
，当i=j时，s
ij
=
‑
∑
k≠i s
ik
；其中，i是点云的一个顶点，j、k是i的邻接点；S
ijk
是属于i、j、k三个点组成的三角区域面积，s
ij
表示所有三角区域面积之和；且当i=j时，s
ii
等于点i的所有邻接点所构成的面的面积之和；将权重矩阵W定义为：当i≠j时，w
ij
=∑(cotα
ij
+cotβ
ij
)/2，当i=j时，w
ij
=
‑
∑
k≠i w
ik
；其中，α
ij
和β
ij
是边e
ij
的两个角度，边e
ij
是指点i和点j所构成的边，且当i=j时，w
ij
...

【专利技术属性】
技术研发人员：王康侃，李绍园，尹士豪，李薇，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：