体积性能捕获的非刚性对齐制造技术

电子设备(100)基于数据体积(120)和参考体积(125)之间的对应关系来估计环境中一个或多个物体的姿态，所述数据体积(120)包含由深度相机(102)捕获的当前帧(105)的数据网格(117)，所述参考体积(125)包含多个融合先前数据帧，所述多个融合先前数据帧基于频谱嵌入并在参考体积和当前数据帧之间执行双向非刚性匹配以细化对应关系，从而支持基于位置的功能。电子设备基于频谱嵌入来预测数据体积和参考体积之间的对应关系。对应关系提供了约束条件，其加速了数据体积和参考体积之间的收敛。

Non rigid alignment of volume performance capture

【技术实现步骤摘要】
【国外来华专利技术】体积性能捕获的非刚性对齐
技术介绍
用于模拟人的姿态、形状、外观和动作的实时性能捕获被用作计算机视觉任务(诸如手、身体或物体跟踪、3D重建以及即时定位与地图构建(SLAM))的输入。对于此类任务，深度和图像数据的每个新的帧将被用于随时间推移进行的非刚性场景重建。然而，非刚性场景重建在计算上很费力，遭受高频细节(诸如人脸)的过度平滑的困扰，并且在面对拓扑变化时易于跟踪故障。附图说明通过参考附图，可以更好地理解本公开，并且其众多特征和优点对于本领域技术人员而言显而易见。在不同附图中使用相同的附图标记表示相似或相同的项目。图1是示出根据一些实施例的运动跟踪系统的框图，该运动跟踪系统使用频谱嵌入以及向后和向前匹配来关联数据体积和演进的参考体积以估计环境中物体的姿态。图2是示出根据一些实施例的使用频谱嵌入以及向后和向前匹配来关联数据体积和演进的参考体积以估计环境中的物体的姿态的方法的流程图。图3是示出根据一些实施例的基于所学习的提取点的频谱嵌入的逼近值来计算数据体积与参考体积之间的稀疏对应关系字段的方法的流程图。r>图4是示出根据一本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n基于在电子设备(100)的一个或多个深度相机(102)处捕获的至少一个深度数据帧(105)和在一个或多个彩色相机(104)处捕获的至少一个彩色数据帧(107)，计算当前数据网格帧(117)，其中所述当前数据网格帧包括表示所述电子设备的环境的三维(3D)点云；/n维持包括所述当前数据网格帧的数据体积(120)；/n基于先前捕获的深度数据帧和彩色数据帧，维持包括多个融合数据网格帧的参考体积(125)；/n基于频谱嵌入计算所述数据体积与所述参考体积之间的初始对应关系(206)；以及/n基于所述初始对应关系，估计环境中至少一个物体的当前姿态。/n

【技术特征摘要】
【国外来华专利技术】20180531 US 15/994,4711.一种方法，包括：
基于在电子设备(100)的一个或多个深度相机(102)处捕获的至少一个深度数据帧(105)和在一个或多个彩色相机(104)处捕获的至少一个彩色数据帧(107)，计算当前数据网格帧(117)，其中所述当前数据网格帧包括表示所述电子设备的环境的三维(3D)点云；
维持包括所述当前数据网格帧的数据体积(120)；
基于先前捕获的深度数据帧和彩色数据帧，维持包括多个融合数据网格帧的参考体积(125)；
基于频谱嵌入计算所述数据体积与所述参考体积之间的初始对应关系(206)；以及
基于所述初始对应关系，估计环境中至少一个物体的当前姿态。


2.根据权利要求1所述的方法，其中，计算所述初始对应关系包括：
基于空间池汇总所述数据体积和所述参考体积的3D点云；以及
基于非线性映射从所汇总的3D点云计算嵌入点，以生成所述数据体积和所述参考体积之间的对应关系字段。


3.根据权利要求2所述的方法，还包括：
将所述参考体积与所述数据体积对齐；
基于所述非线性映射计算所述数据体积与所述参考体积之间的对齐误差；以及
响应于识别出所述数据体积和所述参考体积之间的对齐误差超过阈值，将所述参考体积重置为包括所述当前数据网格帧。


4.根据权利要求1所述的方法，还包括：
识别非刚性对齐参数，以将所述参考体积扭曲到所述当前数据网格帧的姿态。


5.根据权利要求1所述的方法，还包括：计算所述数据体积与所述参考体积之间的密集对应关系，包括：
使所述数据体积对齐到所述参考体积，以生成包括多个顶点的嵌入变形图；以及
基于所述嵌入变形图将所述参考体积对齐到数据体积，以识别所述参考体积与所述数据体积的所述顶点之间的对应关系。


6.根据权利要求5所述的方法，其中，将所述数据体积对齐到所述参考体积包括：将所述数据体积的每个顶点的彩色值与所述参考体积的每个对应顶点的彩色值进行匹配。


7.根据权利要求6所述的方法，其中，还包括将所述数据体积的每个顶点的所述彩色值和所述参考体积的每个对应顶点的所述彩色值表示为单个强度值。


8.根据权利要求1所述的方法，其中，计算所述初始对应关系包括：计算对所述数据体积的所述点云的每个3D点之间的相似度进行编码的亲和矩阵。


9.一种方法，包括：
在电子设备(100)的一个或多个深度相机(102)处捕获环境的深度数据(105)；
在所述电子设备的一个或多个彩色相机(104)处捕获所述环境的彩色数据(107)；
基于所述深度数据和所述彩色数据，计算包括3D点云的对应三维(3D)点的当前数据网格帧(117)；
维持包括所述当前数据网格帧的数据体积(120)；
将所述当前数据网格帧融合到多个先前计算的数据网格帧，以生成参考体积(125)；
基于频谱嵌入计算所述数据体积与所述参考体积之间的稀疏对应关系；
基于非刚性对齐计算所述数据体积与所述参考体积之间的密集对应关系；以及
基于所述稀疏对应关系估计所述环境中的至少一个物体的当前姿态。


10.根据权利要求9所述的方法，其中，计算所述稀疏...

【专利技术属性】
技术研发人员：窦明松，肖恩·瑞安·法内洛，阿达尔什·普拉卡什·穆尔蒂·寇德莱，克里斯多佛·雷曼，萨姆赫·卡米斯，菲利普·L·戴维森，沙赫拉姆·伊扎迪，弗拉迪米尔·坦科维奇，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US