对铰接式对象执行遮挡感知全局3D姿势和形状估计制造技术

本发明专利技术涉及对铰接式对象执行遮挡感知全局3D姿势和形状估计。为了确定视频内对象的准确3维(3D)模型，首先在视频内识别和追踪对象，并估计这些被追踪对象的姿势和形状。从被追踪对象中去除平移和全局定向以确定对象的局部运动，并执行运动填充以填充视频内对象的任何缺失部分。然后为视频内的对象确定全局轨迹，然后使用填充运动和全局轨迹来确定视频内对象的填充全局运动。这可以使得每个对象的准确描述能够作为该模型的3D姿势序列，该模型考虑了视频内的遮挡和全局因素。了视频内的遮挡和全局因素。了视频内的遮挡和全局因素。

【技术实现步骤摘要】
对铰接式对象执行遮挡感知全局3D姿势和形状估计


[0001]本专利技术涉及视频分析，并且更具体地涉及从视频中的对象确定准确的三维(3D)模型。

技术介绍

[0002]从单目视频中恢复细粒度的3D人体网格对于理解人类行为和交互是有价值的，这可以成为包括虚拟或增强现实、辅助生活、自动驾驶等在内的众多应用的基石。许多这些应用使用动态相机捕捉人类行为，但还需要在与人类的周围环境一致的全局坐标中估计人类运动。例如，辅助机器人和自主车辆需要全面了解世界上的人类行为和互动，以便即使在他们移动时也能安全地规划他们的行动。因此，需要从动态相机捕获的单目视频中恢复全局人体网格，同时考虑尺度模糊和遮挡。
附图说明
[0003]图1示出了根据实施例的用于执行遮挡感知全局3D姿势估计的方法的流程图。
[0004]图2示出了根据实施例的并行处理单元。
[0005]图3A示出了根据实施例的图2的并行处理单元内的通用处理集群。
[0006]图3B示出了根据实施例的图2的并行处理单元的存储器分区单元。
[0007]图4A示出了根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括在设备处：对于视频内的一个或更多个被追踪对象执行运动填充；对于所述视频内的所述一个或更多个被追踪对象中的每一个预测全局轨迹；以及对于所述视频内的所述一个或更多个被追踪对象，将所述被追踪对象的填充运动与所述被追踪对象的所述全局轨迹结合来确定所述被追踪对象的填充全局运动。2.如权利要求1所述的方法，其中所述视频是单目的。3.如权利要求1所述的方法，其中所述一个或更多个被追踪对象各自具有一个或更多个缺失部分，所述一个或更多个缺失部分是由于所述视频的一个或更多个帧中的所述被追踪对象的遮挡而导致的。4.如权利要求1所述的方法，其中所述一个或更多个被追踪对象各自具有一个或更多个缺失部分，所述一个或更多个缺失部分是由于所述视频的一个或更多个帧中的所述被追踪对象的截断而导致的。5.如权利要求1所述的方法，其中所述一个或更多个被追踪对象各自具有一个或更多个缺失部分，所述一个或更多个缺失部分是由于所述对象移出所述视频的一个或更多个帧中的场景而导致的。6.如权利要求1所述的方法，其中响应于在所述视频的预定帧内识别出所述被追踪对象之一的一个或更多个缺失部分，在所述视频的先前帧内识别所述被追踪对象的先前姿势和形状数据。7.如权利要求6所述的方法，其中将所述被追踪对象的所述先前姿势和形状数据输入到经训练的神经网络架构中，其中所述经训练的神经网络架构预测对象在所述视频的所述预定帧内的姿势和形状数据，并使用预测的姿势和形状数据来填充所述被追踪对象在所述视频的所述预定帧内的所述缺失部分。8.如权利要求1所述的方法，其中在执行所述运动填充之前，从所述视频内的所述一个或更多个被追踪对象去除平移和全局定向。9.如权利要求8所述的方法，其中在对视频内的所述一个或更多个被追踪对象中的每一个执行所述运动填充之后，使用所述一个或更多个被追踪对象中的每一个的经填充的局部运动来针对所述一个或更多个被追踪对象中的每一个预测所述全局轨迹。10.如权利要求1所述的方法，其中所述填充的全局运动是相对于全局坐标系来确定的。11.如权利要求1所述的方法，其中在确定所述经填充的全局运动期间考虑一个或更多个相机参数。12.一种系统，包括：设备的硬件处理器，其被配置为：对于视频内的一个或更多个被追踪对象执行运动填充；对于所述视频内的所述一个或更多个被追踪对象中的每一个预测全局轨迹；以及对于所述视频...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：辉达公司，
类型：发明
国别省市：