特征追踪系统和方法技术方案

一种点追踪的方法，包括从包括要追踪的对象的输入图像帧的序列中接收连续输入图像帧的步骤；针对每个输入帧检测多个特征点的步骤；将3D可变形模型映射到所述多个特征点的步骤；执行在连续输入帧之间的流点的光流追踪的步骤；以及针对响应于映射的3D可变形模型的至少第一流点位置校正光流追踪的步骤。少第一流点位置校正光流追踪的步骤。少第一流点位置校正光流追踪的步骤。

【技术实现步骤摘要】
特征追踪系统和方法


[0001]本专利技术涉及一种特征追踪系统和方法。

技术介绍

[0002]特征追踪经常被用于例如动作捕捉(例如，表演捕捉)的情况；也就是说，将演员表情从视频镜头转移到虚拟角色的3D网格中。
[0003]当前的特征追踪方法往往面临多种缺点中的一个或多个：
[0004]首先，要求一致的高质量化妆标记来达到良好的效果；这可能需要使用专门的服装或头饰，以及在演员的面部上使用斑点或线条，这些斑点或线条对于演员的自身表演或与演员互动的其他人的表演可能是不舒服的或分散注意力的。
[0005]其次，追踪的点的数量通常非常稀少并且使得难以在最终的动画中捕捉表演的精细细节。此外，标记本身可能遮挡演员的面部中的微妙之处。
[0006]第三，表演过程中的标记遮挡和其他问题(即，演员触摸他们的面部)经常导致追踪的丢失和灾难性的失败。
[0007]第四，追踪技术经常被作为黑盒子使用，这使得它难以适应特定的用例，例如受益于立体镜头或其他相机模式。
[0008]最后，源镜头的质量可能对追踪系统的性能具有重大影响(例如由于照明、视频分辨率等的变化)。
[0009]本专利技术旨在缓解或减轻上述问题中的一些或全部。

技术实现思路

[0010]在所附的权利要求书中以及在所附说明书的文本内定义本专利技术的各方面和特征。
[0011]在第一方面，根据权利要求1提供了一种点追踪的方法。
[0012]在另一方面，根据权利要求12提供了一个点追踪系统。
>附图说明
[0013]将容易获得对本公开内容及其许多附带的优点的更全面理解，因为当结合附图加以考虑时，参照下面的详细描述可以更好地理解本公开内容及其许多附带的优点，在附图中：
[0014]‑
图1是根据本申请的实施例的点追踪系统的示意图；以及
[0015]‑
图2是根据本申请的实施例的点追踪的方法的流程图。
具体实施方式
[0016]公开了一种特征追踪系统和方法。在下面的描述中，呈现了一些具体细节，以提供对本专利技术的实施例的全面理解。然而，对于本领域的技术人员来说显而易见的是，不需要采用这些具体细节来实现本专利技术。反之，为了清楚起见，酌情省略了本领域技术人员已知的具
体细节。
[0017]本说明书的实施例适用于娱乐系统，诸如计算机或视频游戏控制台、用于此类系统的开发套件、或者使用专用硬件或计算机和一个或多个合适的相机系统的动作捕捉系统。在本申请中，术语娱乐系统和动作捕捉系统可以被等效地解释为表示任何此类合适的设备或系统。
[0018]出于解释和现在参考附图的目的，其中类似的附图标记在数个视图中指定相同或相应的部分，图1示出了娱乐系统10的示例，诸如PlayStation(PS5)。
[0019]娱乐系统10包括中央处理器20。这可以是单核心或多核心处理器，例如，如在PS5中包括八个核心。娱乐系统还包括图形处理单元或GPU 30。GPU可以与CPU物理分开，或者如PS5中那样与CPU集成为片上系统(SoC)。
[0020]娱乐设备还包括RAM 40，可以具有用于CPU和GPU中的每一个的单独的RAM，或者如在PS5中的共享RAM。该RAM或每个RAM可以是物理上独立的，也可以如在PS5中被集成为SoC的一部分。其他存储由磁盘50提供，作为外部或内部硬盘，或者作为外部固态驱动器，或如在PS5中的内部固态驱动器。
[0021]娱乐设备可以酌情通过一个或多个数据端口60(诸如USB端口、以娱乐设备可以酌情通过一个或多个数据端口60(诸如USB端口、以端口、端口、端口等)传输或接收数据。也可以可选地选择通过光驱70接收数据。
[0022]与系统的交互通常使用一个或多个手持控制器80(诸如PS5的情况中的控制器)来提供。
[0023]来自娱乐设备的音频/视频输出通常通过一个或多个A/V端口90或者通过一个或多个有线或无线数据端口60来提供。
[0024]在组件不被集成的情况下，它们可以视情况通过专用数据链接或通过总线100连接。
[0025]用于显示由娱乐系统输出的图像的设备的示例是头戴式显示器“HMD”802，其由用户800佩戴。
[0026]此类娱乐系统可以被用来消费使用动作捕捉产生的内容，和/或也可以被用来生成动作捕捉数据，以例如驱动在游戏或虚拟社会环境内的用户化生。除了这样的“实时”捕捉场景，这样的动作捕捉表演可以被游戏开发者或电影导演用来捕捉游戏角色的演员表演，或者用于将演员和表演者虚拟转录到虚拟环境中。此外，在本申请中，除非另有说明，诸如“用户”、“演员”和“表演者”的术语可以互换使用。
[0027]现在参考图2，在本说明书的实施例中，提出了一种高密度的无标记追踪方案，用于追踪通常一百个或更多个点，同时参考(例如，面部或整个身体的)3D可变形模型避免或减少这些点的追踪漂移，该3D可变形模型可以被可选地校准为当前捕捉的表演者的特定面部/身体。
[0028]该方案包括若干步骤。
[0029]在第一个可选的初始化步骤s200中，3D可变形模型(3DMM)被校准。
[0030]3DMM是面部的数学3D模型，该数学3D模型被用来帮助将追踪的点约束到与在解剖学上人类面部表情一致的位置，如本文中随后所描述的。3DMM同样可以是或包括人体模型。类似地，如果正在捕捉动物，那么可以使用该动物的面部和/或身体，以此类推。
[0031]3DMM可以拟合面部表情和可选的面部形状。
[0032]面部表情使用混合变形的组合来建模，如本文中其他位置所描述的。同时，使用在训练数据集(具有中性表情的面部网格集)上运行主成分分析(PCA)后获得的特征向量的组合，以类似的方式可选地对面部形状建模。
[0033]然后，3DMM可以被可选地校准到特定演员的面部形状如下。在步骤s210中，演员的中性图像(例如，面部上无表情，或身体的简单站立姿势)被用于校准3DMM。如上所述，基于PCA的模型是在面部的数据集(例如，中性合成面部)上预先训练的，以获得这些特征向量(例如，所谓的特征面部)。然后，确定指示最接近演员面部的特征向量的组合的PCA参数(
‘
Calib.Params
’
202)。
[0034]在初始化期间，基于PCA参数修改使用于3DMM的基础网格变形的一组权重，以使该网格更好地拟合演员的面部。修改后的网格然后作为基础网格被保留，在该基础网格上将视频序列的面部表情变形(混合变形)与该特定演员拟合。
[0035]面部表情的拟合过程在本文中随后描述，并且包括步骤s220中生成用于步骤s250的3DMM拟合的特殊面部特征点204的深度特征检测器。
[0036]如上所述，初始化步骤还可以在步骤s220中使用深度特征检测器来检测用于3DMM拟合的特殊点204。
[0037]深度特征检测器是可以是专用硬件模块的模块，或者可以例如是在适当的软本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点追踪的方法，包括以下步骤：从包括要追踪的对象的输入图像帧的序列中接收连续输入图像帧；针对每个输入帧，检测多个特征点；将3D可变形模型映射到所述多个特征点；执行在连续输入帧之间的流点的光流追踪；以及针对响应于映射的3D可变形模型的至少第一流点位置校正光流轨迹。2.如权利要求1所述的方法，其中：所述流点包括检测的特征点中的一些或全部。3.如权利要求1或权利要求2所述的方法，其中：使用一个或多个机器学习模型来检测所述特征点。4.如权利要求3所述的方法，其中：由被训练以检测所述对象的相应视觉特征的相应机器学习模型来检测特征点的相应组。5.如权利要求1所述的方法，其中：所述对象包括从列表中选择的一个或多个，所述列表包括：i.面部；以及ii.身体。6.如权利要求5所述的方法，其中：所述3D可变形模型是线性的基于混合变形的模型。7.如权利要求5或权利要求6所述的方法，包括以下步骤：将所述3D可变形模型校准到所述输入图像帧内描绘的人的解剖比例。8.如权利要求1所述的方法，其中：所述连续输入图像帧包括立体图形对；并且所述方法包括以下步骤：根据所述立体图像对生成深度映射；将检测的特征点映射到对应的深度位置；以及将所述3D可变形模型映射到在映射的深度位置处的所述多个特征点。9.如权利要求1所述的方法，其中校正光流追踪的步骤包括从列表中选择的一个或多个，所述列表包括：i.更改超过与所述3D可变化模型的对应点的预定距离的流点的所述位置来减少该距离；ii.如果所述3D可变化模型的对应点对应于预定特征，则更改流点的所述位置，并且所述流点的所述位置将导致该预定特征与另一预定特征交叉或相交；以及iii.如果所述3D可变化模型的对应点对应于预定特征，则更改流点的所述位置，并且所述流点的所述位置将导致该预定特征具有与预定关系不一致的与另一预定特征的位...

【专利技术属性】
技术研发人员：SW拉霍巴达雅尔，J鲁比奥，S塔特萨尔，
申请(专利权)人：索尼互动娱乐欧洲有限公司，
类型：发明
国别省市：