在2D或3D化身上动画化生理特性制造技术

系统和方法涉及直接在化身和照片上动画化细微的生理过程。也就是说，可以对化身的外观进行基于生理的空间、颜色空间和时间修改，以模拟生理特性，诸如血流。更具体地，视频序列的帧和生理信号可以被接收。注意力掩码可以基于所接收的生理信号被生成，其中注意力掩码包括用于视频序列的帧的不同部分的、指示生理信号的强度的注意力权重。相应地，像素调整值可以基于生理信号和注意力掩码被生成，并且被应用于视频序列的帧中的被标识像素。用于视频序列的帧中的被标识像素。用于视频序列的帧中的被标识像素。

【技术实现步骤摘要】
【国外来华专利技术】在2D或3D化身上动画化生理特性

技术介绍

[0001]随着化身变得更加真实，它们的使用变得更加广泛并且观察者往往会发现它们更值得信赖。然而，当化身如此逼真以至于小差异变得明显时，观察者往往会发现这样的化身令人厌恶和令人不安。为了使化身更可信和更真实，化身可以被渲染为包括对于创建更逼真的外观重要的生理信号。虽然计算机图形学界已经贡献了一些有价值的方法用于应用和放大化身的细微生理变化，但这样的方法往往只适用于放大源材料中已经存在的信号，而不能轻易地适应于动画化身或最初是静态的图像。
[0002]正是基于这些和其他一般考虑，本文所公开的方面已经被做出。此外，尽管相对具体的问题可以被讨论，但应当理解，这些示例不应局限于解决在
技术介绍
或本公开的其他地方所标识的具体问题。

技术实现思路

[0003]根据本公开的示例，用于直接在化身和照片上动画化细微生理过程的方法被提供。更具体地，可以对模拟生理特性(诸如血流)的化身的外观进行基于生理的空间、颜色空间和时间修改。生理信号振幅(诸如血流信号振幅)非常小，对于观众很难“看到”。然而，具有基于生理学的血流动画的化身被认为比没有的化身更拟人化和更栩栩如生，并且操纵化身的心率改变了在观察者之间化身如何被接收。
[0004]根据本公开的至少一个示例，提供了一种用于将生理特性应用于视频的一部分的方法。该方法可以包括：接收视频序列的帧，接收生理信号，基于所接收的生理信号生成注意力掩码，其中该注意力掩码包括用于视频序列的帧的不同部分的、指示生理信号的强度的注意力权重，基于生理信号和注意力掩码生成像素调整值，以及将像素调整值应用于视频序列的帧中的被标识像素。
[0005]根据本公开的至少一个示例，提供了一种包括指令的计算机可读介质。当指令由处理器执行时，指令使处理器接收视频序列的帧，接收生理信号，基于所接收的生理信号生成注意力掩码，其中该注意力掩码包括用于视频序列的帧的不同部分的、指示生理信号的强度的注意力权重，基于视频序列的帧、生理信号、注意力掩码和与第一颜色相关联的颜色通道系数来生成针对第一颜色的阿尔法掩码，以及将所生成的针对第一颜色的阿尔法掩码与第二颜色的阿尔法掩码组合以生成输出帧。
[0006]根据本公开的至少一个示例，提供了一种用于将生理特性应用于视频的一部分的系统。该系统可以包括处理器和存储指令的存储器，指令在由处理器执行时使处理器：接收视频序列的帧，接收生理信号，基于所接收的生理信号生成注意力掩码，其中该注意力掩码包括用于视频序列的帧的不同部分的、指示生理信号的强度的注意力权重，基于生理信号和注意力掩码生成像素调整值，以及将像素调整值应用于视频序列的帧中的被标识像素。
[0007]上述一个或多个方面中的任何一个方面结合一个或者多个方面的任何其他方面。一个或多个方面中的任何一个方面如本文下文描述。
[0008]本
技术实现思路
被提供是为了以简化的形式介绍概念的选择，其将在下面的具体实施
方式中被进一步描述。本
技术实现思路
不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护主题的范围。示例的附加方面、特征和/或优点将在下面的描述中部分地阐述，并且部分地将从描述中显而易见，或者可以通过本公开的实践获知。
附图说明
[0009]非限制性和非穷举性示例参考以下附图被描述。
[0010]图1描绘了根据本公开的示例的涉及将生理特性应用于视频序列的细节；
[0011]图2描绘了根据本公开的示例的涉及训练第一机器学习模型的细节；
[0012]图3描绘了根据本公开的示例的涉及训练第二机器学习模型的细节；
[0013]图4描绘了根据本公开的示例的涉及将生理特性应用于视频序列的细节；
[0014]图5描绘了根据本公开的示例的涉及训练机器学习模型的方法；
[0015]图6描绘了根据本公开的示例的涉及将生理特性应用于视频序列的方法；
[0016]图7描绘了根据本公开的示例的包含生理特性的示例输出帧；
[0017]图8描绘了图示可以实践本公开的方面的计算设备的物理组件(例如，硬件)的框图；
[0018]图9A图示了可以实践本公开的方面的计算设备的第一示例；
[0019]图9B图示了可以实践本公开的方面的计算设备的第二示例；以及
[0020]图10图示了根据本公开的示例的用于处理数据的系统的架构的至少一个方面。
具体实施方式
[0021]在下面的详细描述中，参考了组成其一部分的附图，其中通过图示的方式示出了具体的实施例或示例。这些方面可以被组合，其他方面可以被利用，并且结构改变可以在不脱离本公开的情况下被做出。实施例可以作为方法、系统或设备来被实践。因此，实施例可以采取硬件实现、完全软件实现或结合软件和硬件方面的实现的形式。因此，以下详细描述不应被视为限制性的，并且本公开的范围由所附权利要求及其等同物限定。
[0022]有许多可以创建可信的化身的属性，诸如计算机生成的或合成生成的化身。将化身区分为健康人和僵尸(两者都可以移动)的区别在于化身充满活力的外观。类似地，人坐着不动的视频和照片的区别在于身体的细微动作，诸如眨眼、呼吸甚至脸红。随着化身变得越来越真实，人们发现他们越来越值得信赖，直到他们变得如此真实，以至于小的差异变得明显；在这一点处，人们可能会开始发现它们令人厌恶，这是一种被称为恐怖谷的现象。即使是在化身的外观中的微小差异也有助于创建更自然、逼真的外观。将生理信号视为与血流、呼吸和眨眼中的变化一样细微的生理信号也很重要，并且可以考虑基于外部因素(例如，环境的温度和化身的情绪状态)的信号。虽然观察者可能无法很轻易地“看到”或标识这些变化，但这样细微的变化会影响观察者对化身的感知和接受，诸如接受化身是真实的。尽管这些变化是细微的，但对真实人类数据的细微变化建模比使用简单的试探法产生更可信的效果。
[0023]例如，早期对化身的研究侧重于对化身移动和交流所需的最明显的行为进行建模，诸如：嘴型同步、头部姿势和面部表情。实验表明，当这些行为具有不自然的强度或动态时，或者当人工特征与人类特征之间不匹配时，人们能够很轻易发现。这样不自然的强度或
动态以及不匹配的特征因素导致角色(如化身)看起来不太可信。最近的工作已经开始关注外表的更细微的方面。例如，研究人员已经开始对具有不同情绪表情的面部的血液灌注模式进行建模，并且开发了基于血液浓度级别的具有真实外观变化的人体皮肤的3D图形模型。然而，这些方法不对动态生理变化建模(诸如由于血流的灌注)，和/或不适于以自然数据驱动的方式动画化现有的化身，甚至照片。
[0024]很少关注在化身上对人类生理的细微方面建模的一个原因是测量精确的空间和动态模式具有挑战性。例如，外围血流信号在皮肤的所有区域上都不是空间均匀的。在过去开发的大多数生理测量技术都关注点测量，如可穿戴设备中的光电体积描记传感器。热像成像(TI)、激光多普勒血流测量(LDF)和激光多普勒成像(LDI)都被用于捕获皮肤血流；然而，这些并非无处不在的设备本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于将生理特性应用于视频的一部分的方法，所述方法包括：接收视频序列的帧；接收生理信号；基于所接收的所述生理信号，生成注意力掩码，其中所述注意力掩码包括用于所述视频序列的所述帧的不同部分的、指示所述生理信号的强度的注意力权重；基于所述生理信号和所述注意力掩码，生成像素调整值；以及将所述像素调整值应用于所述视频序列的所述帧中的被标识像素。2.根据权利要求1所述的方法，进一步包括：基于所述生理信号和所述注意力掩码，生成第二像素调整值，所述第二像素调整值不同于所述像素调整值；以及将所述第二像素调整值应用于所述视频序列的所述帧中的第二被标识像素，其中所述第二被标识像素不同于所述被标识像素。3.根据权利要求1所述的方法，其中所述注意力掩码标识在所述视频序列中被描绘的化身的被所述生理信号影响的区域。4.根据权利要求1所述的方法，其中所述注意力掩码是从机器学习模型被生成的，所述机器学习模型被专门训练以基于视频序列的帧和所述生理信号生成注意力掩码。5.根据权利要求1所述的方法，其中所述生理信号是血容量脉搏率、眨眼率或呼吸频率中的至少一项。6.根据权利要求1所述的方法，进一步包括：基于所述生理信号、所述注意力掩码和颜色系数，生成另一像素调整值，其中所述颜色系数特定于所述生理特性。7.根据权利要求6所述的方法，其中应用所述颜色系数包括：针对所述颜色系数的每个颜色生成阿尔法掩码，并且组合多个所述阿尔法掩码以获得输出帧。8.根据权利要求1所述的方法，其中所述像素调整值是与针对一个或多个像素的方向和幅度相对应的向量。9.一种包括指令的计算机可读介质，所述指令在由处理器执行时使所述处理器：接收视频序列的帧；接收生理信号；基于所接收的所述生理信号，生成注意力掩码，其中所述注意力掩码包括用于所述视频序列的所述帧...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：