用于关节动画的运动表示制造技术

本文中的系统和方法描述了用于使由不同部分组成的关节对象动画化的新颖运动表示。所描述的系统和方法访问源图像数据，识别驱动图像数据以修改源图像序列数据中的图像特征数据，使用图像变换神经网络来生成修改的源图像数据，该修改的源图像数据包括描绘图像特征数据的修改版本的多个修改的源图像，该图像变换神经网络被训练成针对源图像数据中的每个图像从驱动图像数据中识别驱动图像，所识别的驱动图像由图像变换神经网络实现，以使用所识别的驱动图像与源图像数据中的相应的源图像之间的运动估计差来修改相应的源图像，并且存储所修改的源图像数据。所修改的源图像数据。所修改的源图像数据。

【技术实现步骤摘要】
【国外来华专利技术】用于关节动画的运动表示
[0001]优先权要求
[0002]本申请要求于2020年6月30日提交的美国临时申请第63/046,583号的优先权的权益，其全部内容通过引用并入本文中。


[0003]本公开内容的实施方式总体上涉及动画。更具体地但非限制性地，本公开内容涉及用于使由不同部分组成的关节对象动画化的运动表示的系统和方法。

技术介绍

[0004]动画(即，将静态对象带给生活)在教育和娱乐中具有广泛的应用。动画角色和动画对象增加了内容的创造性和吸引力，通过讲故事提高了材料的清晰度，并且增强了用户体验。
附图说明
[0005]在不一定按比例绘制的附图中，相同的数字可以在不同的视图中描述相似的部件。为了容易识别对任何特定元件或动作的讨论，附图标记中的一个最高位数字或多个最高位数字是指该元件被首次引入时所在的图号。在附图的图中示出了一些非限制性示例，在附图中：
[0006]图1是根据一些示例的其中可以部署本公开内容的联网环境的图解表示。
[0007]图2是根据一些示例的具有客户端侧功能和服务器侧功能二者的消息收发系统的图解表示。
[0008]图3是根据一些示例的在数据库中维护的数据结构的图解表示。
[0009]图4是根据一些示例的消息的图解表示。
[0010]图5是根据一些示例的访问限制处理的流程图。
[0011]图6至图7示出了根据示例实施方式的运动表示模型。
[0012]图8是根据示例实施方式的用于使用运动表示生成关节动画的方法的流程图。
[0013]图9是根据示例实施方式的使用关节动画的运动表示生成的示例动画图像的图示。
[0014]图10是根据一些示例的呈计算机系统形式的机器的图解表示，在该机器中可以执行一组指令以使该机器执行本文中讨论的方法中任何一种或更多种。
[0015]图11是示出可以在其中实现示例的软件架构的框图。
具体实施方式
[0016]本文中的系统和方法提出了用于使由不同部分组成的关节对象动画化的新颖表示。以无监督的方式，动画系统识别对象区域，跟踪驱动视频中的区域，并且通过考虑它们的主轴来推断它们的运动。动画系统提取有意义且一致的区域，描述位置、形状和姿势。这
些区域对应于语义上相关且不同的对象部分。
[0017]为了迫使前景与背景分离，动画系统用附加的仿射变换来模拟非对象相关的全局运动。为了利于动画并防止驱动对象的形状的泄漏，动画系统解开区域空间中对象的形状和姿势。
[0018]联网计算环境
[0019]图1是示出用于通过网络交换数据(例如，消息和相关联的内容)的示例消息收发系统100的框图。消息收发系统100包括客户端设备102的多个实例，每个实例托管包括消息收发客户端104和其他应用106的若干应用。每个消息收发客户端104经由网络112(例如，因特网)通信地耦接至消息收发客户端104(例如，托管在相应的其他客户端设备102上)、消息收发服务器系统108和第三方服务器116的其他实例。消息收发客户端104还可以使用应用程序接口(API)与本地主机应用106通信。
[0020]消息收发客户端104能够经由网络112与其他消息收发客户端104和消息收发服务器系统108通信并交换数据。在消息收发客户端104之间以及消息收发客户端104与消息收发服务器系统108之间交换的数据包括功能(例如，激活功能的命令)以及有效载荷数据(例如，文本、音频、视频或其他多媒体数据)。
[0021]消息收发服务器系统108经由网络112向特定消息收发客户端104提供服务器侧功能。虽然消息收发系统100的某些功能在本文中被描述为由消息收发客户端104或由消息收发服务器系统108执行，但是某些功能的在消息收发客户端104或消息收发服务器系统108内的定位可以是设计选择。例如，在技术上可以优选的是：最初将某些技术和功能部署在消息收发服务器系统108内，但是后面将该技术和功能迁移至客户端设备102具有足够处理能力的消息收发客户端104。
[0022]消息收发服务器系统108支持向消息收发客户端104提供的各种服务和操作。这样的操作包括向消息收发客户端104发送数据、从消息收发客户端104接收数据以及对由消息收发客户端104生成的数据进行处理。作为示例，该数据可以包括消息内容、客户端设备信息、地理定位信息、媒体增强和覆盖、消息内容持续条件、社交网络信息和实况事件信息。通过经由消息收发客户端104的用户接口(UI)可用的功能来激活和控制消息收发系统100内的数据交换。
[0023]现在具体地转至消息收发服务器系统108，应用程序接口(API)服务器116耦接至应用服务器114并且向应用服务器114提供编程接口。应用服务器114通信地耦接至数据库服务器120，数据库服务器120利于访问数据库126，该数据库126存储与通过应用服务器114处理的消息相关联的数据。类似地，web服务器128耦接至应用服务器114，并且向应用服务器114提供基于web的接口。为此，web服务器128通过超文本传输协议(HTTP)和若干其他相关协议处理传入的网络请求。
[0024]应用程序接口(API)服务器116在客户端设备102与应用服务器114之间接收和发送消息数据(例如，命令和消息有效载荷)。具体地，应用程序接口(API)服务器116提供一组接口(例如，例程和协议)，消息收发客户端104可以调用或查询该组接口以激活应用服务器114的功能。应用程序接口(API)服务器116显露由应用服务器114支持的各种功能，包括：帐户注册；登录功能；经由应用服务器114将消息从特定消息收发客户端104发送至另一消息收发客户端104；将媒体文件(例如，图像或视频)从消息收发客户端104发送至消息收发服
务器118并且用于另一消息收发客户端104的可能访问；设置媒体数据集合(例如，故事)；检索客户端设备102的用户的朋友列表；检索这样的集合；检索消息和内容；在实体图(例如社交图)中添加和删除实体(例如朋友)；在社交图中定位朋友；以及打开应用事件(例如，与消息收发客户端104有关)。
[0025]应用服务器114托管若干服务器应用和子系统，包括例如消息收发服务器118、图像处理服务器122、社交网络服务器124和动画系统130。消息收发服务器118实现了若干消息处理技术和功能，特别是与从消息收发客户端104的多个实例接收到的消息中包括的内容(例如，文本和多媒体内容)的聚合和其他处理有关的消息处理技术和功能。如将进一步详细描述的，来自多个源的文本和媒体内容可以被聚合成内容的集合(例如，被称为故事或图库)。然后，使这些集合对消息收发客户端104可用。鉴于对这样的处理的硬件要求，也可以由消息收发服务器118在服务器侧执行数据的其他处理器和存储器密集型处理。
[0026]应用服务器114还包括图像处理服务器122，该图像处理服务器122专用于执行各种图像处理操作，通常相对于在从消息收发服务本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：由计算设备访问包括多个源图像的源图像数据；识别驱动图像数据以修改所述源图像数据中的图像特征数据；使用图像变换神经网络生成修改的源图像数据，所述修改的源图像数据包括描绘所述图像特征数据的修改版本的多个修改的源图像，所述图像变换神经网络被训练成针对所述源图像数据中的每个图像从所述驱动图像数据中识别驱动图像，所识别的驱动图像由所述图像变换神经网络实现，以使用所述所识别的驱动图像与所述源图像数据中的相应的源图像之间的运动估计差来修改所述相应的源图像；以及将所述修改的源图像数据存储在所述计算设备上。2.根据权利要求1所述的方法，其中，所述驱动图像数据包括驱动图像的有序集合。3.根据权利要求1所述的方法，其中，所述图像变换神经网络包括区域预测器神经网络、背景运动检测器神经网络和生成神经网络。4.根据权利要求3所述的方法，其中，所述背景运动检测器神经网络被配置成基于所述源图像数据和所述驱动图像数据来预测仿射背景变换。5.根据权利要求3所述的方法，其中，所述区域预测器神经网络被配置成生成所识别的驱动图像与所述相应的源图像之间的运动估计差。6.根据权利要求5所述的方法，还包括：从所述源图像数据生成源图像热图的集合；从所述驱动图像数据生成驱动图像热图的集合；针对所述源图像热图的集合计算源主轴的集合；针对所述驱动图像热图的集合计算驱动主轴的集合；以及基于所计算的源主轴的集合和驱动主轴的集合生成所述源图像数据的变换。7.根据权利要求3所述的方法，其中，所述生成神经网络被配置成：通过将所述所识别的驱动图像与来自所述源图像数据的所述相应的源图像之间的运动估计差应用于所述相应的源图像来生成所述修改的源图像数据中的每个修改的源图像。8.一种系统，包括：处理器；以及存储器，其存储指令，所述指令在由所述处理器执行时将所述系统配置成：访问包括多个源图像的源图像数据；识别驱动图像数据以修改所述源图像数据中的图像特征数据；使用图像变换神经网络生成修改的源图像数据，所述修改的源图像数据包括描绘所述图像特征数据的修改版本的多个修改的源图像，所述图像变换神经网络被训练成针对所述源图像数据中的每个图像从所述驱动图像数据中识别驱动图像，所识别的驱动图像由所述图像变换神经网络实现，以使用所述所识别的驱动图像与所述源图像数据中的相应的源图像之间的运动估计差来修改所述相应的源图像；以及将所述修改的源图像数据存储在所述计算设备上。9.根据权利要求8所述的系统，其中，所述驱动图像数据包括驱动图像的有序集合。10.根据权利要求8所述的系统，其中，所述图像变换神经网络包括区域预测器神经网
络、背景运动检测器神经网络和生成神经网络。11.根...

【专利技术属性】
技术研发人员：柴蒙磊，任健，阿利阿克山大，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：