实时运动和外观转移制造技术

公开了用于执行将运动从一个真实世界对象实时转移到另一个真实世界对象的操作的方法和系统。该操作包括：接收第一视频，该第一视频包括对第一真实世界对象的描绘；以及从视频中提取第一真实世界对象的外观。该操作包括：获得第二视频，该第二视频包括对第二真实世界对象的描绘；以及从第二视频中提取第二真实世界对象的运动。该操作包括：将从第二视频中提取的第二真实世界对象的运动应用于从第一视频中提取的第一真实世界对象的外观。该操作包括：生成包括对第一真实世界对象的描绘的第三视频，对第一真实世界对象的描绘具有第一真实世界对象的外观和第二真实世界对象的运动。

【技术实现步骤摘要】
【国外来华专利技术】

本公开内容总体上涉及使用消息收发应用提供增强现实(ar)体验。

技术介绍

1、增强现实(ar)是对虚拟环境的修改。例如，在虚拟现实(vr)中，用户完全沉浸在虚拟世界中，而在ar中，用户沉浸在将虚拟对象与真实世界组合或将虚拟对象叠加在真实世界上的世界中。ar系统旨在生成并呈现与真实世界环境真实地交互并且彼此之间进行交互的虚拟对象。ar应用的示例可以包括单人或多人视频游戏、即时消息收发系统等。

技术实现思路

【技术保护点】

1.一种方法，包括：

2.根据权利要求1所述的方法，其中，所述第一真实世界对象包括第一人，并且所述第二真实世界对象包括第二人。

3.根据权利要求1至2中任一项所述的方法，其中，表示所述第一真实世界对象的所述外观的所述外观数据包括所述第一真实世界对象的三维(3D)姿势数据、所述第一真实世界对象的全身分割数据、所述第一真实世界对象的一组密集关键点以及所述第一真实世界对象的服装分割数据。

4.根据权利要求1至3中任一项所述的方法，其中，提取所述外观数据包括：将第一机器学习技术应用于所述第一视频，所述第一机器学习技术被训练成针对输入视频估计外观数据和运动数据，...

【技术特征摘要】
【国外来华专利技术】

1.一种方法，包括：

2.根据权利要求1所述的方法，其中，所述第一真实世界对象包括第一人，并且所述第二真实世界对象包括第二人。

3.根据权利要求1至2中任一项所述的方法，其中，表示所述第一真实世界对象的所述外观的所述外观数据包括所述第一真实世界对象的三维(3d)姿势数据、所述第一真实世界对象的全身分割数据、所述第一真实世界对象的一组密集关键点以及所述第一真实世界对象的服装分割数据。

4.根据权利要求1至3中任一项所述的方法，其中，提取所述外观数据包括：将第一机器学习技术应用于所述第一视频，所述第一机器学习技术被训练成针对输入视频估计外观数据和运动数据，所述外观数据包括所述第一真实世界对象的纹理数据和颜色数据。

5.根据权利要求4所述的方法，其中，提取所述运动数据包括：将所述第一机器学习技术应用于所述第二视频，所述运动数据包括表示所述第二真实世界对象的姿势的姿势数据。

6.根据权利要求1至5中任一项所述的方法，其中，所述第一机器学习技术被训练成同时生成所述输入视频中描绘的给定真实世界对象的三维(3d)姿势、所述给定真实世界对象的全身分割数据、所述给定真实世界对象的一组密集关键点以及所述给定真实世界对象的服装分割数据。

7.根据权利要求1至6中任一项所述的方法，还包括：

8.根据权利要求7所述的方法，其中，所述第一机器学习技术和所述第二机器学习技术是端对端训练的，以在具有表示第一训练视频中描绘的第一运动的第一运动数据的训练真实世界对象的外观数据与表示具有第二训练视频中描绘的第二运动的训练真实世界对象的外观的外观数据之间建立关系。

9.根据权利要求1至8中任一项所述的方法，还包括：通过迭代一系列操作来训练所述第一机器学习技术和所述第二机器学习技术，所述一系列操作包括：

10.根据...

【专利技术属性】
技术研发人员：阿维豪伊·阿苏利纳，伊塔马尔·贝格尔，尼尔·马尔宾，贾勒·萨松，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：