当前位置: 首页 > 专利查询>苹果公司专利>正文

从人类语音和其他声音中解码面部姿势以用于AR/VR应用中的化身渲染制造技术

技术编号:46625546 阅读:0 留言:0更新日期:2025-10-14 21:22
本公开内容涉及从人类语音和其他声音中解码面部姿势以用于AR/VR应用中的化身渲染。生成角色包括对于多个帧中的每个帧捕获包括对象的图像和音频的传感器数据。从该对象捕获图像数据和音频数据。使用该图像数据生成表示该对象的第一几何数据。使用该第一几何数据和来自该音频数据的该对象的特性来确定表示该对象的第二几何数据,其中该第二几何数据不同于该第一几何数据。使用该第二几何数据生成用于对象角色的该对象的3D几何表示。

【技术实现步骤摘要】


技术介绍

1、表示用户并由用户控制的计算机化字符通常被称为化身。化身可采取多种形式,包括虚拟人类、动物和植物生命。一些计算机产品包括具有由用户的面部表情驱动的面部表情的化身。基于面部的化身的一个用途是通信,其中第一设备中的相机和麦克风将第一用户的音频和实时2d或3d化身发送至一个或多个第二用户,诸如其他移动设备、台式计算机、视频会议系统等。已知的现有系统往往是计算密集型的,需要高性能通用和图形处理器,并且通常对移动设备诸如智能电话或计算平板电脑不太有效。另外,在运行时期间以逼真的方式传达细微的面部表情或情绪状态的能力方面需要改进。


技术实现思路

【技术保护点】

1.一种包括计算机可读代码的非暂态计算机可读介质,所述计算机可读代码能够由一个或多个处理器执行以:

2.根据权利要求1所述的非暂态计算机可读介质,其中用于确定所述第一几何数据的所述计算机可读代码包括用于以下操作的计算机可读代码:

3.根据权利要求2所述的非暂态计算机可读介质,其中用于确定所述第一几何数据的所述计算机可读代码包括用于以下操作的计算机可读代码:

4.根据权利要求3所述的非暂态计算机可读介质,其中用于确定所述第一几何数据的所述计算机可读代码包括用于以下操作的计算机可读代码:

5.根据权利要求1至4中任一项所述的非暂态计算机可读介质...

【技术特征摘要】

1.一种包括计算机可读代码的非暂态计算机可读介质,所述计算机可读代码能够由一个或多个处理器执行以:

2.根据权利要求1所述的非暂态计算机可读介质,其中用于确定所述第一几何数据的所述计算机可读代码包括用于以下操作的计算机可读代码:

3.根据权利要求2所述的非暂态计算机可读介质,其中用于确定所述第一几何数据的所述计算机可读代码包括用于以下操作的计算机可读代码:

4.根据权利要求3所述的非暂态计算机可读介质,其中用于确定所述第一几何数据的所述计算机可读代码包括用于以下操作的计算机可读代码:

5.根据权利要求1至4中任一项所述的非暂态计算机可读介质,其中用于确定所述第二几何数据的所述计算机可读代码包括用于以下操作的计算机可读代码:

6.根据权利要求5所述的非暂态计算机可读介质,其中用于将所述音频转换为音频潜在表征的所述计算机可读代码包括用于以下操作的计算机可读代码:

7.根据权利要求5所述的非暂态计算机可读介质,其中用于确定所述第二几何数据的所述计算机可读代码包括用于以下操作的计算机可读代码:

8.一种方法,所述方法包括:

9.根据权利要求8所述的方法,其中确定所述第一几何数据包括:

10....

【专利技术属性】
技术研发人员:M·埃斯皮马克斯B·阿姆伯格C·M·阿文达诺K·M·杜兰德V·科塔
申请(专利权)人:苹果公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1