用于化身生成、渲染和动画的系统和方法技术方案

本公开的发明专利技术名称是“用于化身生成、渲染和动画的系统和方法”。一种用于将参与用户的实际活动图像替换为动画化身的视频通信系统。系统允许生成、渲染和以动画表现用户的面部的二维(2D)化身。2D化身表示用户的基本面部形状和关键面部特点，包括但不限于眼睛、鼻子、嘴和面部轮廓的位置和形状。系统还允许为显示进行自适应渲染，从而允许在用户装置的相关联不同大小的显示器上显示不同比例的2D化身。

Systems and methods for Avatar generation, rendering, and animation

【技术实现步骤摘要】
用于化身生成、渲染和动画的系统和方法
本公开内容涉及视频通信和交互，并且更具体地说，涉及用于化身（avatar）生成、动画和渲染以便在视频通信和交互中使用的系统和方法。
技术介绍
移动装置中日益增长的可用的功能性使得用户除简单的呼叫外还希望经视频进行通信。例如，用户可启动“视频呼叫”、“视频会议”等，其中，装置中的照相机和麦克风将用户的音频和实时视频传送到一个或更多个接收者，如其它移动装置、台式计算机、视频会议系统等。实时视频的通信可涉及传送大量的数据（例如，取决于照相机的技术、用于处理实时图像信息的特定视频编解码器等）。在现有2G/3G无线技术的带宽限制和新兴4G无线技术的还有限的可用性条件下，许多装置用户进行同时视频呼叫的提议对现有无线通信基础设施中的带宽造成了很大负担，这可不利地影响视频呼叫的质量。附图说明随着以下具体实施方式进行，并参照类似的标号示出类似部分的附图时，所述主题的各种实施例的特征和优点将变得显而易见，并且其中：图1A示出与本公开内容的各种实施例一致的示例装置到装置系统；<br>图1B示出与本本文档来自技高网...

【技术保护点】
1.一种用于在第一用户装置与远程用户装置之间的通信期间的化身生成、渲染和动画的系统，所述系统包括：/n照相机，配置成捕捉图像；/n通信模块，配置成在所述第一与所述远程用户装置之间启动并建立通信，并且在所述第一与所述远程用户装置之间传送和接收信息；以及/n一个或更多存储媒体，已在其上单独或组合地存储指令，所述指令在由一个或更多处理器执行时产生以下操作，包括：/n生成化身模型，包括：/n为所述化身模型捕捉图像；/n跟踪所述图像中的面部；/n分析所述图像以便提取面部特点；以及/n基于所述面部特点自动生成所述化身模型；/n生成化身参数，包括：/n启动通信；/n为所述化身参数捕捉图像；/n检测所述图像中...

【技术特征摘要】
1.一种用于在第一用户装置与远程用户装置之间的通信期间的化身生成、渲染和动画的系统，所述系统包括：
照相机，配置成捕捉图像；
通信模块，配置成在所述第一与所述远程用户装置之间启动并建立通信，并且在所述第一与所述远程用户装置之间传送和接收信息；以及
一个或更多存储媒体，已在其上单独或组合地存储指令，所述指令在由一个或更多处理器执行时产生以下操作，包括：
生成化身模型，包括：
为所述化身模型捕捉图像；
跟踪所述图像中的面部；
分析所述图像以便提取面部特点；以及
基于所述面部特点自动生成所述化身模型；
生成化身参数，包括：
启动通信；
为所述化身参数捕捉图像；
检测所述图像中的面部；
从所述面部确定面部特点；以及
将所述面部特点转换成化身参数；以及
传送所生成的化身模型和化身参数。


2.如权利要求1所述的系统，其中从所述面部确定面部特点包括：
检测和识别所述面部中的面部标志，所述面部标志包括所述图像中所述面部的前额、下巴、眼睛、鼻子、嘴和面部轮廓中的至少一个；以及
至少部分基于所述识别的面部标志生成面部参数，所述面部参数包括一个或更多关键点和在所述一个或更多关键点的至少两个关键点之间形成连接的边缘。


3.如权利要求1所述的系统，其中所述化身模型和化身参数用于在远程装置上生成化身，所述化身基于所述面部特点。


4.如权利要求1所述的系统，其中所述化身模型和化身参数用于在虚拟空间中生成化身，所述化身基于所述面部特点。


5.如权利要求1所述的系统，其中所述指令在由一个或更多处理器执行时产生以下另外的操作：
接收远程化身模型和远程化身参数中的至少一个。


6.如权利要求6所述的系统，还包括显示器，其中所述指令在由一个或更多处理器执行时产生以下另外的操作：
基于所述远程化身参数来渲染所述远程化身模型以允许无失真或几乎无失真地显示基于所述远程化身模型的化身；以及
基于所述渲染的远程化身模型来显示所述化身。


7.如权利要求7所述的系统，其中所述指令在由一个或更多处理器执行时产生以下另外的操作：
基于所述远程化身参数以动画表现所述显示的化身。


8.一种用于在第一用户装置与远程用户装置之间的通信期间的化身生成、渲染和动画的设备，所述设备包括：
化身模型生成模块，配置成为所述化身模型捕捉图像；跟踪所述图像中的面部；分析所述图像以便提取面部特点；以及基于所述面部特点自动生成所述化身模型；
通信模块，配置成在所述第一与所述远程用户装置之间启动和建立通信；
面部检测模块，配置成检测所述用户的图像中的面部区域，并且检测和识别所述面部的一个或更多面部特点；以及
化身控制模块，配置成将所述面部特点转换成化身参数；
其中所述通信模块配置成传送生成的化身模型和化身参数。


9.如权利要求8所述的设备，其中所述面部检测模块包括：
标...

【专利技术属性】
技术研发人员：童晓峰，李文龙，杜杨洲，W胡，Y张，J李，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US