一种用于将参与用户的实际活动图像替换为动画化身的视频通信系统。系统允许生成、渲染和以动画表现用户的面部的二维(2D)化身。2D化身表示用户的基本面部形状和关键面部特点，包括但不限于眼睛、鼻子、嘴和面部轮廓的位置和形状。系统还允许为显示进行自适应渲染，从而允许在用户装置的相关联不同大小的显示器上显示不同比例的2D化身。
【技术实现步骤摘要】
【国外来华专利技术】【专利摘要】一种用于将参与用户的实际活动图像替换为动画化身的视频通信系统。系统允许生成、渲染和以动画表现用户的面部的二维(2D)化身。2D化身表示用户的基本面部形状和关键面部特点，包括但不限于眼睛、鼻子、嘴和面部轮廓的位置和形状。系统还允许为显示进行自适应渲染，从而允许在用户装置的相关联不同大小的显示器上显示不同比例的2D化身。【专利说明】
本公开内容涉及视频通信和交互，并且更具体地说，涉及用于化身(avatar )生成、动画和渲染以便在视频通信和交互中使用的系统和方法。
技术介绍
移动装置中日益增长的可用的功能性使得用户除简单的呼叫外还希望经视频进行通信。例如，用户可启动“视频呼叫”、“视频会议”等，其中，装置中的照相机和麦克风将用户的音频和实时视频传送到一个或更多个接收者，如其它移动装置、台式计算机、视频会议系统等。实时视频的通信可涉及传送大量的数据(例如，取决于照相机的技术、用于处理实时图像信息的特定视频编解码器等)。在现有2G/3G无线技术的带宽限制和新兴4G无线技术的还有限的可用性条件下，许多装置用户进行同时视频呼叫的提议对现有无线通信基础设施中的带宽造成了很大负担，这可不利地影响视频呼叫的质量。 【专利附图】【附图说明】 随着以下【具体实施方式】进行，并参照类似的标号示出类似部分的附图时，所述主题的各种实施例的特征和优点将变得显而易见，并且其中:图1A示出与本公开内容的各种实施例一致的示例装置到装置系统；图1B示出与本公开内容的各种实施例一致的示例虚拟空间系统；图2示出与本公开内容的各种实施例一致的示例装置；图3示出与本公开内容的各种实施例一致的示例面部检测模块；图4A-4C示出与本公开内容的至少一个实施例一致的化身的示例面部标记参数和生成；图5示出与本公开内容的各种实施例一致的示例化身控制模块和选择模块；图6示出与本公开内容的至少一个实施例一致的示例系统实现；以及图7是与本公开内容的至少一个实施例一致的示例操作的流程图。 虽然以下【具体实施方式】将参照说明性实施例进行，但其许多备选、修改和变化将对于本领域技术人员显而易见。 【具体实施方式】 一些系统和方法允许在用户之间进行通信和交互，其中，用户可选择特定化身表示自己。化身模型和此类化身模型的动画可对通信期间的用户体验至关重要。具体而言，最好是具有用户的面部与面部表情的较快动画响应(实时或近实时)和准确和/或生动表示。 一些系统和/或方法允许生成和渲染三维(3-D)化身模型以便在通信期间使用。例如，一些已知方法包括激光扫描、基于模型的照片拟合、图形设计人员或艺术家进行的手动生成等等。然而，已知3D化身生成系统和方法可具有缺陷。具体而言，为使模型动画在通信期间保持较顺畅，3-D化身模型可通常包括成千上万个顶点和三角点，并且3-D化身模型的渲染可要求相当大的计算输入和功率。另外，3-D化身的生成也可要求手动修正以改进在通过和交互期间使用时的视觉效果，并且普通用户可难以自行创建较鲁棒的3-D化身模型。 许多用户可利用诸如智能电话的移动计算装置与化身进行通信和交互。然而，移动计算装置可具有有限的计算资源和/或存储，因此，可能不能为用户，特别是使用3-D化身的用户充分提供令人满意的化身通信和交互。 通过概述，本公开内容一般涉及用于使用交互式化身进行通信和交互的系统和方法。与本公开内容一致的系统和方法通常提供化身生成和渲染，以便在相关联本地与远程用户装置上的本地与远程用户之间的视频通信和交互中使用。更具体地说，系统允许生成、渲染和以动画表现用户的面部的二维(2D)化身，其中，2D化身表示用户的基本面部形状和关键面部特点，包括但不限于眼睛、鼻子、嘴和面部轮廓的位置和形状。系统还配置成至少在一定程度上基于在活动通信和交互期间实时或近实时检测到的用户的关键面部特点，提供化身动画。系统和方法还提供自适应渲染，以便在活动通信和交互期间在用户装置的显示器上显示各种比例的2D化身。更具体地说，系统和方法可配置成识别对应于用户装置的不同大小的显示器的2D化身的比例因子，由此防止在用户装置的多种显示器上显示时2D化身的失真。 在一个实施例中，在耦合到照相机的装置中激活应用。应用可配置成允许用户基于用户的面部和面部特点生成2D化身以便在远程装置上，在虚拟空间等中显示。照相机可配置成开始捕捉图像，并且然后在捕捉的图像上进行面部检测，以及确定面部特点。然后，执行化身选择，其中，用户可基于用户的面部特点在预定义的2D化身与2D化身的生成之间选择。然后，将包括用户的一个或更多个面部特点(包括但不限于眼睛、鼻子和嘴)的移动的任何检测到的面/头部移动和/或面部特征的更改转换成可用于在至少另一装置上，在虚拟空间内等以动画表现化身的参数。 然后，装置可配置成启动与至少另一装置、虚拟空间等的通信。例如，可通过2G、3G、4G蜂窝连接建立通信。备选地，可经WiFi连接通过因特网建立通信。在通信建立后，确定比例因子以便允许在装置之间的通信和交互期间在至少另一装置上适当显示选择的2D化身。然后，可传送化身选择、化身参数和比例因子中的至少一个。在一个实施例中，接收远程化身选择或远程化身参数中的至少一个。远程化身选择可促使装置显示化身，而远程化身参数可促使装置以动画表现显示的化身。音频通信经已知方法伴随化身动画。 与本公开内容一致的系统和方法可为经例如智能电话的移动计算装置与其它用户进行通信和交互的用户提供改进的体验。具体而言，与已知3D化身系统和方法相比，本系统提供了利用更简单的2D化身模型生成和渲染方法的优点，该方法要求更少得多的计算输入和功率。另外，本系统提供2D化身的实时或近实时动画。 图1A示出与本公开内容的各种实施例一致的装置到装置系统100。系统100 —般可包括经网络122进行通信的装置102和112。装置102包括至少照相机104、麦克风106和显示器108。装置112包括至少照相机114、麦克风116和显示器118。网络122包括至少一个服务器124。 装置102和112可包括能够进行有线和/或无线通信的各种硬件平台。例如，装置102和112可包括但不限于视频会议系统、台式计算机、膝上型计算机、平板计算机、智能电话(例如，iPhones?、基于Android?的电话、Blackberries?、基于Symbian?的电话、基于Palm?的电话等)、蜂窝手持机等。 照相机104和114包括用于捕捉表示包括一个或更多个人的环境的数字图像的任何装置，并且可具有适当的分辨率以进行如本文中所述在环境中一个或更多个人的面部分析。例如，照相机104和114可包括静态照相机(例如，配置成捕捉静态照片的照相机)或视频照相机(例如，配置成捕捉包括多个帧的移动图像的照相机)。照相机104和114可配置成使用在可见光谱中的光线操作或者通过不限于红外光谱、紫外光谱等电磁光谱的其它部分操作。照相机104和114可分别包含在装置102和112内，或者可以是配置成经有线或无线通信与装置102和112进行通信的单独装置。照相机104和114的具体示例可包括如可与计算机、视频监视器等相关联的有线(例如，通用串行总线(USB)、以太网、火线等)本文档来自技高网...
【技术保护点】
一种用于在第一用户装置与远程用户装置之间的通信期间的化身生成、渲染和动画的系统，所述系统包括：照相机，配置成捕捉图像；通信模块，配置成在所述第一与所述远程用户装置之间启动并建立通信，并且在所述第一与所述远程用户装置之间传送和接收信息；以及一个或更多个存储媒体，所述存储媒体上单独或组合地存储指令，所述指令在由一个或更多个处理器执行时产生以下操作，包括：选择基于模型的二维(2D)化身和基于草图的2D化身中的至少一个以便在通信期间使用；启动通信；捕捉图像；检测所述图像中的面部；从所述面部确定面部特点；将所述面部特点转换成化身参数；传送所述化身选择和化身参数中的至少一个。
【技术特征摘要】
【国外来华专利技术】
【专利技术属性】
技术研发人员：X童，李文龙，杜杨洲，W胡，Y张，J李，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。