用于语音-文本和文本-面部动画转换的通信网络和设备制造技术

技术编号:5510460 阅读:173 留言:0更新日期:2012-04-11 18:40
一种通信系统,包括:发送设备、接收设备以及将发送设备连接至接收设备的网络。发送设备包括:用于输入作为消息的文本字符序列的至少一个用户可操作输入,以及用于在网络上发送消息的传输装置。接收设备包括:存储多个头部图像的存储器,每个头部图像与不同发送设备相关联且包含从前方看到的头部图像;接收方装置,用于接收包含文本字符序列的消息;文本-语音转换装置,用于将消息的文本字符转换成与文本字符序列相对应的音频消息,以及动画装置,用于从存储器存储的与消息发送方相关联的头部图像中产生头部的动画化局部3D图像。动画装置将头部的至少一个面部特征动画化,动画与头部阅读消息时的运动相对应。显示装置显示动画化局部3D头部;以及扬声器装置以与所显示的头部同步的方式输出音频消息。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及通信网络和一种用于在通信网络上发送和接收消息 的设备。本专利技术还涉及一种向用户呈现消息的新方法,以及一种可以 用于向消息阅读方呈现与消息发送方相关联的面部图像的数据结构 编码信息。
技术介绍
现今有很多不同的通信网络正被广泛使用,以便能够执行远距离 个人通信。传统上,唯一的通信形式是发送信件或使用电话,但是最 新趋势业已注意到了即时或准即时书面通信的进展。关于此类通信形式的示例是电子邮件和文本消息(或者更确切地说是SMS或MMS 消息)。对电子邮件和文本消息而言,发送方将消息键入诸如移动电话或 个人计算机之类的发送方设备。然后,该消息经由电子网络发送到接 收方设备。之后,用户可以拾取所发送的消息,并且将文本显示在与 该设备相关联的显示屏上。虽然这些通信形式经证实是广受欢迎的,并且对年纪较小的用户 来说尤其如此,但是,由于这些通信形式无法表现发送方感情,人们 觉得此类消息被误解也已经有一段时间了。此外,这些通信形式有些 不讲人情,并且很难被存在视觉障碍的用户阅读。针对该问题的一个局部解决方案是开发了一种符号系统,这些符 号被称为情感符(emoticons),并且可以包含在键入的消息中。这些 符号描绘的是表情,并有助于读者确定发送方意图表达的情感。例如, 可以插入"笑"脸以显示发送方很快乐。
技术实现思路
本专利技术至少一个方面的目的是至少部分改善将表情或其他个性 化形式包含在经由通信网络发送的键入消息、例如文本消息、电子邮 件或即时消息中的问题。根据第一个方面,本专利技术提供了一种通信系统,包括发送设备,接收设备,以及将发送设备连接至接收设备的网络; 其中所述发送设备包括用于输入作为消息的文本字符序列的至少一个用户可操作输入, 以及用于在网络上发送消息的传输装置; 其中所述接收设备包括存储多个头部图像的存储器,每个头部图像与不同发送设备相关 联并且包含从前方看到的头部图像;接收方装置,用于接收包含文本字符序列的消息; 文本-语音转换装置,用于将消息的文本字符转换成与文本字符序列相对应的音频消息;动画装置,用于从存储在存储器中的、与消息的发送方相关联的 头部图像中产生头部的动画化的局部3D图像;所述动画装置将头部 的至少一个面部特征动画化,所述动画与头部在阅读消息时所^t出的 运动相对应;显示装置,用于显示动画化的局部3D头部;以及扬声 器装置,用于以与所显示的头部同步的方式输出音频消息。通常,人与人之间的通信中传达的大多数意图和认知都是利用面 部表情以及一个人对另 一个人的面部外形的熟悉度来传送的。在本发 明中,面部特征的表示能具有很高的精确度,这是因为其可以基于用 户或发送方的数码照片,而数码照片业已成为一种很好的相似物并且 它能将这里描述的动画化的局部3D图像作为消息发送方的逼真且可 识别的表示(或画像)来呈现给接收方。与传输和显示纯文本消息相比,通过在接收设备上执行将文本消 息转换成动画化的语音消息的处理,不会在网络上造成附加负担。此 外,通过从预先存储在接收设备的存储器中的图像再现动画化的头部,可以不必用所发射的消息来发送图像。另外,通过使用局部3D 而不是完整3D再现(rendering,或呈现),可以进一步减轻计算负 担。就局部3D而言,我们指的是所述动画显示的头部并不是头部的 完整3D表示。从某种意义上讲,它可以包括2D图像(头部图像可 以是2D图像,例如用相机拍摄的照片),所述2D图像有几处变形, 从而在Z平面上为其提供一定深度,以使面部特征从2D平面上凸起。 图像的其他部分可以保持2D。这种局部3D图像是一个存在失真并且 显现为3D的2D图像。只要简单改变与图像边界相对应的基准平面 方位,所显示的图像即可从左向右略微倾斜。由于该面部特征在Z平 面上具有指定深度,因此,在被倾斜的时候,在显示器上看到的图像 将看起来确实是3D的。该网格还可以在三个平面上旋转,以使头部 看起来像是朝着一侧倾斜,或是在点头动作中轻微上下,抑或是左右 摆动。由此,存储器可以包括由一组互连节点限定的3D网格,所述互 连节点在Z平面中为本来是2D头部图像给出一深度。通常,所述节 点可以全都处于围绕网格边界的一个平面中,并且边界内的节点可以 高出所述平面以便与面部特征相对应。动画装置可以通过将头部头像 重叠在网格上,使得头部图像面部区域的面部特征与网格中升高的面 部特征相对准来产生局部3D头部图像。由此,面部特征会在Z平面 前推。而诸如头发之类的其他头部部分则可以通过落入边界以内而保 持平坦。由此,该网格可以复制的是在将头部按在弹性材料片材背后(该 弹性材料片材紧绷于某个框架)时产生的3D拓朴结构。这种材料会 按照诸如鼻子、眉毛和嘴唇之类的面部特征而被前推,但仍旧会保持 在面部区域之外的同一平面中。9这个在面部特征区域中增高但在这些区域之外平坦的3D网格允 许非常简单地在网格上映射包含头发或是超出面部轮廓的其他特征的头部图像。与产生完整3D模型相比,该映射要简单得多,其在所 实现的逼真度方面也提供了很好的结果。对3D模型来说,是无法实 现逼真的头发显示的。在动画化期间,即便仅仅是局部3D,增高的 面部特征也允许头部图像在三个平面上轻微旋转,而这些特征则可以 提供真实3D的外观。网格通常可以具有矩形轮廓,以便与典型的矩形显示屏轮廓相适 应。这样做允许根据需要来扩大动画图像,以便填充显示屏。在接收设备存储器中只存储单个网格,以便用于再现来自任何发 送方的动画化头部,其中所述发送方的头部图像被保存在接收方设备 中。与保存很多网格相比,这样做减少了提供动画化的头部图像所需 要的存储器数量,即使每个头部图像都具有一个网格的时候也是如 此。当然,如有需要,也可以存储一个以上的网格。网格可以使用与节点相连的多个链接来模拟,这些链接模拟了面 部与颅骨骨骼的依属关系,而"骨骼"的运动则导致节点在网格中彼此相对移动,从而创建动画。在这里可以存储单独的网格动画,以使每一个语音音位动画化。 所存储的头部图像可以包括诸如数码照片之类的相片,此外它也 可以包括从前面看到的头部的其他2D图像(拍摄或程式化的)。通 常,它可以是发送方头部的照片。该图像的大小可以调整,以使面部 为将与3D网格中的面部大小相匹配的设置大小。这种处理可以通过 根据需要修剪或缩放图像而从任何照片中实现。为了实现图像的最高 逼真度,该图像应该包括一个围绕面部的区域,该区域显示了将位于 3D网格的平坦部分的头发和脖颈部分。由此,在使用照片之前可以对其进行编辑,以便增强或掩盖发送 方面部的特征。作为替换,它也可以是某个人头部/面部的照片,例如 男演员/女演员、歌手或其他名人。该照片可以通过数码相机或是使用 数字扫描仪来获得。然后,发送方可以选择将其自身与这个头部图像相关联。与存储器中每个头部图像相关联的可以是一个或多个坐标,这些 坐标定义要被动画化的面部特征在网格上的位置。很明显,所述位置 可以是嘴的位置。对其他那些有可能被动画化的特征来说,同样可以 存储其坐标。这可以包括眼睛和眉毛。存储器可以存储一个或多个有可能被动画化的面部特征,例如 嘴、眼睛、眉毛等等。在为每个特征提供一个以上的版本的情况下, 例如两个或更多不同的眼眶形状,则可以将一个参数与每个头部图像 相关本文档来自技高网...

【技术保护点】
一种通信系统,包括: 发送设备, 接收设备,以及 将发送设备连接至接收设备的网络; 其中所述发送设备包括: 用于输入作为消息的文本字符序列的至少一个用户可操作输入,以及用于在网络上发送消息的传输装置; 其 中所述接收设备包括: 存储多个头部图像的存储器,每个头部图像与不同发送设备相关联并且包含从前方看到的头部图像; 接收方装置,用于接收包含文本字符序列的消息; 文本-语音转换装置,用于将消息的文本字符转换成与文本字符序列相对 应的音频消息; 动画装置,用于从存储在存储器中的、与消息的发送方相关联的头部图像中产生头部的动画化的局部3D图像;所述动画装置将头部的至少一个面部特征动画化,所述动画与头部在阅读消息时所做出的运动相对应;显示装置,用于显示动画化的局部 3D头部;以及扬声器装置,用于以与所显示的头部同步的方式输出音频消息。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员:J斯托里R克罗斯
申请(专利权)人:艾美格世界有限公司
类型:发明
国别省市:GB[英国]

相关技术
    暂无相关专利
网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1
相关领域技术
  • 暂无相关专利