本发明专利技术提出了一种3D即时通讯系统，包括：客户端和服务器端；客户端内设置有人脸合成部和语音合成部；人脸合成部包括：人脸特征提取装置、模型嵌套装置和纹理映射装置；人脸提取装置用于从2D人脸照片中提取脸部特征；模型嵌套装置用于根据提取的脸部特征将3D人脸网格模型投影到2D人脸照片上，得到3D人脸网格模型的纹理坐标；纹理映射装置将2D人脸照片映射回3D人脸网格，形成3D人脸；语音合成部用于根据3D人脸和输入的文本生成语音流及3D人脸动画并输出至服务器端；服务器端用于实现各客户端之间的信息交互。本发明专利技术将3D技术引入通讯系统，使用户能够设计并使用个性化3D人脸动画进行网络聊天，增加了实际操作的趣味性和生动性。
【技术实现步骤摘要】
本专利技术涉及一种通讯系统，尤其涉及一种3D即时通讯系统及其通讯方法。
技术介绍
即时通讯（IM, Instant Messenger)系统是一种基于互联网的即时交流系统。这种 系统能使用户通过互联网与他人在线交谈，不用担心邮件的不及时与电话费用问题。1996 年，第一款即时通讯工具ICQ诞生后，并迅速成为当时世界上用户量最大的即时通讯系统。 之后，各类頂如雨后春笋般被推出。今天，即时通讯系统已经成为许多人必不可少的互联 网通讯工具。 即时通讯系统主要以文本、音频、视频等方式支持用户进行远程对话和交流。文本 聊天比较单调，而视频聊天仅仅出现在当你安装了摄像头（webcom)，并且希望和对方对视 的情况下才能实现。即时通讯系统，如微软MSN Messenger主要是通过用户加载2D照片达 到个性化效果，此个性化处理属于静态处理。腾讯QQ则采用了用户交互的办法，用户通过 购买个人头像的装饰物达到个性化效果，但该技术仍然属于2D技术。 因此，目前市场上需要一种折衷的方案既可避免单调的文本聊天，又可免去和陌 生人对视尴尬的即时通讯系统。
技术实现思路
本专利技术的目的是为提供一种个性化3D即时通讯系统，通过本专利技术系统用户能够 仅用一张2D人脸照片合成具有真实感的3D人脸，并可对所生成的3D人脸进行个性化。在 互联网聊天时，用户可通过文本分解模块，将键入的文本转化为相应的音素和视位，驱动系 统生成相应的语音和动画。 本专利技术提出了一种3D即时通讯系统，包括：客户端和服务器端；所述客户端用于 实现用户的登陆及信息的输入与输出；所述客户端内设置有人脸合成部和语音合成部；其 中，所述人脸合成部包括：人脸特征提取装置、模型嵌套装置和纹理映射装置；所述人脸提 取装置用于从2D人脸照片中提取脸部特征；所述模型嵌套装置用于根据提取的所述脸部 特征将3D人脸网格模型投影到所述2D人脸照片上，得到所述3D人脸网格模型的纹理坐 标；所述纹理映射装置根据所述纹理坐标将所述2D人脸照片映射回3D人脸网格，形成3D 人脸；所述语音合成部用于根据所述3D人脸和输入的文本生成语音流及3D人脸动画并输 出至所述服务器端；所述服务器端用于实现各客户端之间的信息交互。 本专利技术提出的3D即时通讯系统中，所述人脸特征提取装置通过交互式提取所述 脸部特征。 本专利技术提出的3D即时通讯系统中，所述模型嵌套装置包括：姿态评估模块、全局 校准模块、局部校准模块和边界校准模块；其中，所述姿态评估模块根据所述脸部特征从所 述2D人脸照片中估测3D信息；所述全局校准模块根据所述3D信息将所述3D人脸网格模 型投影到2D人脸照片上；所述局部校准模块用于对所述3D人脸模型中的五官与所述2D人 脸照片相匹配；所述边界校准模块通过使用弹簧模型算法将所述3D人脸模型的边界拉动 到所述2D人脸照片的边界。 本专利技术提出的3D即时通讯系统中，所述语音合成部包括：文本分解模块、可视语 音合成模块、动画合成模块；其中，所述文本分解模块将输入的文本分解为音素；所述可视 语音合成模块将所述音素转换为语音流和所述语音流同步的视位序列；所述动画合成模块 根据所述视位序列生成3D人脸动画，并与所述语音流同步输出。 本专利技术提出的3D即时通讯系统中，所述客户端内进一步包括：3D人脸个性化模 块，所述3D人脸个性化模块用于对所述3D人脸进行装饰。 本专利技术还提出了一种3D即时通讯方法，其包括以下步骤： 步骤一：登陆客户端，将用户信息和2D人脸照片输入所述客户端； 步骤二：通过人脸提取装置从所述2D人脸照片中提取脸部特征； 步骤三：模型嵌套装置根据提取的所述脸部特征将3D人脸网格模型投影到所述 2D人脸照片上，得到所述3D人脸网格模型的纹理坐标； 步骤四：纹理映射装置根据所述纹理坐标将所述2D人脸照片映射回所述3D人脸 网格，形成3D人脸； 步骤五：在所述客户端选择需要通讯的好友并输入文本，语音合成部将所述3D人 脸和输入的文本生成语音流及3D人脸动画并输出至服务器端； 步骤六：所述服务器端根据选择的所述好友将所述语音流和所述3D人脸动画发 送至对应的客户端，实现3D即时通讯。 本专利技术提出的3D即时通讯系统，用户能够用一张2D人脸照片合成具有真实感的 3D人脸，并可对合成的3D人脸进行个性化处理。在使用互联网聊天时，通过语音合成部键 入文本，驱动3D人脸合成动画和语音。本专利技术将3D技术引入网络即时通讯系统，使用户能 够设计并使用个性化3D人脸动画进行网络聊天，增加了实际操作的趣味性和生动性，推动 即时通讯系统的革新。 本专利技术提出的3D即时通讯系统，用户仅需输入一张自己的2D人脸照片生成3D人 脸动画便可以与对方聊天。3D人脸是指在三维虚拟实境中能够代表用户个人的一个三维立 体头像。在3D即时通讯系统中，用户可通过基于单一视图的人脸合成技术用一张2D人脸 照片合成3D人脸，并可生成不同的表情和情绪（emotions)，给人一种身临其境的感觉，而 表情则是由一组事先定义的音素（phonemes)和视位（visemes)所驱动的语音合成部（文 本 -可视语音引擎）（text_t〇-visual speech engine)合成。【附图说明】 图1为本专利技术中3D人脸合成的流程图。 图2为本专利技术中人脸特征点的位置示意图。 图3为本专利技术中头部旋转θ z的估测图。 图4a为本专利技术实施中头部旋转θ γ估测中截面位置的视图。 图4b为本专利技术实施中头部旋转θγ估测中的正面视图。 图5a为本专利技术实施例中2D人脸的示意图。 图5b为本专利技术实施例中使用弹簧模型前的人脸边界示意图。 图5c为本专利技术实施例中使用弹簧模型后的人脸边界示意图。 图6为本专利技术中语音合成部的工作流程图。 图7为本专利技术表1中各音素对应的视位图。 图8为本专利技术嘴形动画曲线拟合图。 图9为本专利技术3D即时通讯方法的流程示意图。 图10为本专利技术实施例中客户端登入界面的示意图。 图11为本专利技术实施例中客户端聊天窗口界面图。 图12a为本专利技术实施例中个性化3D人脸示意图。 图12b为本专利技术实施例中个性化3D人脸示意图。 图12c为本专利技术实施例中个性化3D人脸示意图。 图12d为本专利技术实施例中个性化3D人脸示意图。 图13为本专利技术实施例中服务器端的界面图。当前第1页1 2 本文档来自技高网...
【技术保护点】
一种3D即时通讯系统，其特征在于，包括：客户端和服务器端；所述客户端用于实现用户的登陆及信息的输入与输出；所述客户端内设置有人脸合成部(1)和语音合成部(2)；其中，所述人脸合成部(1)包括：人脸特征提取装置(11)、模型嵌套装置(12)和纹理映射装置(13)；所述人脸提取装置(11)用于从2D人脸照片中提取脸部特征；所述模型嵌套装置(12)用于根据提取的所述脸部特征对3D人脸网格模型进行校准，得到所述3D人脸网格模型的纹理坐标；所述纹理映射装置(13)根据所述纹理坐标将所述2D人脸照片映射回3D人脸网格，形成3D人脸；所述语音合成部(2)用于根据所述3D人脸和输入的文本生成语音流及3D人脸动画并输出至所述服务器端；所述服务器端用于实现各客户端之间的信息交互。
【技术特征摘要】
【专利技术属性】
技术研发人员：陆远刚，盛蕴，张桂戌，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。