一种虚拟即时通信方法技术

技术编号:22060662 阅读:72 留言:0更新日期:2019-09-07 18:05
本发明专利技术公开了一种虚拟即时通信方法,通过终端摄像头实时捕获面部图像或特征,并与在该时间段内终端录音设备捕获到的声音一起打包发送到服务器,服务器处理后发送到另一个通信终端,该终端会根据接收到的面部图像或特征实时驱动虚拟2D/3D形象模型。本发明专利技术通过对面部图像或特征与声音进行打包传输,实现声音数据与表情数据的同步。在虚拟即时通信的过程中,使用与双方表情、姿态相同的虚拟2D/3D形象模型代替通信双方的真实面貌,以此来保护用户的隐私,同时也能增加即时通信的趣味性。

A Virtual Instant Messaging Method

【技术实现步骤摘要】
一种虚拟即时通信方法
本专利技术属于计算机
,具体涉及一种虚拟即时通信方法,应用于即时通信、视频聊天。
技术介绍
心理学家研究发现,人类进行会话交流传递信息时,言语内容占7%,说话时的语调占38%,而说话人的表情占55%,由此可见,在人类交流过程中,面部表情是必不可少的一个要素。在即时通信的方式中,视频聊天是最能够准确的表达通信双方意思的方式,但是,出于隐私或其他方面的考虑,很多人并不想将真实的面容展示给通信方,目前市面上没有针对这一问题的解决方案。那么在即时视频通信的过程中如何在展示面部表情的同时保护用户的隐私是本专利技术需要解决的第一个问题。目前市面上的视频即时通信软件(例如QQ的视频聊天),在视频过程中包含很多2D挂件来增添视频的趣味性(例如实时定位到人脸的眼睛,在眼睛位置绘制2D的眼镜贴图),虽然在一定程度上能够吸引用户,但是在当今这个3D应用/游戏、虚拟现实与增强现实日益普及的时代,单纯的2D挂件已经不足以满足用户的娱乐需求。那么在即时视频通信的过程中采用一种更加具有趣味性的方式是本专利技术需要解决的第二个问题。
技术实现思路
本专利技术的目的是通过以下技术方案实现的。针本文档来自技高网...

【技术保护点】
1.一种虚拟即时通信方法,其特征在于,包括:第一用户通过第一客户端选择或实时生成代表第一用户的虚拟2D/3D形象模型,并发起对第二用户的会话;第二用户接受第一用户的会话请求,与第一用户建立会话连接,连接后,代表双方的虚拟2D/3D形象模型将会在通信的另一方呈现,第二用户可以提前设置或实时生成代表第二用户的虚拟2D/3D形象模型;第一客户端、第二客户端分别通过各自设备的摄像头实时捕获各自用户的面部图像或特征;第一客户端、第二客户端分别录制各自用户发出的声音,将同一时刻的声音与面部图像或特征打包,发送到对方客户端,实现声音与表情的同步;第一客户端接收第二客户端发送的数据包,根据数据播放第二用户的声...

【技术特征摘要】
1.一种虚拟即时通信方法,其特征在于,包括:第一用户通过第一客户端选择或实时生成代表第一用户的虚拟2D/3D形象模型,并发起对第二用户的会话;第二用户接受第一用户的会话请求,与第一用户建立会话连接,连接后,代表双方的虚拟2D/3D形象模型将会在通信的另一方呈现,第二用户可以提前设置或实时生成代表第二用户的虚拟2D/3D形象模型;第一客户端、第二客户端分别通过各自设备的摄像头实时捕获各自用户的面部图像或特征;第一客户端、第二客户端分别录制各自用户发出的声音,将同一时刻的声音与面部图像或特征打包,发送到对方客户端,实现声音与表情的同步;第一客户端接收第二客户端发送的数据包,根据数据播放第二用户的声音并操纵代表第二用户的虚拟2D/3D形象模型做出对应表情;第二客户端接收第一客户端发送的数据包,根据数据播放第一用户的声音并操纵代表第一用户的虚拟2D/3D形象模型做出对应表情。2.根据权利要求1所述的一种虚拟即时通信方法,其特征在于,所述第一用户通过第一客户端选择或实时生成代表第一用户的虚拟2D/3D形象模型,包括:如果第一用户选择自行上传代表第一用户的虚拟2D/3D形象模型,第一用户在第一客户端将含有表情动画的虚拟2D/3D形象模型上传到服务器进行有效性验证;如果第一用户上传的虚拟2D/3D形象模型通过了有效性验证,用户则能够使用该虚拟2D/3D形象模型实时模拟第一用户的面部表情,否则服务器向第一客户端发送与该错误信息相对应的提示信息,提示第一用户上传失败;如果第一用户选择实时生成代表第一用户的虚拟2D/3D形象模型,调用第一客户端的摄像头拍摄任意人物面部图片或者从第一客户端的本地相册中选取含有任意人物面部的图片,将图片上传到服务器;服务器从面部图片中提取二维特征,构建与图片对应的虚拟2D/3D形象模型;找到重建后的虚拟2D/3D形象模型与面部纹理之间的映射关系,实现纹理映射,得到一个上传图片中人物的虚拟2D/3D形象模型;如果第一用户选择从服务器上虚拟2D/3D形象模型库中选择代表第一用户的虚拟2D/3D形象模型,将服务器上虚拟2D...

【专利技术属性】
技术研发人员:张成文
申请(专利权)人:创易汇北京科技有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1