本发明专利技术提供一种基于虚拟音视频的会议系统及方法，在视频会议时通过显示器显示实时的3D虚拟会议室内容，并且虚拟会议室中与会者的虚拟角色的表情和动作随着与会者的表情和动作进行改变，实现面部表情和肢体动作捕捉，根据虚拟会议室的虚拟位置结合音视频采集所得与会者的实际位置计算位置音频，播放3D全景声。本发明专利技术实时的捕捉用户脸部表情、身肢体动作和用户相对于摄像头的位置并同步，将捕捉到的与会者动作与表情放在虚拟会议室与会者人物模型中，结合摄像头以及麦克风采集到的位置坐标，可以动态的改变用户相对于座位位置做出的微小移动，并同步给其他与会用户，输出贴合实际发言人实时位置状态的3D声效。
【技术实现步骤摘要】
本专利技术属于虚拟现实，特别设计一种基于音视频位置的虚拟会议系统及方法。
技术介绍
1、由于全球贸易的快速发展，远程办公的常态化、生活工作节奏的加快，传统的线下会议逐渐的不能满足人们追求高效率沟通的步伐。越来越多的人倾向于使用视频会议来取代传统的线下会议。视频会议具有节省时间、开会灵活方便等优点，能够保证在任何时间地点都能够参与到会议中来。
2、但在传统的视频会议中，视频会议往往是将与会者的画面放置在多个窗口中，声音也是以单声道的形式从播放设备中输出，这样在开会时会没有空间临场感，只能通过对方的音色以及屏幕上的提示来确认发言者。导致用户没有较为强烈的参与感，不能够身临其境的进入开会状态，影像用户体验。理想的情况应该是开会者进入线上会议室后，就如同走进一间真实的会议室一样，当其他与会者发言时，能够通过声音的位置无感的辨别出是坐在那个位置的与会者在发言，同时还能观察到发言者在虚拟会议室中的面部神情和肢体动作。通过视觉和听觉共同作用以此达到与会者身临其境的现场讨论氛围，以便准确高效地进行沟通。目前这样的技术还没有出现。
>3、例如，cn10本文档来自技高网...
【技术保护点】
1.一种基于虚拟音视频的会议方法，其特征在于：在视频会议时通过显示器显示实时的3D虚拟会议室内容，并且虚拟会议室中与会者的虚拟角色的表情和动作随着与会者的表情和动作进行改变，实现面部表情和肢体动作捕捉，根据虚拟会议室的虚拟位置结合音视频采集所得与会者的实际位置计算位置音频，播放3D全景声。
2.根据权利要求1所述基于虚拟音视频的会议方法，其特征在于：实现过程包括以下步骤，S1、检查用户端的用户视频采集设备信息并对设备进行标定，基于视频采集获取其捕获的人脸、姿态特征点和实际位置信息；
3.根据权利要求1所述基于虚拟音视频的会议方法，其特征在于：基于视频采集获取与会者...
【技术特征摘要】
1.一种基于虚拟音视频的会议方法，其特征在于：在视频会议时通过显示器显示实时的3d虚拟会议室内容，并且虚拟会议室中与会者的虚拟角色的表情和动作随着与会者的表情和动作进行改变，实现面部表情和肢体动作捕捉，根据虚拟会议室的虚拟位置结合音视频采集所得与会者的实际位置计算位置音频，播放3d全景声。
2.根据权利要求1所述基于虚拟音视频的会议方法，其特征在于：实现过程包括以下步骤，s1、检查用户端的用户视频采集设备信息并对设备进行标定，基于视频采集获取其捕获的人脸、姿态特征点和实际位置信息；
3.根据权利要求1所述基于虚拟音视频的会议方法，其特征在于：基于视频采集获取与会者的实际位置信息时，当摄像头数量为两个以上，通过三角定位法两两计算取平均值得到坐标；当摄像头数只有一个时，则基于近大远小的特点进行粗略定位。
4.根据权利要求1所述基于虚拟音视频的会议方法，其特征在于：基于音频采集获取与会者的实际位置信息时，各麦克风在接收到声音后将最后一秒的声音波形发送到用户端，通过波形的比较匹配出各麦克风接受到声音的时间差，...
【专利技术属性】
技术研发人员：王恒，刘政，张帅，马鑫燚，黄秋仙，刘杰，喻蕾，
申请(专利权)人：武汉轻工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。