一种基于虚拟现实和人工智能技术的远程会议系统及方法技术方案

本发明专利技术属于互联网的远程会议技术领域，涉及一种基于虚拟现实和人工智能技术的远程会议系统及方法。本远程会议系统参会人物数字模型和会议室模型，可以是真实的人物形象和场景，也可以虚拟人物形象及会议场景。通过实时捕捉每个参会人员的面部表情和肢体动作并建立数字模型，与选定的会议室数字模型进行空间对接融合生成本地会议参与者视角的实时会议的视图，然后实时呈现给每个参会人员。本远程会议系统既能展示参会者的面部表情与肢体动作、又能从每一个参会者的视角来观看整个会议的现场及其他会议参与者，参会者可站姿也可坐姿，精度高、保真度好，参会者如同进入到真实的会议环境中，从而营造更适合沟通交流的会议氛围。围。围。

【技术实现步骤摘要】
一种基于虚拟现实和人工智能技术的远程会议系统及方法


[0001]本专利技术涉及基于互联网的远程会议
，尤其涉及一种基于虚拟现实和人工智能技术的远程会议系统及方法。

技术介绍

[0002]沟通是人与人之间、人与群体之间信息、观点与感情的传递和反馈的过程，以求达成交换观点、统一认识和交流感情。在日常生活以及工作与学习中，存在大量需要面对面沟通的场景，包括面试、会谈、会议以及讲座等。在类似疫情等重大事件的影响下，通过互联网视频会议虽然可以使参与人员进行语音、视频形式的沟通，但参与视频会议的人员缺乏沟通现场的整体感与身临其境感，无法感受现场气氛与现场规模，无法感受参与人员的肢体语言及面部表情，其存在的隔绝感及缺乏临场感仍然是一个无法弥补的缺憾，沟通体验和效果严重打折扣。
[0003]视频会议系统Video Conference System，是指两个或两个以上不同地点的个人或群体，通过传输线路及多媒体设备，将各自现场的环境与参会人员的音视频信息及文件资料互相传送，达到远程即时且互动的沟通，以完成会议目的的系统设备。该系统是一种典型的图像通信。在通信的发送端，将图像和声音信号变成数字化信号，在接收端再把它重现为视觉、听觉可获取的信息，与电话会议相比，具有直观性强，信息量大等特点。视频会议系统会议参与者不仅可以远程听到会议发言人的声音，还可以看到其部分形象，共同远程商讨问题。这套系统还可以同时提供文件传真，静止图文传递等一系列辅助服务项目，广泛用于远程教学、远程办公、远程商务谈判等多个领域。计算机系统的应用、普及，网络通讯技术及图像压缩处理技术以及传输技术的快速发展，采用最新的计算机、通讯和图像处理技术，通过计算机网络传输数字图像，可为实现现代化企业远程视频会议提供高效可行而且价格低廉的解决方案。
[0004]在远程视频会议领域，目前应用范围比较广泛的是Horizon Workrooms虚拟现实会议系统和Starline远程呈现系统。Horizon Workrooms虚拟现实会议系统是多对多的虚拟现实会议系统，基于AR透视、桌面识别、手势追踪、键盘识别，多任务模式、虚拟化身等功能于一身，可为团队提供跨VR、网页端的虚拟空间，让人们联系和协同工作。该系统具有模板化的虚拟数字化身预设形象模型，其缺点是：只显示上半身且保真度低于真人形象，不能完全揭示一个人的身份，仅可以匹配性别和种族特征，不能使用会议参与者个人的真实形象。Starline远程呈现系统，通过使用光场技术构建了一个裸眼3D的远程会议系统，该系统可以单对单无阻碍的进行远程呈现，以足够的质量重塑远程会议参与者的外表和声音，无需装备可穿戴设备便可以直接使用该系统，保证与现实生活中其他使用该系统的用户沟通的易用性。该系统仅支持参会人员单人对单人远程沟通使用，背景不可变更，缺乏多样性；该系统的参会人员需要维持坐姿，无法作用于需要多人远程研讨沟通的场景。

技术实现思路

[0005]本专利技术要解决的技术问题是：克服现有技术中存在的不足，通过远程会议系统及方法构建的虚拟现实的远程会议，让每个参与人员不论相距多远，都可以如身临其境地在一起沟通，极大地提高了会议期间参与人员的临场感体验，增强了人与人之间的同理心和感知能力，提升沟通的体验和效果，营造出鲜活的、有生命力的环境。本专利技术解决上述技术问题的技术方案如下：
[0006]针对现有技术存在的不足，本专利技术的目的之一是提供一种基于虚拟现实和人工智能技术的远程会议系统，包括远程会议现场设备和远程会议平台；
[0007]M1所述远程会议现场设备部署在会议参与者现场，包括3D扫描相机系统、会议参与者本地计算单元、头戴式VR一体机；
[0008]M1.1所述3D扫描相机系统，其功能是：在远程会议前，采集现实场景会议室数据并建立会议室三维数字模型；在远程会议开始时，采集会议参与者数据并建立会议参与者三维模型；在远程会议期间，实时采集会议参与者动态数据；
[0009]M1.2所述会议参与者本地计算单元，其功能是：
[0010]a)将3D扫描相机系统采集到的会议室或会议参与者的数据经过数据处理和渲染，生成会议室三维模型或会议参与者三维模型；通过远程会议平台的模型数据传输接口，分别上传到远程会议平台的数据库模块中的会议室三维模型数据库和会议参与者三维模型数据库，供本远程会议系统调用；
[0011]b)在远程会议期间，通过3D扫描相机系统实时抓取会议参与者模型并与存储的会议参与者模型进行比对，将差异变化部分通过远程会议平台的模型数据传输接口上传到远程会议平台的数据库模块，并分别更新会议参与者本地计算单元中的会议参与者模型以及数据库模块中的会议参与者三维模型数据库，使得在这二处存储的会议参与者的模型保持一致，并与其真实的会议参与者形成动态数字孪生；
[0012]c)3D扫描相机运动控制，负责控制3D扫描相机系统的移动与旋转，从而实现会议室或会议参与者的数据采集；
[0013]d)通过远程会议平台的模型数据传输接口接收和存储实时会议数据，据此生成本地会议参与者视角的实时会议视图；
[0014]e)头戴式VR一体机交互和数据传输，为会议参与者用头戴式VR一体机传送命令和数据；
[0015]M1.3所述头戴式VR一体机，其功能是会议参与者通过此设备查看前述步骤d)生成的本地会议参与者视角的实时会议的视图，从而观察到其他会议参与者的面部表情、肢体动作和手势；通过交互控制模块与参与的实时会议以及其会议参与者客户端进行交互并收发相关指令，用于在远程会议进行过程中参与互动交流；
[0016]M2所述远程会议平台，部署在服务器上，包括：数据库模块、管理后台、三维模型众包客户端、引擎模块、模型数据传输接口、控制命令传输接口、用户客户端；
[0017]M2.1所述数据库模块，包括：
[0018]用户数据库，用于存储注册的用户数据；会议清单库，用于存储过去的、现有的或预定的会议的编号及其信息；会议室三维模型数据库，用于存储上传的所有会议室的三维数字模型；会议参与者三维模型数据库，用于存储上传的所有会议参与者的三维数字模型；
实时会议数据库，用于存储正在举行的实时会议的数据；
[0019]M2.2所述管理后台，其功能是：对在用户数据库中注册的用户进行增删改查处理和权限设置、对存储在会议清单库中的会议进行增删改查处理和权限设置、对会议室三维模型数据库和会议参与者三维模型数据库的模型进行编辑和管理；
[0020]M2.3所述三维模型众包客户端，其功能是：用户通过调用引擎模块中的会议室与会议参与者模型生成工具进行会议室或会议参与者三维模型创作、构建和分享，结果分别存储在数据库模块的会议室三维模型数据库或会议参与者三维模型数据库；
[0021]M2.4所述引擎模块，基于计算机图形学、虚拟现实和人工智能技术，包括：
[0022]f)会议室与会议参与者模型生成工具，提供工具和资源供用户进行会议室或会议参与者三维模型的创作、构建和分享，包括会议室中的物体或会议本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟现实和人工智能技术的远程会议系统，包括远程会议现场设备和远程会议平台,其特征在于，M1所述远程会议现场设备部署在会议参与者现场，包括3D扫描相机系统、会议参与者本地计算单元、头戴式VR一体机；M1.1所述3D扫描相机系统，其功能是：在远程会议前，采集现实场景会议室数据并建立会议室三维数字模型；在远程会议开始时，采集会议参与者数据并建立会议参与者三维模型；在远程会议期间，实时采集会议参与者动态数据；M1.2所述会议参与者本地计算单元，其功能是：a)将3D扫描相机系统采集到的会议室或会议参与者的数据经过数据处理和渲染，生成会议室三维模型或会议参与者三维模型；通过远程会议平台的模型数据传输接口，分别上传到远程会议平台的数据库模块中的会议室三维模型数据库和会议参与者三维模型数据库，供本远程会议系统调用；b)在远程会议期间，通过3D扫描相机系统实时抓取会议参与者模型并与存储的会议参与者模型进行比对，将差异变化部分通过远程会议平台的模型数据传输接口上传到远程会议平台的数据库模块，并分别更新会议参与者本地计算单元中的会议参与者模型以及数据库模块中的会议参与者三维模型数据库，使得在这二处存储的会议参与者的模型保持一致，并与其真实的会议参与者形成动态数字孪生；c)3D扫描相机运动控制，负责控制3D扫描相机系统的移动与旋转，从而实现会议室或会议参与者的数据采集；d)通过远程会议平台的模型数据传输接口接收和存储实时会议数据，据此生成本地会议参与者视角的实时会议视图；e)头戴式VR一体机交互和数据传输，为会议参与者用头戴式VR一体机传送命令和数据；M1.3所述头戴式VR一体机，其功能是会议参与者通过此设备查看前述步骤d)生成的本地会议参与者视角的实时会议的视图，从而观察到其他会议参与者的面部表情、肢体动作和手势；通过交互控制模块与参与的实时会议以及其会议参与者客户端进行交互并收发相关指令，用于在远程会议进行过程中参与互动交流；M2所述远程会议平台，部署在服务器上，包括：数据库模块、管理后台、三维模型众包客户端、引擎模块、模型数据传输接口、控制命令传输接口、用户客户端；M2.1所述数据库模块，包括：用户数据库，用于存储注册的用户数据；会议清单库，用于存储过去的、现有的或预定的会议的编号及其信息；会议室三维模型数据库，用于存储上传的所有会议室的三维数字模型；会议参与者三维模型数据库，用于存储上传的所有会议参与者的三维数字模型；实时会议数据库，用于存储正在举行的实时会议的数据；M2.2所述管理后台，其功能是：对在用户数据库中注册的用户进行增删改查处理和权限设置、对存储在会议清单库中的会议进行增删改查处理和权限设置、对会议室三维模型数据库和会议参与者三维模型数据库的模型进行编辑和管理；M2.3所述三维模型众包客户端，其功能是：用户通过调用引擎模块中的会议室与会议
参与者模型生成工具进行会议室或会议参与者三维模型创作、构建和分享，结果分别存储在数据库模块的会议室三维模型数据库或会议参与者三维模型数据库；M2.4所述引擎模块，基于计算机图形学、虚拟现实和人工智能技术，包括：f)会议室与会议参与者模型生成工具，提供工具和资源供用户进行会议室或会议参与者三维模型的创作、构建和分享，包括会议室中的物体或会议参与者人体运动部位的三维模型的创作与构建，三维模型表面的部分或全部可以用AI技术生成；创建的三维模型分别存储在数据库模块的会议室三维模型数据库或会议参与者三维模型数据库；在会议举行期间，通过模仿实际参会的会议参与者自然人的表情和肢体运动，构建会议参与者三维模型的表情和肢体运动；g)实时模型对接与融合，将会议室模型与会议参与者模型进行空间位置对接和视觉融合，建立并更新其实时会议数据；通过模型数据传输接口将其下传同步到所有会议参与者的会议参与者本地计算单元；所述会议室模型，是指会议室模型数据库中本次会议的会议室模型；所述会议参与者模型，是指会议参与者模型数据库中的本次会议的会议参与者模型；h)远程会议现场设备的交互与控制，通过控制命令传输接口与会议参与者的远程会议现场设备和/或用户客户端进行交互，对远程会议现场设备和/或用户客户端进行控制同步；M2.5所述模型数据传输接口，通过该接口接收所有会议参与者本地计算单元上传的模型数据，将建立并更新的实时会议数据下传同步给所有会议参与者本地计算单元和/或其用户客户端；当有变更时，只下传变更部分数据；M2.6所述控制命令传输接口，通过传输相关命令与实施结果，达到与远程会议现场设备和用户客户端进行交互、控制或同步，并与同一个会议室中的其他会议参与者进行沟通交流；M2.7所述用户客户端，其功能包括用户注册、发起会议、管理自己发起或参与的会议、参与会议以及其他不同用户角色对应的功能。2.根据权利要求1所述的一种基于虚拟现实和人工智能技术的远程会议系统，其特征在于，M1.2a中所述数据处理包括：模型数据三维旋转变换、平移、拼接、去重、遮挡；所述渲染包括反差、光照、纹理的处理与平衡。3.根据权利要求1所述的一种基于虚拟现实和人工智能技术的远程会议系统，其特征在于，M1.2d中所述本地会议参与者视角的实时会议的视图，其计算方法为：其中：fov(field of view视域)是视锥体在xy平面的开角角度，Aspect是投影平面的宽高比，Pn是投影在画面上的点坐标，Pe是真实的点坐标。
4.根据权利要求1所述的一种基于虚拟现实和人工智能技术的远程会议系统，其特征在于，M2.4g中所述空间位置对接是指：会议参与者进入会议室入座后，将会议参与者模型坐标原点与该座位进行绑定，从而建立会议参与者模型坐标系与该座位以及会议室坐标系的关系，确定他们之间关系的三维坐标旋转和平移参数；M2.4g中所述视觉融合是指：处理与平衡会议室模型与会议参与者模型之间的遮挡、光照、亮度/反差、纹理信息。5.根据权利要求1所述的一种基于虚拟现实和人工智能技术的远程会议系统，其特征在于，M2.4h中所述对远程会议现场设备和/或用户客户端进行控制或同步，包括将会议参与者发言、投放PPT命令及其执行结果同步给相关实时会议和该会议的其他会议参与者的远程会议现场设备和/或其用户客户端。6.根据权利要求1所述的一种基于虚拟现实和人工智能技术的远程会议系统，其特征在于，M2.7中所述用户客户端，包括：会议发起者用户客户端、主持人用户客户端、会议参与者用户客户端、报告人用户客户端。7.根据权利要求1所述的一种基于虚拟现实和人工智能技术的远程会议系统，其特征在于，M1.1中所述3D扫描相机系统部署方式包括：i)由围绕会议参与者固定安装的至少2台立体摄像机组成，...

【专利技术属性】
技术研发人员：徐永龙，白金，段瑛琛，刘志强，黄子恒，李海军，徐思思，
申请(专利权)人：腾讯烟台新工科研究院，
类型：发明
国别省市：