一种面向语义保真的虚拟会议方法及三维虚拟会议系统技术方案

本发明专利技术涉及一种面向语义保真的虚拟会议方法及三维虚拟会议系统，方法包括：根据语义概念树形语义架构；为树形语义架构中不同层级的每个语义概念，设置与之对应的默认信号；从多模态信号中提取参会者所处场景的语义描述并更新私有层级语义库；利用私有层级语义库更新公有层级语义库；服务器端向所有用户端发送公有层级语义库中的全部内容组成的层级语义描述，根据全部内容组成的层级语义描述在每个用户端更新对应的私有层级语义库；生成参会者视角中的虚拟会议场景；生成会议进行过程中参会者视角中的虚拟会议场景。本发明专利技术的方法解决了虚拟形象表情动作粗糙、会议场景不真实、人与场景难互动的问题，增加虚拟会议规模，提升参会的真实感。参会的真实感。参会的真实感。

【技术实现步骤摘要】
一种面向语义保真的虚拟会议方法及三维虚拟会议系统


[0001]本专利技术属于虚拟会议
，具体涉及一种面向语义保真的虚拟会议方法及三维虚拟会议系统。

技术介绍

[0002]受到经济全球化以及新冠疫情大流行的影响，远程会议技术已经被广泛用于政府、学校、公司等场景并有逐步取代面对面交谈成为会议的主流媒介的趋势。目前常用的远程会议系统主要包括电话会议系统、视频会议系统、多媒体平台分享系统等。然而与面对面交谈相比，现有远程会议系统存在参会人员真实感、沉浸感不足，以及交流手段匮乏的问题。随着增强显示与虚拟现实技术的进步，虚拟会议技术应运而生。虚拟会议技术综合视频通信技术和虚拟现实或增强现实技术，通过创造出虚拟会场并使得参会人员以虚拟形象参与其中，实现了交互能力和沉浸感更强的会议服务。
[0003]现有虚拟会议技术主要有两种。其一是高清视频信号传输方案。该方案首先在客户端使用多角度高清摄像头录制参会者的全身视频信息和语音信息，使用头部姿态捕捉参会者的视角，并通过通信网络传输给服务器；接着由服务器接收并处理多路终端发送来的多角度视频信号，通过三维重建算法构建每位用户的高清三维模型，完成虚拟会议室的三维渲染，并根据每位用户的头部姿态录制并发送其视角下的视频信号；最后由用户端接收并播放视频。该方案存在两点问题：1)为了使人类视觉系统感到真实，虚拟现实视频需要达到21K分辨率60帧每秒。此时单路信号就需要2Gbps带宽。目前5G的理论带宽也仅有10Gbps，无法满足正常的会议需求。2)现有根据高清图像生成三维模型的算法费时费力，现有服务器难以满足大规模会议的实时算力需求。
[0004]由于第一种方案的实用性较差，业界提出了从用户信号中提取主要特征的方案。该方案预先在服务器端建立用户虚拟形象；会议开始后首先由客户端使用姿态传感器捕捉参会者的动作姿态，使用音频传感器收集语音信号，并通过通信网络传输给服务器；接着在服务器端根据用户姿态驱动虚拟形象，完成虚拟会议室的三维渲染，并根据每位用户的头部姿态录制并发送其视角下的视频信号；最后由用户端接收并播放视频。该方案通过提取并传输用户姿态减少了带宽压力，再通过姿态驱动预设的虚拟形象避免三维重建减少了算力压力。然而预设的虚拟形象不能反映参会者的外貌神态等重要特征，导致会议真实感不足，甚至由于恐怖谷效应引发与会者反感。
[0005]因此，第一种方案存在两点问题：1)为了使人类视觉系统感到真实，虚拟现实视频需要达到21K分辨率60帧每秒。此时单路信号就需要2Gbps带宽。目前5G的理论带宽也仅有10Gbps，无法满足正常的会议需求。2)现有根据高清图像生成三维模型的算法费时费力，现有服务器难以满足大规模会议的实时算力需求。第二种方案存在预设的虚拟形象不能反映参会者的外貌神态等重要特征，导致会议真实感不足，甚至由于恐怖谷效应引发与会者反感的问题。
[0006]在会议场景中，通信并非需要完整地传输视频信号，三维渲染也并非需要考究每
一处细节，而是需要传达视频信号所代表的语义信息。例如，在交互式视频会议场景中，通信双方需要的是面部表情和肢体动作所传达的意义，而不需要对方所处的环境、衣物纹理等信息。
[0007]因此，现有方案不足都源于没有实现语义保真，即没有做到语义刻画、信号语义的提取传输与重现、用户意图察觉反馈。

技术实现思路

[0008]为了解决现有技术中存在的上述问题，本专利技术提供了一种面向语义保真的虚拟会议方法及三维虚拟会议系统。本专利技术要解决的技术问题通过以下技术方案实现：本专利技术的一个实施例提供了一种面向语义保真的虚拟会议方法，所述面向语义保真的虚拟会议方法包括：步骤1、根据至少包括参会者在内的每种语义概念构建不少于两个层级的树形语义架构，其中，所述树形语义架构的各个层级的节点由语义概念及其属性组成，且所述树形语义架构的最底层为不具有属性的信号；步骤2、为所述树形语义架构中不同层级的每个语义概念，设置与之对应的默认信号；步骤3、根据参会者所处场景的多模态信号，从所述多模态信号中分层级提取参会者所处场景的语义描述并对应更新私有层级语义库，其中，每个所述私有层级语义库对应一用户端，所述私有层级语义库用于存储所述用户端的数据；步骤4、利用所述私有层级语义库更新公有层级语义库，其中，所述公有层级语义库用于存储所有数据，以实现数据共享；步骤5、服务器端利用通信链路，向所有用户端发送所述公有层级语义库中的全部内容组成的层级语义描述，并根据所述全部内容组成的层级语义描述在每个用户端更新对应的私有层级语义库；步骤6、会议开始，用户端根据步骤5所更新的私有层级语义库生成参会者视角中的虚拟会议场景并显示所述虚拟会议场景；步骤7、在步骤6之后，生成会议进行过程中参会者视角中的虚拟会议场景并显示所述虚拟会议场景。
[0009]在本专利技术的一个实施例中，所述树形语义架构的最顶层根节点为所述语义概念及其属性，且按照从高到低的顺序，所述树形语义架构下一层级的语义概念为由上一层级的语义概念分解而来，且将分解得到的语义概念及其属性作为下一层级的节点。
[0010]在本专利技术的一个实施例中，所述步骤3包括：步骤3.1、获取参会者所处场景的多模态信号；步骤3.2、基于所述树形语义架构，从所述多模态信号中分层级提取参会者所处场景的语义描述并对应更新所述私有层级语义库。
[0011]在本专利技术的一个实施例中，所述步骤3.2包括：步骤3.21、识别参会者；步骤3.22、实例化预定义参会者的树形语义架构得到第一语义对象，从高到低地识别所述第一语义对象的语义概念并记录其属性，且在所述树形语义架构的最底层直接记
录其原始信号，并用所述第一语义对象对所述私有层级语义库进行更新；步骤3.23、识别与参会者有交互且预定义了树形语义架构的物体；步骤3.24、实例化预定义物体的树形语义架构得到第二语义对象，从高到低地识别所述第二语义对象的语义概念并记录其属性，且在所述树形语义架构直接记录其原始信号，并用所述第二语义对象对所述私有层级语义库进行更新。
[0012]在本专利技术的一个实施例中，所述步骤4包括：步骤4.1、设定初始语义层级；步骤4.2、截取所述私有层级语义库中的各个语义对象中不低于所述初始语义层级的部分作为基础语义层级描述；步骤4.3、用户端将所述基础语义层级描述通过通信链路发送给服务器端；步骤4.4、服务器端利用接收到的所述基础语义层级描述，更新所述公有层级语义库。
[0013]在本专利技术的一个实施例中，所述步骤6包括：步骤6.1、将所述私有层级语义库中的语义对象用最底层的默认信号表示；步骤6.2、将所有用所述默认信号表示的语义对象布置在虚拟会场中；步骤6.3、根据所述私有层级语义库得到该用户端所属的参会者的姿态，并生成参会者视角中的虚拟会议场景；步骤6.4、通过用户端的显示模块显示参会者视角中的虚拟会议场景。
[0014]在本专利技术的一个实施例中，所述步骤7包括：步骤7.1、获取参会者所处场景的多模态信号；步骤7.2、基于所述树形语义架构，从所述多模态信号中分层级提取参会者所处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向语义保真的虚拟会议方法，其特征在于，所述面向语义保真的虚拟会议方法包括：步骤1、根据至少包括参会者在内的每种语义概念构建不少于两个层级的树形语义架构，其中，所述树形语义架构的各个层级的节点由语义概念及其属性组成，且所述树形语义架构的最底层为不具有属性的信号；步骤2、为所述树形语义架构中不同层级的每个语义概念，设置与之对应的默认信号；步骤3、根据参会者所处场景的多模态信号，从所述多模态信号中分层级提取参会者所处场景的语义描述并对应更新私有层级语义库，其中，每个所述私有层级语义库对应一用户端，所述私有层级语义库用于存储所述用户端的数据；步骤4、利用所述私有层级语义库更新公有层级语义库，其中，所述公有层级语义库用于存储所有数据，以实现数据共享；步骤5、服务器端利用通信链路，向所有用户端发送所述公有层级语义库中的全部内容组成的层级语义描述，并根据所述全部内容组成的层级语义描述在每个用户端更新对应的私有层级语义库；步骤6、会议开始，用户端根据步骤5所更新的私有层级语义库生成参会者视角中的虚拟会议场景并显示所述虚拟会议场景；步骤7、在步骤6之后，生成会议进行过程中参会者视角中的虚拟会议场景并显示所述虚拟会议场景。2.根据权利要求1所述的面向语义保真的虚拟会议方法，其特征在于，所述树形语义架构的最顶层根节点为所述语义概念及其属性，且按照从高到低的顺序，所述树形语义架构下一层级的语义概念为由上一层级的语义概念分解而来，且将分解得到的语义概念及其属性作为下一层级的节点。3.根据权利要求1所述的面向语义保真的虚拟会议方法，其特征在于，所述步骤3包括：步骤3.1、获取参会者所处场景的多模态信号；步骤3.2、基于所述树形语义架构，从所述多模态信号中分层级提取参会者所处场景的语义描述并对应更新所述私有层级语义库。4.根据权利要求3所述的面向语义保真的虚拟会议方法，其特征在于，所述步骤3.2包括：步骤3.21、识别参会者；步骤3.22、实例化预定义参会者的树形语义架构得到第一语义对象，从高到低地识别所述第一语义对象的语义概念并记录其属性，且在所述树形语义架构的最底层直接记录其原始信号，并用所述第一语义对象对所述私有层级语义库进行更新；步骤3.23、识别与参会者有交互且预定义了树形语义架构的物体；步骤3.24、实例化预定义物体的树形语义架构得到第二语义对象，从高到低地识别所述第二语义对象的语义概念并记录其属性，且在所述树形语义架构直接记录其原始信号，并用所述第二语义对象对所述私有层级语义库进行更新。5.根据权利要求1所述的面向语义保真的虚拟会议方法，其特征在于，所述步骤4包括：步骤4.1、设定初始语义层级；步骤4.2、截取所述私有层级语义库中的各个语义对象中不低于所述初始语义层级的
部分作为基础语义层级描述；步骤4.3、用户端将所述基础语义层级描述通过通信链路发送给服务器端；步骤...

【专利技术属性】
技术研发人员：高大化，杨旻曦，石光明，刘丹华，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：