数字会议交互方法、设备、系统及相关设备技术方案

本公开提供了一种数字会议交互方法、设备、系统及相关设备，包括：由用户终端通过网页端接入会议系统，将用户数据发送给边缘节点；由边缘节点基于用户数据分析用户语义和意图，并向云服务器请求公有语义的渲染流；由云服务器基于公有语义库保存的信息，向云存储请求与用户相对应的三维模型数据，进行公有语义场景的构建和云渲染；将云渲染流返回给边缘节点；由边缘节点基于用户数据构建私有语义库，并向云存储请求数据，进行私有语义场景构建和边缘渲染；对云渲染流和边缘渲染流进行渲染合成；以及将合成流返回给用户终端，使用户终端在网页端实时接收到感兴趣的会议场景和用户数字人的画面，该画面包括数字人的实时表情、动作、位置状态。位置状态。位置状态。

【技术实现步骤摘要】
数字会议交互方法、设备、系统及相关设备


[0001]本公开涉及通信
，尤其涉及一种数字会议交互方法、边缘节点设备、云服务器设备、数字会议交互系统、计算机可读存储介质及电子设备。

技术介绍

[0002]数字人是通过三维图形人物建模，并结合人工智能技术对人体进行可视化虚拟仿真，一般分为虚拟替身型数字人和智能服务型数字人。其中，虚拟替身型数字人是作为人类在虚拟世界中的理想化的自己，是用户在虚拟世界中的个人呈现，常应用于虚拟现实会议、元宇宙会议等场景。
[0003]现有的数字虚拟会议系统存在以下弊端：
[0004]1、对用户终端硬件要求较高，进行用户识别分析和三维数字人渲染需要消耗大量的计算资源,并且需要占用存储资源保存数据，会普遍降低用户的渲染质量和体验；
[0005]2、造成网络带宽消耗大；
[0006]3、用户的音视频等私有数据需要上传到云端进行识别，隐私性差。
[0007]4、用户交互实时性较差，影响用户体验。
[0008]因此，如何克服现有数字会议交互技术中的硬件性能有限、网络带宽消耗大、隐私性差、交互性差的缺点，是本领域技术人员亟需解决的技术问题。
[0009]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0010]本公开的目的在于提供一种数字会议交互方法、边缘节点设备、云服务器设备、数字会议交互系统、计算机可读存储介质及电子设备，以至少解决相关技术中硬件性能有限、网络带宽消耗大、隐私性差、交互性差的技术问题。
[0011]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0012]本公开的技术方案如下：
[0013]根据本公开的一个方面，提供一种数字会议交互方法，该方法包括：由用户终端通过网页端接入会议系统，将用户数据发送给边缘节点；由边缘节点基于用户数据分析用户语义和意图，并向云服务器请求公有语义的渲染流；由云服务器基于公有语义库保存的信息，向云存储请求与用户相对应的三维模型数据，进行公有语义场景的构建和云渲染；由云服务器将云渲染流返回给边缘节点；由边缘节点基于用户数据构建私有语义库，并向云存储请求数据，进行私有语义场景构建和边缘渲染；以及由边缘节点对云渲染流和边缘渲染流进行渲染合成；由边缘节点将合成流返回给用户终端，使用户终端在网页端实时接收到感兴趣的会议场景和用户数字人的画面，该画面包括数字人的实时表情、动作、位置状态。
[0014]在本公开的一些实施例中，在由边缘节点将合成流返回给用户终端的步骤之前，
所述方法还包括：若用户的语义中存在与其他用户的交互，则边缘节点需要向其他边缘节点请求交互用户的边缘渲染流。
[0015]在本公开的一些实施例中，公有语义库保存三维场景信息，包括三维模型的基本信息、位置数据、旋转数据、缩放数据，其中，三维模型的基本信息用于表示唯一特定的三维场景；位置数据、旋转数据、缩放数据用于构建三维场景。
[0016]在本公开的一些实施例中，私有语义库保存三维场景信息，包括用户基本信息、表情驱动、头部驱动、动作驱动、语义标签、三维模型的基本信息，其中，用户基本信息用于表征唯一特定的用户；表情驱动、头部驱动和动作驱动用于驱动数字人；语义标签用于表征由所述边缘节点分析用户语义和意图的结果，指向特定的用户基本信息。
[0017]在本公开的一些实施例中，该方法还包括：由边缘节点基于对用户进行表情识别得到用户的人脸混合变形参数得到表情驱动；由边缘节点基于用户的人脸混合变形参数计算得到头部驱动；由边缘节点基于对用户进行动作识别、情感分析、语义分析综合得到用户的动作标签；由边缘节点根据动作标签匹配动作库中预制好的动画作为动作驱动。
[0018]在本公开的一些实施例中，由边缘节点对云渲染流和边缘渲染流进行渲染合成的步骤包括：由边缘节点将边缘渲染流的每一帧图像中的像素在云渲染关键帧中通过占位符进行占位，将云渲染流中的像素值替换成边缘渲染流的像素值。
[0019]在本公开的一些实施例中，由边缘节点基于用户数据分析用户语义和意图，并向云服务器请求公有语义的渲染流的步骤还包括：由云服务器训练用于分析用户语义和意图的人工智能模型；由云服务器将训练好的人工智能模型下发给边缘节点以及云存储中；由边缘节点基于人工智能模型识别用户数据生成用户的语义标签；以及由边缘节点将用户的语义标签发送至云服务器请求公有语义的渲染流。
[0020]根据本公开的又一个方面，提供一种边缘节点设备，该设备包括：用户数据分析模块、边渲染流生成模块、渲染合成模块、私有语义库；用户数据分析模块，用于从用户终端获取用户数据，由边缘节点基于用户数据分析用户语义和意图，并向云服务器请求公有语义的渲染流，该用户数据是由用户终端通过网页端发送的；边渲染流生成模块，用于基于用户数据构建私有语义库，并向云存储请求数据，进行私有语义场景构建和边缘渲染；渲染合成模块，用于对云渲染流和边缘渲染流进行渲染合成；并将合成流返回给用户终端，使用户终端在网页端实时接收到感兴趣的会议场景和用户数字人的画面，画面包括数字人的实时表情、动作、位置状态；其中，云渲染流是由云服务器基于公有语义库保存的信息，并向云存储请求与用户相对应的三维模型数据，进行公有语义场景的构建和云渲染生成并返回给边缘节点设备的。
[0021]根据本公开的又一个方面，一种云服务器设备，该云服务器设备包括：云渲染流生成模块、公有语义库；云渲染流生成模块，用于响应于云服务器对用户语义和意图的公有语义的渲染流的请求，基于公有语义库保存的信息，向云存储请求相应的三维模型数据，进行公有语义场景的构建和云渲染；并将云渲染流返回给边缘节点，以由边缘节点基于用户数据构建私有语义库，并向云存储请求数据，进行私有语义场景构建和边缘渲染，以及对云渲染流和边缘渲染流进行渲染合成，将合成流返回给用户终端，使用户终端在网页端实时接收到感兴趣的会议场景和用户数字人的画面，该画面包括数字人的实时表情、动作、位置状态。
[0022]根据本公开的又一个方面，一种数字会议交互系统，该系统包括：边缘节点、云服务器、云存储，其中，该边缘节点包括：用户数据分析模块、边渲染流生成模块、渲染合成模块、私有语义库；云服务器包括：云渲染流生成模块、公有语义库；该用户数据分析模块，用于基于用户数据分析用户语义和意图，并向云服务器请求公有语义的渲染流，该用户数据是由用户终端通过网页端接入会议系统发送的；云渲染流生成模块，用于基于公有语义库保存的信息，向云存储请求与用户相对应的三维模型数据，进行公有语义场景的构建和云渲染；并将云渲染流返回给边缘节点；边渲染流生成模块，用于基于用户数据构建私有语义库，并向云存储请求数据，进行私有语义场景构建和边缘渲染；以及渲染合成模块，用于对云渲染流和边缘渲染流进行渲染合成；并将合成流返回给用户终端，使用户终端在网页端实时接收到感兴趣的会议场景和用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数字会议交互方法，其特征在于，所述方法包括：由用户终端通过网页端接入会议系统，将用户数据发送给边缘节点；由所述边缘节点基于所述用户数据分析用户语义和意图，并向云服务器请求公有语义的渲染流；由所述云服务器基于公有语义库保存的信息，向所述云存储请求与所述用户相对应的三维模型数据，进行公有语义场景的构建和云渲染；由所述云服务器将云渲染流返回给所述边缘节点；由所述边缘节点基于用户数据构建私有语义库，并向云存储请求数据，进行私有语义场景构建和边缘渲染；以及由所述边缘节点对所述云渲染流和边缘渲染流进行渲染合成；由所述边缘节点将合成流返回给用户终端，使所述用户终端在所述网页端实时接收到感兴趣的会议场景和用户数字人的画面，所述画面包括数字人的实时表情、动作、位置状态。2.根据权利要求1所述的数字会议交互方法，其特征在于，在由所述边缘节点将合成流返回给用户终端的步骤之前，所述方法还包括：若所述用户的语义中存在与其他用户的交互，则所述边缘节点需要向其他边缘节点请求交互用户的边缘渲染流。3.根据权利要求1所述的数字会议交互方法，其特征在于，所述公有语义库保存三维场景信息，包括三维模型的基本信息、位置数据、旋转数据、缩放数据，其中，三维模型的基本信息用于表示唯一特定的三维场景；位置数据、旋转数据、缩放数据用于构建三维场景。4.根据权利要求1所述的数字会议交互方法，其特征在于，所述私有语义库保存三维场景信息，包括用户基本信息、表情驱动、头部驱动、动作驱动、语义标签、三维模型的基本信息，其中，用户基本信息用于表征唯一特定的用户；表情驱动、头部驱动和动作驱动用于驱动数字人；语义标签用于表征由所述边缘节点分析用户语义和意图的结果，指向特定的用户基本信息。5.根据权利要求4所述的数字会议交互方法，其特征在于，所述方法还包括：由所述边缘节点基于对所述用户进行表情识别得到所述用户的人脸混合变形参数得到所述表情驱动；由所述边缘节点基于所述用户的人脸混合变形参数计算得到头部驱动；由所述边缘节点基于对所述用户进行动作识别、情感分析、语义分析综合得到所述用户的动作标签；由所述边缘节点根据所述动作标签匹配动作库中预制好的动画作为动作驱动。6.根据权利要求1或2所述的数字会议交互方法，其特征在于，由所述边缘节点对所述云渲染流和边缘渲染流进行渲染合成的步骤包括：由所述边缘节点将所述边缘渲染流的每一帧图像中的像素在云渲染关键帧中通过占位符进行占位，将所述云渲染流中的像素值替换成所述边缘渲染流的像素值。7.根据权利要求1所述的数字会议交互方法，其特征在于，由所述边缘节点基于所述用户数据分析用户语义和意图，并向云服务器请求公有语义的渲染流的步骤还包括：由所述云服务器训练用于分析用户语义和意图的人工智能模型；
由所述云服务器将训练好的人工智能模型下发给所述边缘节点以及所述云存储中；由所述边缘节点基于所述人工智能模型识别用户数据生成所述用户的语义标签；以及由所述边缘节点将所述用户的语义标签发送至所述云服务器请求公有语义的渲染流。8.一种边缘节点设备，...

【专利技术属性】
技术研发人员：魏莱，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：