会议实时交互视频生成方法、装置和会议系统制造方法及图纸

技术编号:41562800 阅读:27 留言:0更新日期:2024-06-06 23:45
本申请属于数据传输技术领域,特别涉及一种会议实时交互视频生成方法、装置和会议系统。方法包括:获取并加载所有与会者的预训练人物定制模型;获取每一所述与会者的实时真实视频帧和实时音频;基于实时真实视频帧获得实时表情信息和实时动作信息;将所述实时表情信息、所述实时动作信息和所述实时音频通过网络进行传输和共享;接收每一所述与会者的实时表情信息、实时动作信息和实时音频;将每一所述与会者的表情信息和实时动作信息输入对应的所述预训练人物定制模型,获得每一所述与会者对应的实时2D虚拟视频帧;将所有所述实时2D虚拟视频帧与所述实时音频进行结合,生成实时交互视频。本申请可提高会议实时视频的稳定性和画面质量。

【技术实现步骤摘要】

本申请属于数据传输,具体而言,本申请涉及一种会议实时交互视频生成方法、装置和计算机设备。


技术介绍

1、目前的线上远程会议的基本流程是:通过包含摄像头的终端(如手机、笔记本电脑或专门的会议设备)采集与会者的语音和图像,经过实时的编、解码后传输到网络服务器,再转发到其他与会者的终端。

2、在这个过程中,至少会存在如下问题:由于图像信息的码率较大,若要保证基本的画质,至少要2mbps以上的传输带宽,如果要保证较好的画质,至少要20mbps以上的传输带宽,而在实时会议中,若有多人同时与会,则需要更高的实时传输带宽,这就使得不论是终端用户的流量还是宽带骨干网都较难承担这种网络配置的大规模使用,因此,一般的实时视频会议中,由于传输带宽的限制会画质较差,尤其是网络不稳定时,画质会更差,因此,用户的体验不佳。


技术实现思路

1、本申请的主要目的为提供一种会议实时交互视频生成方法、装置和会议系统,旨在解决因传输带宽限制导致的会议实时视频稳定性和画面质量较差的技术问题。

2、为了实现上述专利技术目的,本本文档来自技高网...

【技术保护点】

1.一种会议实时交互视频生成方法,其特征在于,包括:

2.根据权利要求1所述的会议实时交互视频生成方法,其特征在于,所述基于实时真实视频帧获得实时表情信息和实时动作信息的步骤,包括:

3.根据权利要求1所述的会议实时交互视频生成方法,其特征在于,所述人物定制模型的训练过程包括如下步骤:

4.根据权利要求3所述的会议实时交互视频生成方法,其特征在于,所述预设损失函数包括第一损失函数和第二损失函数,所述第一损失函数用于计算所述标准图像和所述预测虚拟图像的全图曼哈顿距离,所述第二损失函数用于计算所述标准图像和所述预测虚拟图像的纹理细节曼哈顿距离。

...

【技术特征摘要】

1.一种会议实时交互视频生成方法,其特征在于,包括:

2.根据权利要求1所述的会议实时交互视频生成方法,其特征在于,所述基于实时真实视频帧获得实时表情信息和实时动作信息的步骤,包括:

3.根据权利要求1所述的会议实时交互视频生成方法,其特征在于,所述人物定制模型的训练过程包括如下步骤:

4.根据权利要求3所述的会议实时交互视频生成方法,其特征在于,所述预设损失函数包括第一损失函数和第二损失函数,所述第一损失函数用于计算所述标准图像和所述预测虚拟图像的全图曼哈顿距离,所述第二损失函数用于计算所述标准图像和所述预测虚拟图像的纹理细节曼哈顿距离。

5.一种会议实时交互视频生成装置,其特征在于,包括:

6.根据权利要求5所述的会...

【专利技术属性】
技术研发人员:王凯
申请(专利权)人:广州视源电子科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1