元媒体视频通信方法、系统、电子设备和存储介质技术方案

技术编号:43062405 阅读:18 留言:0更新日期:2024-10-22 14:41
本申请涉及视频通信技术领域,提供一种元媒体视频通信方法、系统、电子设备和存储介质,所述方法包括:接收发送端发送的当前场景视频,并根据当前场景视频的图像特征和预先训练好的离线特征库的图像特征,识别出目标物体;基于离线特征库和目标物体构建目标三维结构;基于当前场景视频和目标三维结构,解算出当前场景视频的目标三维跟踪注册信息;对预先编排的元媒体模板中元媒体素材进行三维渲染,得到元媒体信息;基于目标三维跟踪注册信息将元媒体信息融合至当前场景视频,得到元媒体视频,并将元媒体视频传输至接收端。本申请实施例提供的元媒体视频通信方法、降低了操作复杂度及提升了用户使用体验。

【技术实现步骤摘要】

本申请涉及视频通信,具体涉及一种元媒体视频通信方法、系统、电子设备和存储介质


技术介绍

1、随着5g和元宇宙技术的发展,在实时音视频通话场景下,基本的语音和视频,已经不能满足人们更加丰富交互需求,往往需要在原有的视频内容基础上,叠加或者编排一些自定义的元媒体素材,以将视频内容和业务信息同屏叠加显示,使音视频沟通的双方更加直观和便捷。现有的方案为:发送端将原始视频流通过视频解码器,进行解码,得到原始视频流yuv数据,通过原始视频流创建一个视频编码过滤器,将元媒体素材(图像或视频)添加到视频编码过滤器中,指定素材在过滤器中叠加的宽高大小以及时间长短,通过过滤器将元媒体叠加到原始视频流的每一帧上,对叠加后的视频帧进行编码,得到叠加后的视频流,将叠加后的视频流通过网络发送给接收端,接收端解码器对视频流进行渲染显示。但现有方案中,元媒体素材不能根据元媒体内容动态改变叠加的位置和宽高,有可能造成有用信息覆盖,另外,现有的方案中没有对元媒体素材进行统一的编排以及管理,在叠加时需要分别对各个素材进行叠加参数设定,操作繁琐。


>技术实现思路...

【技术保护点】

1.一种元媒体视频通信方法,其特征在于,包括:

2.据权利要求1所述的元媒体视频通信方法,其特征在于,所述基于所述离线特征库和所述目标物体构建目标三维结构,包括:

3.据权利要求2所述的元媒体视频通信方法,其特征在于,所述基于所述第一匹配点对集合建立初始化三维结构,包括:

4.据权利要求2所述的元媒体视频通信方法,其特征在于,所述基于所述第二匹配点对集合对所述初始化三维结构进行更新,得到所述目标三维结构,包括:

5.据权利要求1所述的元媒体视频通信方法,其特征在于,所述基于所述当前场景视频和所述目标三维结构,解算出所述当前场景视频的目标三维...

【技术特征摘要】

1.一种元媒体视频通信方法,其特征在于,包括:

2.据权利要求1所述的元媒体视频通信方法,其特征在于,所述基于所述离线特征库和所述目标物体构建目标三维结构,包括:

3.据权利要求2所述的元媒体视频通信方法,其特征在于,所述基于所述第一匹配点对集合建立初始化三维结构,包括:

4.据权利要求2所述的元媒体视频通信方法,其特征在于,所述基于所述第二匹配点对集合对所述初始化三维结构进行更新,得到所述目标三维结构,包括:

5.据权利要求1所述的元媒体视频通信方法,其特征在于,所述基于所述当前场景视频和所述目标三维结构,解算出所述当前场景视频的目标三维跟踪注册信息,包括:

6.据权利要求5所述的元媒体视频通信方法,其特征在于,所述基于所述当前场景视频和所述目标三维结构,得到初始化三维跟踪...

【专利技术属性】
技术研发人员:杨森轲王文敏李胜辉程明普皓
申请(专利权)人:中移在线服务有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1