当前位置: 首页 > 专利查询>清华大学专利>正文

一种三维高斯泼溅多视角视频联合语义编码方法技术

技术编号:46566513 阅读:0 留言:0更新日期:2025-10-10 21:16
本申请提供了一种三维高斯泼溅多视角视频联合语义编码方法,涉及计算机视觉处理技术领域。该方法通过将多视角视频图像编码和前馈3DGS技术结合,采用双视角编码和高斯参数预测并行运算的架构,左右视角分支模型参数共享,提升了处理实时性并降低了复杂度。同时,设计跨视角并行语义特征自编码器,通过传递跨视角上下文信息实现左右视角分支间信息交互,以降低视角间冗余。最终,在接收端对解码特征实现3DGS轻量化预测,渲染得到用户视角的视频图像,以满足沉浸式语义通信的实时性需求。

【技术实现步骤摘要】

本申请涉及计算机视觉处理,特别是涉及一种三维高斯泼溅多视角视频联合语义编码方法


技术介绍

1、沉浸式语义通信技术是6g的核心应用场景,通过逼真的三维视觉呈现和交互来彻底改变人们的工作、娱乐和交流方式,然而,沉浸式语义通信超高数据传输速率和超低延迟的要求为6g网络及数据处理技术带来了挑战,这促使研究者针对沉浸式语义通信开发相应的高性能低延迟的视频图像编码技术。

2、相关的编解码方法通常为基于搜索、变换及熵编码的传统编码框架,传统编码方法编码性能的提升依赖于不断增加的编码模式,但编码模式越多,所进行的率失真优化搜索的复杂度就会大幅增加,其压缩率增加和编码复杂度提升的收益比越来越小,尤其是在沉浸式语义通信场景下,当前的传统编码方法难以支持数据量巨大的全景或多视角高清视频图像实时传输。


技术实现思路

1、本申请提供一种三维高斯泼溅多视角视频联合语义编码方法,通过传递跨视角上下文信息,降低视角间冗余,有助于实现低带宽需求的沉浸式语义通信。

2、本申请实施例第一方面提供一种三维高斯泼溅多视角视频本文档来自技高网...

【技术保护点】

1.一种三维高斯泼溅多视角视频联合语义编码方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述跨视角并行语义特征自编码器至少包括:跨视角并行视差语义特征自编码器;

3.根据权利要求2所述的方法,其特征在于,所述当前帧的左右视差上下文包括:当前帧的左视差上下文和当前帧的右视差上下文;

4.根据权利要求2所述的方法,其特征在于,所述跨视角并行语义特征自编码器还包括:跨视角并行图像语义特征自编码器;

5.根据权利要求4所述的方法,其特征在于,所述当前帧的发送端左右视角图像上下文包括:当前帧的发送端左视角图像上下文和当前...

【技术特征摘要】

1.一种三维高斯泼溅多视角视频联合语义编码方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述跨视角并行语义特征自编码器至少包括:跨视角并行视差语义特征自编码器;

3.根据权利要求2所述的方法,其特征在于,所述当前帧的左右视差上下文包括:当前帧的左视差上下文和当前帧的右视差上下文;

4.根据权利要求2所述的方法,其特征在于,所述跨视角并行语义特征自编码器还包括:跨视角并行图像语义特征自编码器;

5.根据权利要求4所述的方法,其特征在于,所述当前帧的发送端左右视角图像上下文包括:当前帧的发送端左视角图像上下文和当前帧的发送端右视角图像上下文;

6.根据权利要求2所述的方法,其特征在于...

【专利技术属性】
技术研发人员:秦志金杨定熹陶晓明刘帅
申请(专利权)人:清华大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1