一种适用于算力资源约束环境的立体视觉视频通信方法技术

本发明专利技术公开了一种适用于算力资源约束环境的立体视觉视频通信方法，该方法使用低精度、低分辨率的数据采集设备进行数据处理和传输，大幅度降低带宽消耗；通过视差图像渲染方法，基于眼动追踪，仅渲染两幅低分辨率的视差图像，并在渲染后进行画质增强，提升视差图像质量，减少硬件成本，降低处理时延；通过非线性映射低分辨率图像平滑处理方法有效抑制孤立噪声点以及伪影，在不降低最终呈现图像保真度和分辨率的同时，减少对于网络带宽、GPU算力和存储空间的消耗，进一步压缩硬件成本，使其适用于算力资源约束的执行环境。

【技术实现步骤摘要】

本专利技术涉及it与软件，尤其涉及一种适用于算力资源约束环境的立体视觉视频通信方法。

技术介绍

1、在现代社会中，视频通信已成为人们日常交往、工作和学习的重要方式之一，随着云计算、6g和ai技术的飞速发展，传统的基于简单推拉流的处理方法和2d画面呈现方式存在通信效率低、沉浸感不足的劣势。立体视觉视频通信方法将三维场景或物体以高质量的方式进行呈现，用户可以获得更加逼真、身临其境的体验，提升其参与感，为沉浸式视频通信产业的形成打下基础。但是，高画质的三维立体视觉呈现过程涉及诸多步骤，尤其是高精度数据采集、传输和三维模型重建、渲染，对于采集设备精度、网络带宽、gpu、存储空间等算力资源有极高的要求，在算力资源约束的执行环境，比如中小企业或者个人用户存在难以跨越的高成本算力门槛。现有技术，缺少一种适用于算力资源约束环境的立体视觉视频通信方法。

技术实现思路

1、本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、本文档来自技高网...

【技术保护点】

1.一种适用于算力资源约束环境的立体视觉视频通信方法，其特征在于：

2.如权利要求1所述的适用于算力资源约束环境的立体视觉视频通信方法，其特征在于：高清视频流传输到云端后由GPU进行三维模型重建和渲染，主要包括深度融合、颜色融合和视差图像渲染。

3.如权利要求1所述的适用于算力资源约束环境的立体视觉视频通信方法，其特征在于：三维模型重建和渲染的方法包括以下几个具体的步骤：

4.如权利要求1所述的适用于算力资源约束环境的立体视觉视频通信方法，其特征在于：在步骤S3中，为了保证最终生成的三维模型具有高质量和高精度，同时进行色彩和亮度的一致性处理，避免出现颜...

【技术特征摘要】

1.一种适用于算力资源约束环境的立体视觉视频通信方法，其特征在于：

2.如权利要求1所述的适用于算力资源约束环境的立体视觉视频通信方法，其特征在于：高清视频流传输到云端后由gpu进行三维模型重建和渲染，主要包括深度融合、颜色融合和视差图像渲染。

3.如权利要求1所述的适用于算力资源约束环境的立体视觉视频通信方法，其特征在于：三维模型重建和渲染的方法包括以下几个具体的步骤：

4.如权利要求1所述的适用于算力资源约束环境的立体视觉视频通信方法，其特征在于：在步骤s3中，为了保证最终生成的三维模型具有高质量和高精度，同时进行色彩和亮度的一致性处理，避免出现颜色和亮度不连续的情况。

5.如权利要求1所述的适用于算力资源约束环境的立体视觉视频通信方法，其特征在于：在通过基于加权平均的方法将来自不同视角的深度信息进行合并的过程中，需要考虑相机的内外参、畸变矫正、深度图像的精度、以及可能存在的噪声和异常点因素，进行数据清理和滤波，保证生成的三维点云具有高质量和高精度。

6.如权利要求1所述的适用于算力资源约束环境的立体视觉视频通信方法，其特征在于：采用分辨率为1280*720的低精度rgb摄像头，帧速率为30fps，色深为24位，色度采样方式为yuv420，共4路；同时，采用分辨率为640*480的低精度depth摄像头，帧速率为30fps，色深为16位，色度采样方式为yuv420，共3路；两种摄像头均使用h.265编码，数据压缩率为100；使用以下公式计算所需的网络带宽：视频传输所需网络带宽为视频流路数*视频分辨率*帧速率*色深*色度采样率*编码效率。

7.如权利要求1所述的适用于算力资源约束环境的立体视觉视频通信方法，其特征在于：基于上述公式，可以分别计算出rgb视频传输所需网络带宽为4*1600*...

【专利技术属性】
技术研发人员：程咏阳，孙上，张涛，惠钊，秦伯钦，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：