用于对虚拟现实视频执行转换及流传输的系统及方法技术方案

视频服务器采用将球面图像帧数据转换成与从客户端设备接收到的视听角度对应的第1区域被配置到中间区域的等距柱状图像帧数据的构成。上述视频服务器采用将第1区域缩放至第1分辨率、将与上述第1区域相邻的上述等距柱状图像的第2区域缩放至低于第1分辨率的第2分辨率、将与上述第1区域相邻但不与上述第2区域相邻的上述等距柱状图像的第3区域缩放至低于上述第1分辨率的第3分辨率并以上述缩放后的第2区域与上述缩放后的第3区域相互相邻的方式对上述缩放后的第1区域、上述缩放后的第2区域以及上述缩放后的第3区域进行重排的构成。其结果，能够生成重排后的等距柱状图像帧数据。

System and Method for Video Conversion and Streaming in Virtual Reality

【技术实现步骤摘要】
【国外来华专利技术】用于对虚拟现实视频执行转换及流传输的系统及方法
本专利技术涉及一种用于对虚拟现实视频执行转换及流传输的系统及方法。具体来讲，本专利技术涉及一种用于对虚拟现实(vitrualreality；VR)视频数据执行缩减(downscaling)、重排(reformatting)、编码(encoding)以及流传输(streaming)的系统及方法。
技术介绍
为了提供360度的视频数据，虚拟现实(vitrualreality；VR)视频内容通常具有极高的分辨率。例如，360度视频数据中能够包括每秒帧数(framepersecond；FPS)为30～60且具有2K(2560×1440)或4K(3840×1920)以上的高分辨率的UHD(ultrahighdefinition，超高清晰度)视频数据。虚拟现实(VR)视频的流传输能够通过将整体帧数据(例如H.264/AAC等压缩媒体格式数据)传送到客户端设备(例如智能手机或头戴式显示器(headmountdisplay))并在客户端设备中对球面图像帧(sphericalimageframe)进行渲染(rendering)的方式实现。如上所述的高分辨本文档来自技高网...

【技术保护点】
1.一种虚拟现实视频处理系统，其特征在于，包括：通信服务器，从客户端设备接收与第1视野(FOV，field of view)相关的第1信息；视频服务器，执行利用上述第1信息生成编码后(encoding)的第1等距柱状图像的一系列动作；以及，流传输服务器，将上述编码后的第1球面图像流传输到上述客户端设备；其中，上述通信服务器、上述视频服务器以及上述流传输服务器分别利用处理器实现，上述视频服务器，执行：通过对第1球面图像进行转换而生成第1等距柱状图像(与上述第1视野(FOV)对应的图像被配置到指示上述第1等距柱状图像的中间区域的第1区域中)的第1动作；将上述第1等距柱状图像的上述第1区域缩放(sc...

【技术特征摘要】
【国外来华专利技术】2016.09.16 US 15/268,1111.一种虚拟现实视频处理系统，其特征在于，包括：通信服务器，从客户端设备接收与第1视野(FOV，fieldofview)相关的第1信息；视频服务器，执行利用上述第1信息生成编码后(encoding)的第1等距柱状图像的一系列动作；以及，流传输服务器，将上述编码后的第1球面图像流传输到上述客户端设备；其中，上述通信服务器、上述视频服务器以及上述流传输服务器分别利用处理器实现，上述视频服务器，执行：通过对第1球面图像进行转换而生成第1等距柱状图像(与上述第1视野(FOV)对应的图像被配置到指示上述第1等距柱状图像的中间区域的第1区域中)的第1动作；将上述第1等距柱状图像的上述第1区域缩放(scaling)至第1分辨率的第2-1动作；将与上述第1区域相邻的第2区域缩放至低于第1分辨率的第2分辨率的第2-2动作；将与上述第1区域相邻但不与上述第2区域相邻的第3区域缩放至低于上述第1分辨率的第3分辨率的第2-3动作；通过将上述缩放后的第1区域和上述缩放后的第2区域以及上述缩放后的第3区域重新配置成相邻的状态而生成重排后(reformatting)的第1等距柱状图像的第3动作；以及，通过对上述重排后的第1等距柱状图像执行编码而生成上述编码后的第1等距柱状图像的第4动作。2.根据权利要求1所述的虚拟现实视频处理系统，其特征在于：上述视频服务器，还执行：以时间复杂度(temporalcomplexity)或空间复杂度(spatialcomplexity)为基础生成上述第1等距柱状图像的复杂度地图的动作；以及，以上述所生成的复杂度地图为基础，分别确定上述缩放后的第2区域以及上述缩放后的第3区域的宽度以及高度的动作。3.根据权利要求2所述的虚拟现实视频处理系统，其特征在于：上述时间复杂度，是以第1帧与上述第1帧的下一个帧之间的像素值的差异达到临界值以上的像素数量为基础确定。4.根据权利要求2所述的虚拟现实视频处理系统，其特征在于：上述空间复杂度，是以包含于上述第1等距柱状图像中的多个区块中分别出现的不同颜色的数量为基础确定。5.根据权利要求1所述的虚拟现实视频处理系统，其特征在于：上述第2区域为上述第1等距柱状图像的上端区域，上述第3区域为上述第1等距柱状图像的下端区域，上述重排的结果，上述缩放后的第2区域以及上述缩放后的第3区域与上述缩放后的第1区域相邻。6.根据权利要求5所述的虚拟现实视频处理系统，其特征在于：上述视频服务器，还执行：在上述缩放后的第2区域与上述缩放后的第3区域的边界添加冗余像素(redundantpixel)的第5动作；其中，上述第5动作是在上述第4动作之前以及上述第3动作之后执行。7.根据权利要求5所述的虚拟现实视频处理系统，其特征在于：上述视频服务器，还执行：在上述第4动作之前以及上述第3动作之后，在上述缩放后的第1区域与上述缩放后的第2区域的边界添加冗余像素的第5动作；其中，上述第5动作是在上述第4动作之前以及上述第3动作之后执行。8.根据权利要求5所述的虚拟现实视频处理系统，其特征在于：上述视频服务器，还执行：在指示上述缩放后的第1区域之一部分的第1部分以及指示上述缩放后的第2区域之一部分的第2部分添加冗余像素的第5动作；其中，上述第1部分与上述第2部分互不相邻，上述第5动作是在上述第4动作之前以及上述第3动作之后执行。9.根据权利要求5所述的虚拟现实视频处理系统，其特征在于：上述视频服务器，还执行：将与上述第1区域的左侧相邻上述第1等距柱状图像的第4区域缩放至低于上述第1分辨率的第4分辨率的第2-4动作；将与上述第1区域的右侧相邻上述第1等距柱状图像的第5区域缩放至低于上述第1分辨率的第5分辨率的第2-5动作；其中，上述第4动作，包括：通过对上述缩放后的第1区域至上述缩放后的第5区域执行编码而生成上述编码后的第1等距柱状图像的动作。10.一种虚拟现实视频处理方法，其特征在于：在通过包括通信服务器、视频服务器以及流传输服务器的虚拟现实视频处理系统执行的虚拟现实视频处理方法中，包括：第1步骤，由上述通信服务器从客户端设备接收与第1视野(FOV)相关的第1信息；第2步骤，由上述视频服务器将第1球面图像转换成第1等距柱状图像，此时与上述第1视野(FOV)对应的图像被配置到指示上述第1等距柱状图像的中间区域的第1区域中；第3-1步骤，由上述视频服务器将上述第1等距柱状图像的第1区域缩放至第1分辨率；第3-2步骤，由上述视频服务器将与上述第1区域相邻的第2区域缩放至低于上述第1分辨率的第2分辨率；第3-3步骤，由上述视频服务器将与上述第1区域相邻但不与上述第2区域相邻的第3区域...

【专利技术属性】
技术研发人员：河尚俞，金成培，
申请(专利权)人：阿尔卡鲁兹公司，
类型：发明
国别省市：美国,US