一种开放基站计算能力的自适应立体视频传输方法技术

本发明专利技术提出了一种自适应立体视频传输系统和方案。本发明专利技术从视频编解码和流媒体传输两个角度出发，阐述了一种立体视频的传输方案。流媒体服务器完成原始视频源的编码、切片和部署，支持多种立体视频编码方案。用户根据设备能力和网络状况变化请求指定要求的视频切片流。基站对接入用户的业务请求进行聚合分析，向流媒体服务器请求服务器上现有的立体视频切片，然后根据用户指定的要求生成相应的视频切片进行推送。利用基站的计算能力将立体视频切片转换为兼容用户设备、匹配网络能力的特定视频切片流，可以根据网络变化动态调整视频切片流的码率实现自适应流。本发明专利技术降低了服务器的存储和流量压力，降低了对用户终端计算能力的要求，具有良好的兼容性，可以实现多种立体视频的码率自适应传输。

【技术实现步骤摘要】
一种开放基站计算能力的自适应立体视频传输方法1.应用领域本专利技术涉及立体视频的自适应流式传输问题。2.
技术介绍
随着计算机视觉、计算机图形学和视频处理技术的快速发展和相互融合，现有的传统平面视频，即二维视频业务已经不能满足人们的需求，能够为人们提供立体视觉的三维(3Dimensions，3D)视频、多角度观察的多视点视频(Multi-viewVideo，MVV)受到更多人的关注。为了避免术语间的混淆，本文中多视点视频指利用位于不同视点的多个摄像机从不同视角同步拍摄同一景物得到的一组视频信号组，每个视点拍摄的都是双目视频；3D视频指某个视点的双目视频，即包含双通道视频的一组视频信号组，双通道分别对应人眼的左右眼。立体视频则是对3D视频和多视点视频的统称，结合特定的显示技术可以呈现立体显示效果。立体视频的流媒体方案不仅需要考虑传输协议和方案的设计，还要考虑到视频源的压缩存储方式和立体显示方式。本文将从视频编码和流媒体传输两个角度来阐述本方案。视频源的压缩存储方式主要取决于视频编解码技术，并对应相应的存储格式。参考主流编解码标准H.264/AVC和下一代编解码标准H.265/HEVC以及两代标准关于立体视频提出的H.264/MVC、MVV-HEVC和3D-HEVC扩展，立体视频主要有以下几种存储格式：a)传统双目视频，由双路平面视频组成，每一路视频信号独立编码分别对应左右眼；b)传统视频+深度图，由传统平面视频和深度图组成，利用摄像机记录景深信息等方式生成深度图，进而引入新的编码技术提高压缩效率。c)多视点视频，由多路双目视频组成，每一路视频对应一个视点的双目视频，因此包含多路传统平面视频和深度图。多视点视频编码引入视差预测等技术，利用视点间冗余提高压缩效率。双目视频和传统视频+深度图都可以表示场景的立体信息，前者比较直接，双路视频直接对应左右眼；后者则是间接的表示方法，需要经过转换才能形成双目视频。多视点视频包含多路双目视频，因此可以提供立体多视点立体显示、双目立体显示和传统二维显示，数据量也更大。立体显示是根据人眼的视觉机理，模拟视网膜成像过程，将同一场景的左右两幅图像投射到人的左右眼视网膜上，即可获得立体视觉感受。因此需要利用适当装置保证左右眼分别看到对应的视图而不发生重叠。立体视频显示技术主要分为眼镜式立体显示(如偏振光眼镜式立体显示)和裸眼式立体显示(如视差障栅裸眼式立体显示)等。从传输角度考虑，立体视频在数据量上远超传统平面视频，传输内容从单路单目视频变为一路或多路双目视频，带宽资源的需求极大。传统双目视频的方案，数据量是传统平面视频的两倍；传统视频+深度的方案，对终端运算能力要求极高。本文设计的方案是在基站完成视频转码，因此传输内容仍是传统双目视频，数据量依然是传统平面视频的两倍。多视点视频数据量更大，依靠现有网络的承载能力是远远不够的。3.
技术实现思路
及特征本专利技术涉及立体视频的自适应流式传输问题。本专利技术中涉及到流媒体服务器，基站和用户(客户端)。流媒体服务器提供立体视频源，这些立体视频包括传统双目视频、传统视频+深度图和多视点视频；基站是指具有一定计算能力的移动通信基站，是移动用户接入网络的“最后一站”。用户通过基站接入网络，向流媒体服务器请求立体视频，通过流式传输的方式获取视频资源。具体步骤如下：a)视频源编码。视频源服务器对原始的立体视频进行压缩编码，视频编码要求使用封闭和定长的GOP(GroupofPicture，图片组)结构，每个GOP可以独立解码。对于传统双目视频，生成左右视点两组视频流；对于传统视频+深度图，生成传统视频流和深度图数据流，深度图中每一帧对应视频的每一帧；对于多视点视频，视点数为N，则生成2N组视频流。b)视频源切片。视频源服务器按照固定时长t对视频流进行切片，每个切片包含相同数目的GOP。处理过程中根据与用户客户端协商的数据格式生成自定义视频信息描述文件。该文件包含的切片后的视频描述信息，包括文件名，播放总时长，视频压缩格式(HEVC、AVC、VP9、VP8等)，音频压缩格式(AAC、MP3等)，封装方式(MPEG-2、MPEG-4等)，分辨率，帧率，切片时长，切片序号，URI，编码方式(传统双目视频、传统视频+深度图，多视点视频等)。此外根据视频编码方式的不同，传统双目视频需要包含通道序号(对应左右眼)等；传统视频+深度图需要包含深度图的信息描述(如图片压缩格式，对应的GOP序号和视频帧序号)等，多视点视频需要包含视点序号和通道序号等。c)请求视频信息描述文件。用户经过基站向流媒体服务器请求视频信息描述文件，获知可请求的视频资源信息。同时基站也获取到流媒体服务器中部署的视频信息。d)请求视频切片文件。用户根据设备能力、网络状况的变化、视点变化等发出请求，该请求包括用户可接收视频切片的要求，在该请求中需要指定视频切片的视频、音频压缩格式，封装方式，分辨率，帧率，切片时长、序号、码率等。对于任意编码方式的立体视频，分别请求两组视频流，然后分别解码渲染播放。e)用户组请求分析和视频转码。基站将接入用户的请求进行解析归类，请求同一视频源的用户构成一个用户组。基站向流媒体服务器请求视频切片，然后根据用户请求进行转码和推流。对于传统双目视频，需要根据用户要求进行转码，生成满足用户指定要求(视频、音频压缩格式，封装方式，分辨率，切片时长、序号、码率)的切片，切片码率的视频切片然后推送；对于传统视频+深度图，需要完成2D转3D的工作，利用2D平面视频和对应的深度图渲染出传统双目视频切片，然后生成用户指定要求的视频切片推送；对于多视点视频，需要分析用户组请求的视点信息，然后向流媒体服务器请求特定视点的一组或者多组视频切片，然后完成2D转3D和码率转换，推送用户指定要求的视频切片。立体视频源种类繁多，本专利设计的传输方案中仅对原始视频做简单切片处理，复杂度低，存储压力小。用户设备千差万别，本专利设计的传输方案中对用户接收的视频切片格式进行了统一，设计为传统双目视频的切片，可以直接利用传统视频解码器解码渲染。大多数立体视频(传统视频+深度图，多视点视频)对于终端计算能力要求很高，本专利将转码过程转移到基站侧，从而降低了对用户设备的要求，保持了良好的兼容性。对于多用户情景而言，同一小区内的用户组观看的内容高度相似，对用户组的需求进行整合分析，减轻了流媒体服务器的流量压力，同时降低了基站侧的计算量。对于单用户情景而言，每个用户分配到的无线资源时刻变化，本专设计的传输方案中，用户可以现根据终端设备能力和网络状况等自适应调整请求视频切片的码率，最大化利用网络资源，同时保证流畅的播放体验。附图说明(1)图1为本专利技术的场景示意图。(2)图2为本专利技术方法的流程示意图。(3)图3为一种实施例的示意图。4.具体实施方法举例为了进一步说明本专利技术的实施方法，下面给出一个实施范例。此示例仅表示对本专利技术的原理性说明，不代表本专利技术的任何限制。假设一台HTTP流媒体服务器将要部署一段含有6个视点，时长为800s的多视点视频“Sport”，格式为YUV420。基站接入了四个用户A，B，C，D，其中用户A、B可以播放视频的最大分辨率为3840x2160，用户C、D可以播放视频的最大分辨率为7680x4320，本文档来自技高网...

【技术保护点】
1.一种自适应立体视频传输系统和方案。本方案兼容现有的流媒体服务器和终端视频解码器，通过开放基站的计算能力参与立体视频传输业务，降低了服务器的存储和流量压力，降低了对用户终端计算能力的要求，实现了多种立体视频的自适应流式传输。本专利技术的特征在于如下步骤：a)在业务发起前服务器和用户需要协定媒体信息描述方式，并写入描述文件在业务发起前被用户和基站同时获取。用户用于请求所需切片文件，基站用于聚合分析用户请求和转发用户请求。b)服务器部署视频源涉及的编码操作仅对GOP结构做出了限制，其他编码参数不受影响。切片操作简单且不影响编码后的视频内容。服务器部署原始视频的一份拷贝，不含冗余。c)客户端接收的视频切片是传统视频的切片，兼容现有的视频解码器，解码之外不需要额外的计算。d)基站参与业务，并扮演关键角色。基站对用户请求归类合并，减少对服务器获取视频切片流的操作降低服务器流量压力。基站将立体视频切片转换为传统双目视频切片，保证对用户设备的兼容。基站按照用户需求生成满足其需求的视频切片，实现自适应传输。

【技术特征摘要】
1.一种自适应立体视频传输系统和方案。本方案兼容现有的流媒体服务器和终端视频解码器，通过开放基站的计算能力参与立体视频传输业务，降低了服务器的存储和流量压力，降低了对用户终端计算能力的要求，实现了多种立体视频的自适应流式传输。本发明的特征在于如下步骤：a)在业务发起前服务器和用户需要协定媒体信息描述方式，并写入描述文件在业务发起前被用户和基站同时获取。用户用于请求所需切片文件，基站用于聚合分析用户请求和转发用户请求。b)服务器部署视频源涉及的编码操作仅对GOP结构做出了限制，其他编码参数不受影响。切片操作简单且不影响编码后的视频内容。服务器部署原始视频的一份拷贝，不含冗余。c)客户端接收的视频切片是传统视频的切片，兼容现有的视频解码器，解码之外不需要额外的计算。d)基站参与业务，并扮演关键角色...

【专利技术属性】
技术研发人员：刘奕彤，田旺，杨鸿文，吴建伟，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11