基于模糊控制的立体视频质量自适应算法制造技术

本发明专利技术涉及基于模糊控制的立体视频质量自适应算法，设计两输入一输出模糊控制器，其中两输入分别为客户端缓存中的视频余量和缓存变化量，输出为比特流选择标准的控制变量，并设计输入输出的隶属函数。将模糊控制应用到3D环境中，可以更好地保证在3D环境下用户的缓存视频可以稳定在一个安全值，同时保证最大程度的利用带宽。向用户提供质量更高的多视点视频，且保证视频切换较为平滑稳定，提高用户的体验质量。

【技术实现步骤摘要】

本专利技术属于网络多视点视频自适应传输领域，涉及将MPEG-DASH传输协议应用于3D环境中，由其是一种基于模糊控制的立体视频质量自适应算法。
技术介绍
随着网络的普及，视频在多媒体网络传输中所占的比重越来越大，2011年动态图像专家组(MPEG)与第三代合作伙伴计划(3GPP)联合提出基于HTTP的动态自适应流媒体传输(MPEG-DASH)协议，该协议规定了媒体描述文件(MPD)及媒体文件的格式。基于HTTP动态自适应(DASH)传输协议的流媒体传输机制，是由客户端驱动，在视频传输前，服务器会将同一视频资源分割成不同的视频切片，并进行不同比特率编码，最终生成一个基于二进制可扩展标记语言(XML)格式的媒体描述文件，它包含了视频切片的比特率、分辨率、时间间隔等相应的视频属性信息。客户端根据当前的网络状况、自身硬件的处理能力以及缓存等相关参数根据媒体描述文件所提供的统一资源定位符(URL)自适应的选择适应于当前网络状况的下的视频资源进行申请和下载。目前已经有很多关于2D-DASH自适应方案的研究主要可以分为两类：基于吞吐量自适应和基于缓存自适应。相较之下，3D-DASH自适应方案还不够成熟。在目前的3D-DASH的研究主要集中在媒体描述文件的格式改进、传输的视点数量对最终呈现的视频质量的影响以及传输视点数量的自适应切换。但是由于多视点编码的原因，在3D环境中，客户端会产生更多的具有不同比特率的多视点比特流版本。因此基于3D-DASH的自适应方案相对于2D要求更加严格。模糊控制系统是以模糊集合论，模糊语言变量和模糊推理为基础的一种计算机数字控制技术，其已成为当今控制系统的重要组成部分。模糊控制是模拟人的思维、推理和判断的一种方法，不同于传统控制方法，模糊控制以模糊的语言变量代替精确的数值输入，以经验化的规则设计代替精确的数学模型。将模糊控制与传统基于缓存算法相结合，可以解决缓存门限值难以设定的问题。同时模糊控制的语言规则来自于人类有关领域的知识和经验，一套精心设计的语言规则可以使客户端自适应控制器具有良好的响应，在复杂多变的网络环境中，为用户提供更好的知觉质量。
技术实现思路
本专利技术所解决的技术问题是：在无线网络环境下，设计一种由客户端驱动的基于模糊控制的立体视频自适应传输算法，本专利技术中的多视点比特流包括：4视点加深度(4VD)，3视点加深度(3VD)，2视点加深度(2VD)，使其满足：1)在现有的无线网络环境下，保证申请的视频质量紧跟网络带宽的变化，以防止缓存溢出造成的视频播放停滞或带宽利用率低等问题。2)针对当前网络环境，为用户提供尽可能高的视频质量，为用户提供更好的视觉质量体验。3)当网络环境持续小范围波动，尽量维持选择视频质量稳定，以防止视频质量频繁波动给用户带来疲惫感。4)针对于当前的网络环境，选择合适的多视点比特流(3VD，2VD)进行传输，以最大化用户的体验质量。为解决上诉问题，本专利技术提出一种基于模糊控制的视频自适应选择方法，包括以下步骤：步骤1：资源预备。在多视点视频进行自适应传输前，服务器端将进行多视点比特流的资源预备。服务器将各个位置捕捉到的视频流进行独立对称地编码，并以相同的时间间隔进行视频切片切割；步骤2：媒体描述文件生成：按照预定规则对多视点比特流进行打包，并采用视频质量评价方法(VQM)设置多视点比特流的自适应切换的客观参考依据，以贴近用户的真实体验，将多视点视频的属性信息进行汇总生产媒体描述文件；步骤3：媒体描述文件预下载。在视频下载前，客户端先向服务器提出申请，并下载媒体描述文件，通过解析媒体描述文件了解服务器端的码率资源分配情况；步骤4：进入初始缓存阶段。在此阶段，由于网络环境未知，客户端先向服务器申请视点数以及总比特率最低的多视点比特流视频切片，当缓存区的视频切片达到预定值时，启动自适应传输；步骤5：设计两输入一输出模糊控制器。其中两输入分别为客户端缓存中的视频余量和缓存变化量，输出为比特流选择标准的控制变量，并设计输入输出的隶属函数。步骤6：计算估计吞吐量。根据上一个视频切片下载速度，计算网络吞吐量，并将计算得到的网络吞吐量作为下一个视频切片下载期间的网络估计吞吐量；步骤7：计算缓存。根据申请的多视点比特流视频切片的总比特率、网络吞吐量以及上一个视频切片下载完成时的缓存余量，计算下一个视频切片下载完成后的缓存余量；步骤8：计算缓存的偏移量。将步骤7计算得到的缓存余量同目标缓存对比，并计算两者的差值作为当前的缓存偏移量,并将其作为系统误差输入，帮助系统收敛到最终稳定状态：步骤9：对输入进行模糊化。根据隶属函数，将步骤7，步骤8缓存余量及缓存变化量由精确数值域映射到模糊语言域，得到模糊化结果。步骤10：对输出进行解模糊。确定解模糊函数，将输出参数模糊值通过解模糊函数转化为精确值，并输出控制变量。步骤11：计算多视点比特流切片选择标准。根据模糊控制器输出的控制变量以及步骤6计算得到的估计吞吐量，通过控制计算单元下一个比特流视频切片选择标准:步骤12：比特流选择。比特流选择。根据步骤11输出的多视点比特流切片选择标准，在各个比特流中选择总比特率最为接近该标准的视频切片。最后在这些所选择的视频切片中选择客观指标值，即VQM值较大的多视点比特流视频切片进行传输步骤13：视频下载。根据步骤12所做决策向服务器端申请下一视频切片，等待，直到本视频切片下载完成。步骤14：重复步骤6～13，直到下载完成本视频所有切片。本专利技术采用以上技术方案，显示出以下优点：(1)在3D-DASH应用中充分考虑到缓存对于用户的影响，进而保证了客户端不会出现缓存的上溢和下溢。(2)向用户提供质量更高的多视点视频，且保证视频切换较为平滑稳定，提高用户的体验质量。(3)将模糊控制应用到3D环境中，可以更好地保证在3D环境下用户的缓存视频可以稳定在一个安全值，同时保证最大程度的利用带宽。附图说明图1为本专利技术具体实施系统框图；图2为本专利技术具体实施方案的实现框图；图3本专利技术具体实施方式的实现流程图；图4为缓存视频余量隶属函数；图5为缓存变化量隶属函数。具体实施方案为使本专利技术的目的技术方案和优点更加清楚，下面结合附图和具体实施方案，对本专利技术进行进一步的详细描述。一种基于模糊控制的立体视频质量自适应算法，具体步骤为：步骤1：在视频自适应传输前，服务器端进行多视点比特流的资源预备，如图1系统框图，本专利技术的具体实施方案采用3个摄像机以相同的基线距离环形排列，进行视频捕捉，并采用3D-HEVC标准对捕捉到的视频流进行独立对称地编码，每个视点被编码成L个比特率播放版本(v1,v2,...,vL)。以相同的时间间隔(8秒)将每个视点视频切割成N个视频切片。打包合成多视点比特流：两视点加深度(2VD)、三视点加深度(3VD)和四视点加深度(4VD)。步骤2：媒体描述文件生成。根据步骤1得到的多视点比特流(2VD，3VD，4VD)，将各个比特流在客户端渲染的虚拟视点的VQM值，作为多视点比特流的切换的客观依据以贴近用户的真实体验。最终将服务器端比特流切片的比特率、视点数量、VQM值以及URL等属性信息汇总到媒体描述文件中。步骤3：媒体描述文件预下载。基于DASH的自适应传输机制，客户端预先向服务器发送HTTP-GET请求下载媒本文档来自技高网...

【技术保护点】
一种基于模糊控制的立体视频质量自适应算法，步骤如下：步骤1：资源预备：在多视点视频进行自适应传输前，服务器端将进行多视点比特流的资源预备，服务器将各个位置捕捉到的视频流进行独立对称地编码，并以相同的时间间隔进行视频切片切割；步骤2：媒体描述文件生成：按照预定规则对多视点比特流进行打包，并采用视频质量评价方法设置多视点比特流的自适应切换的客观参考依据，以贴近用户的真实体验，将多视点视频的属性信息进行汇总生产媒体描述文件；步骤3：媒体描述文件预下载：在视频下载前，客户端先向服务器提出申请，并下载媒体描述文件，通过解析媒体描述文件了解服务器端的码率资源分配情况；步骤4：进入初始缓存阶段：在此阶段，由于网络环境未知，客户端先向服务器申请视点数以及总比特率最低的多视点比特流视频切片，当缓存区的视频切片达到预定值时，启动自适应传输；步骤5：设计两输入一输出模糊控制器，其中两输入分别为客户端缓存中的视频余量和缓存变化量，输出为比特流选择标准的控制变量，并设计输入输出的隶属函数；步骤6：计算估计吞吐量：根据上一个视频切片下载速度，计算网络吞吐量，并将计算得到的网络吞吐量作为下一个视频切片下载期间的网络估计吞吐量；步骤7：计算缓存：根据申请的多视点比特流视频切片的总比特率、网络吞吐量以及上一个视频切片下载完成时的缓存余量，计算下一个视频切片下载完成后的缓存余量；步骤8：计算缓存的偏移量：将步骤7计算得到的缓存余量同目标缓存对比，并计算两者的差值作为当前的缓存偏移量，并将其作为系统误差输入，帮助系统收敛到最终稳定状态；步骤9：对输入进行模糊化：根据隶属函数，将步骤7，步骤8缓存余量及缓存变化量由精确数值域映射到模糊语言域，得到模糊化结果；步骤10：对输出进行解模糊：确定解模糊函数，将输出参数模糊值通过解模糊函数转化为精确值，并输出控制变量；步骤11：计算多视点比特流切片选择标准：根据模糊控制器输出的控制变量以及步骤6计算得到的估计吞吐量，控制计算单元计算下一个比特流视频切片选择标准；步骤12：比特流选择：根据步骤11输出的多视点比特流切片选择标准，在各个比特流中选择总比特率最为接近该标准的视频切片，最后在这些所选择的视频切片中选择客观指标值，选VQM值较大的多视点比特流视频切片进行传输；步骤13：视频下载：根据步骤12所做决策向服务器端申请下一视频切片，等待，直到本视频切片下载完成；步骤14：重复步骤6～13，直到下载完成本视频所有切片。...

【技术特征摘要】
1.一种基于模糊控制的立体视频质量自适应算法，步骤如下：步骤1：资源预备：在多视点视频进行自适应传输前，服务器端将进行多视点比特流的资源预备，服务器将各个位置捕捉到的视频流进行独立对称地编码，并以相同的时间间隔进行视频切片切割；步骤2：媒体描述文件生成：按照预定规则对多视点比特流进行打包，并采用视频质量评价方法设置多视点比特流的自适应切换的客观参考依据，以贴近用户的真实体验，将多视点视频的属性信息进行汇总生产媒体描述文件；步骤3：媒体描述文件预下载：在视频下载前，客户端先向服务器提出申请，并下载媒体描述文件，通过解析媒体描述文件了解服务器端的码率资源分配情况；步骤4：进入初始缓存阶段：在此阶段，由于网络环境未知，客户端先向服务器申请视点数以及总比特率最低的多视点比特流视频切片，当缓存区的视频切片达到预定值时，启动自适应传输；步骤5：设计两输入一输出模糊控制器，其中两输入分别为客户端缓存中的视频余量和缓存变化量，输出为比特流选择标准的控制变量，并设计输入输出的隶属函数；步骤6：计算估计吞吐量：根据上一个视频切片下载速度，计算网络吞吐量，并将计算得到的网络吞吐量作为下一个视频切片下载期间的网络估计吞吐量；步骤7：计算缓存：根据申请的多视点比特流视频切片的总比特率、网络吞吐量以及上一个视频切片下载完成时的缓存余量，计算下一个视频切片下载完成后的缓存余量；步骤8：计算缓存的偏移量：将步骤7计算得到的缓存余量同目标缓存对比，并计算两者的差值作为当前的缓存偏移量，并将其作为系统误差输入，帮助系统收敛到最终稳定状态；步骤9：对输入进行模糊化：根据隶属函数，将步骤7，步骤8缓存余量及缓存变化量由精确数值域映射到模糊语言域，得到模糊化结果；步骤10：对输出进行解模糊：确定解模糊函数，将输出参数模糊值通过解模糊函数转化为精确值，并输出控制变量；步骤11：计算多视点比特流切片选择标准：根据模糊控制器输出的控制变量以及步骤6计算得到的估计吞吐量，控制计算单元计算下一个比特流视频切片选择标准；步骤12：比特流选择：根据步骤11输出的多视点比特流切片选择标准，在各个比特流中选择总比特率最为接近该标准的视频切片，最后在这些所选择的视频切片中选择客观指标值，选VQM值较大的多视点比特流视频切片进行传输；步骤13：视频下载：根据步骤12所做决策向服务器端申请下一视频切片，等待，直到本视频切片下载完成；步骤14：重复步骤6～13，直到下载完成本视频所有切片。2.根据权利要求1所述的基于模糊控制的立体视频质量自适应算法，其特征在于：所述步骤2媒体描述文件...

【专利技术属性】
技术研发人员：侯永宏，薛琳，邢家明，马乐乐，王爽，杨梦頔，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12