一种基于毫米波系统的自适应鲁棒视频编码方法技术方案

本发明专利技术公开了一种基于毫米波系统的自适应鲁棒视频编码方法，包括：对视频源进行张量分解显著性提取，并结合码率分配，将视频内容分配给编码器；通过场景建模控制编码器运行：若视线路径和中继路径通畅时，采用HEVC编码器，并结合通信路径数和路径信道状态确定自适应多描述编码器的编码路数，实现视线路径和/或中继路径的视频传输；若视线路径和/或中继路径不稳定时，采用SHVC编码器，并结合路径数和路径信道状态确定自适应多描述编码器的编码路数，通过喷泉编码实现中继路径、视线路径和一阶反射路径其中两者或者三者的视频传输。本方法保障用户在恶劣的网络条件下的基本视频服务，而在较稳定的网络条件下，尽可能提高视频质量。

【技术实现步骤摘要】
一种基于毫米波系统的自适应鲁棒视频编码方法
本专利技术涉及视频处理
，更具体的说是涉及一种基于毫米波系统的自适应鲁棒视频编码方法。
技术介绍
毫米波通信为大数据量的高清视频服务提供了丰富的带宽，然而由于其天然的物理特性，网络频繁切换问题、传输路径的遮挡问题，对需要实时、持续的视频服务提出了新的挑战。现有的视频编码方案，要么在追求鲁棒性的同时，忽视了鲁棒编码对编码效率的影响，要么对网络切换的容忍度不够。通信路径内的人和物体的遮挡均会造成通信链路的长时中断问题，用户的移动和物体经过通信路径时的短时遮挡也会造成短时的通信中断和重连问题。因此，如何提供一种基于毫米波系统的自适应高效视频编码方法是本领域技术人员亟需解决的问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于毫米波系统的自适应鲁棒视频编码方法，从编码效率、编码鲁棒性之间的相互作用机理出发，提供了优质的视频服务。为了实现上述目的，本专利技术采用如下技术方案：一种基于毫米波系统的自适应鲁棒视频编码方法，包括：1)对视频源进行张量分解显著性提取，并结合码率分配，将视频内容分配给编码器；2)结合用户视频服务信息的汇聚、融合和分析，进行场景建模；3)通过场景建模控制编码器运行，具体包括以下情况：31)若视线路径和中继路径通畅时，场景建模控制SHVC编码器运行，并控制路径数和路径信道状态进而确定自适应多描述编码器的编码路数，实现视线路径和/或中继路径的视频传输；32)若视线路径和/或中继路径不稳定时，场景建模控制SHVC编码器运行，并控制路径数和路径信道状态进而确定自适应多描述编码器的编码路数，通过喷泉编码实现中继路径、视线路径和一阶反射路径其中两者或者三者的视频传输。进一步，对视频源进行张量分解显著性提取的具体步骤为：11)：读入视频序列，并通过帧差法计算视频的运动剧烈程度，得到运动剧烈程度曲线；12)：以30帧为一个GOP，计算GOP运动剧烈程度曲线；13)：将GOP运动剧烈程度曲线进行归一化，计算每个GOP的帧率下采样度，并结合运动剧烈程度曲线将帧率下采样度进行分级；14)：将视频序列逐帧分为16×16或32×32的视频块，并以视频块内像素平均值作为该块视频数据；15)：依据视频块以及分级后的帧率下采样度，通过最优秩-稀疏分解算法提取视频前景，并进行滤波处理，标注视频前景所在的视频块；16)：针对视频前景和视频背景，分配不同的码率。进一步，将帧率下采样度分为三个等级，依次为不下进行采样、每隔一帧采样一次和每隔两帧采样一次。进一步，针对运动剧烈程度曲线中运动缓慢的帧序列每隔一帧采样一次，针对运动剧烈程度曲线中运动强烈的帧序列不进行下采样，针对运动曲线中运动适中的帧序列每隔两帧采样一次。进一步，通过用户视频服务信息的汇聚、融合和分析，并根据以下公式进行场景建模:s.t.(C1):min(L),(C2):L≥max(l1,l2,…lU),(C3):N≥max(n1,n2,…nU),(C6):ε≥Var(S1,S2,…SU)其中，i表示第i个用户，U＝{1,2,...i,...U}为网络中所有用户的集合；为第i个用户视频服务指标；ni表示第i个用户接收视频时卡顿总次数；表示第i个用户接收视频时第k次卡顿的时长，与视频编码层数L以及当前网络状态ci(t)有关，k∈[0,1,…ni]；li为用户i当前接收的视频层数，表示第i个用户平均接收的视频层数，当时，用户接收到质量最好的视频；xi为0或1，表示用户i没有接收到该视频或接收了该视频；约束条件C1表示应尽量减少编码层数以降低分层编码引入的编码冗余；C2表示编码层数应大于等于用户中接收层数的最大值；C3表示网络中所有用户的卡顿次数最大值应小于等于卡顿次数的最大容忍量N；C4和C5表示网络中用户的卡顿总时长的最大值，以及单次卡顿的最大时长应小于等于最大总卡顿时长容忍量T1和最大单次卡顿时长容忍量T2；C6表示网络中所有用户视频服务指标的方差应小于等于某一门限ε。经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于毫米波系统的自适应鲁棒视频编码方法，通过用户视频服务信息的汇聚、融合和分析进行场景建模，通过场景建模控制编码器运行，当视线路径和中继路径通畅时，采用HEVC编码器，并结合通信路径数、通信路径信道状态，确定多描述编码的编码路数，实现了视频的多路径传输，避免了单一路径传输被遮挡导致的通信中断问题；当视线路径和/或中继路径不稳定或不通畅时，融合SHVC编码、多描述编码、喷泉编码，并借助一阶反射路径辅助视频传输，保障了基本的视频服务，并且借鉴喷泉编码的思想，为视频信号提供前向纠错无需重传的能力，避免短时中断和反复重连造成的重发延迟，保障视频的流畅传输。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1附图为本专利技术提供的一种基于毫米波系统的自适应鲁棒编码方法视频传输流程图。图2附图为本专利技术提供的张量分解显著性提取流程图。图3附图为本专利技术提供的张量分解显著性提取效果图。图4附图为本专利技术实施例1的室内毫米波通信路径示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例公开了一种基于毫米波系统的自适应鲁棒视频编码方法，参考附图1，包括：1)对视频源进行张量分解显著性提取，并结合码率分配，将视频内容分配给编码器；2)通过用户视频服务信息的汇聚、融合和分析，进行场景建模；3)通过场景建模控制编码器运行，具体包括以下情况：31)若视线路径和中继路径通畅时，场景建模控制HEVC编码器运行，并控制通信路径数和路径信道状态进而确定自适应多描述编码器的编码路数，实现视线路径和/或中继路径的视频传输；32)若视线路径和/或中继路径不稳定时，场景建模控制SHVC编码器运行，并控制路径数和路径信道状态进而确定自适应多描述编码器的编码路数，通过喷泉编码实现中继路径、视线路径和一阶反射路径其中两者或者三者的视频传输。本专利技术在高离网率高随机性的毫米波通信系统中传输海量的视频数据，通过张量分解显著性提取快速准确的提取视频显著性区域，并以可伸缩视频编码的方式优先传输视频的主要信息，保障用户在恶劣的网络条件下的基本视频服务，而在较稳定的网络条件下，尽可能提高视频质量。为进一步优化上述技术方案，对视频源进行张量分解显著性提取的具体步骤为：11)：读入视频序列，并通过帧差法计算视频的运动剧烈程度，得到运动剧烈程度曲线；12)：以30、60或90帧为一个GOP，计算GOP运动剧烈程度曲线；13)：将GOP运动剧烈程度曲线进行归一化，依次计算每个GOP的帧率下采样度，并结合运动剧烈程度曲线将帧率下采样度分为三个等级，依次为针对运动剧烈程度曲线中运动缓慢的帧序列每隔一帧采样一次，针对运动剧烈程度曲线中运本文档来自技高网...

【技术保护点】
1.一种基于毫米波系统的自适应鲁棒视频编码方法，其特征在于，包括：1)对视频源进行张量分解显著性提取，并结合码率分配，将视频内容分配给编码器；2)结合用户视频服务信息的汇聚、融合和分析，进行场景建模；3)通过场景建模控制编码器运行，具体包括以下情况：31)若视线路径和中继路径均通畅时，场景建模控制HEVC编码器运行，并控制通信路径数和路径信道状态进而确定自适应多描述编码器的编码路数，实现视线路径和/或中继路径的视频传输；32)若视线路径和/或中继路径不稳定时，场景建模控制SHVC编码器运行，并控制路径数和路径信道状态进而确定自适应多描述编码器的编码路数，通过喷泉编码实现中继路径、视线路径和一阶反射路径其中两者或者三者的视频传输。

【技术特征摘要】
1.一种基于毫米波系统的自适应鲁棒视频编码方法，其特征在于，包括：1)对视频源进行张量分解显著性提取，并结合码率分配，将视频内容分配给编码器；2)结合用户视频服务信息的汇聚、融合和分析，进行场景建模；3)通过场景建模控制编码器运行，具体包括以下情况：31)若视线路径和中继路径均通畅时，场景建模控制HEVC编码器运行，并控制通信路径数和路径信道状态进而确定自适应多描述编码器的编码路数，实现视线路径和/或中继路径的视频传输；32)若视线路径和/或中继路径不稳定时，场景建模控制SHVC编码器运行，并控制路径数和路径信道状态进而确定自适应多描述编码器的编码路数，通过喷泉编码实现中继路径、视线路径和一阶反射路径其中两者或者三者的视频传输。2.根据权利要求1所述的一种基于毫米波系统的自适应鲁棒视频编码方法，其特征在于，对视频源进行张量分解显著性提取的具体步骤为：11)：读入视频序列，并通过帧差法计算视频的运动剧烈程度，得到运动剧烈程度曲线；12)：以30帧为一个GOP，计算GOP运动剧烈程度曲线；13)：将GOP运动剧烈程度曲线进行归一化，计算每个GOP的帧率下采样度，并结合运动剧烈程度曲线将帧率下采样度进行分级；14)：将视频序列逐帧分为16×16或32×32的视频块，并以视频块内像素平均值作为该块视频数据；15)：依据视频块以及分级后的帧率下采样度，通过最优秩-稀疏分解算法提取视频前景，并进行滤波处理，标注视频前景所在的视频块；16)：针对视频前景和视频背景，分配不同的码率。3.根据权利要求2所述的一种基于毫米波系统的自适应鲁棒视频编码方法，其特征在于，将帧率下采样度分为三个等级，依次为不进...

【专利技术属性】
技术研发人员：庄文芹，李海波，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32