一种基于率失真优化和丢帧预测的长参考帧的选取方法技术

本发明专利技术公开了一种基于率失真优化和丢帧预测的长参考帧的选取方法，涉及视频编解码技术领域。该方法包括以下步骤：步骤1：通过比较重建帧的已解概率和其与当前编码真之间畸变大小的合函数来确定目标优化率失真函数；步骤2：对距离当前编码帧步长为x的已发送的参考帧被丢失的概率的预测，与丢帧概率相乘构成目标优化率失真函数的第一项；步骤3：计算使用距离当前编码帧的某一帧作为参考后，两帧之间的畸变大小，与拉格朗日乘数λ相乘，构成目标优化率失真函数的第二项；步骤4：通过找到使目标优化率失真函数最小的步长值，获得最优参考帧。本发明专利技术能够降低所选参考帧丢失可能导致的失真，同时兼顾编码效率，从而提升用户体验。

A Method for Selecting Long Reference Frames Based on Rate Distortion Optimization and Frame Loss Prediction

The invention discloses a method for selecting a long reference frame based on rate distortion optimization and frame loss prediction, which relates to the technical field of video coding and decoding. The method includes the following steps: step 1: to determine the target optimization rate-distortion function by comparing the resolved probability of the reconstructed frame with the combined function of the distortion magnitude between the reconstructed frame and the current coding truth; step 2: to predict the loss probability of the transmitted reference frame whose step size is x from the current coding frame, and multiply the loss probability to form the first term of the target optimization rate-distortion function; The second term of the target optimization rate-distortion function is calculated by multiplying the distortion between two frames with the Lagrange multiplier lambda after using a frame from the current coded frame as a reference. Step 4: The optimal reference frame is obtained by finding the step size that minimizes the target optimization rate-distortion function. The invention can reduce the distortion caused by the loss of the selected reference frame and take into account the coding efficiency so as to improve the user experience.

【技术实现步骤摘要】
一种基于率失真优化和丢帧预测的长参考帧的选取方法
本专利技术涉及视频编解码
，尤其是涉及一种基于率失真优化和丢帧预测的长参考帧的选取方法。
技术介绍
视频通信是现代通信常用的通信方式，它出现在我们生活的各个方面，如网络直播，视频新闻，视频会议等。视频信息的特点就是直观且信息量大，对于像直播或是像视频会议这样的实时视频系统来说，如何保证视频流实时且高效地传输极为重要。为了保证实时播放中的低延迟性，该类视频中的帧类型通常只有两种I和P，不使用B帧。现有的被广泛应用的编解码技术如H264或者HEVC，在进行帧间预测编码来恢复重建图像时，通常选取的是前一帧作为参考帧来编码当前帧。目前使用的压缩标准在采用帧间编码预测时，一到两帧已重建图像作为参考帧用于与运动估计来编码当前帧。尤其在实时会议系统中我们通常选择参考上一帧，该方法的优点是搜索时间短、算法复杂度低、延时较低，但这种参考帧选取方法的缺点是在当前帧发生巨大的场景变换或是当前帧预参考的上一帧在传输中发生丢包，无法正确解码的情况下，会选择重编I帧，开启新的GOP进行恢复。因为重编I帧所需的比特数要远远大于其他帧类型，从而导致码率突增，影响编码效率，这时我们需要使用长参考帧作为丢帧恢复的解决方案。长参考帧的定义是将已经被接收端收到且已解的关键帧记录到参考帧列表中，当编码端收到丢包反馈或是检测到场景切换时，触发长参考帧的使用。这样一方面可以防止错误大范围地蔓延导致解码端不可解的状况的发生，另一方面可以防止重编I帧带了的巨大比特消耗。参考帧的选取实际上是一个消耗与效率的妥协，消耗包括存储消耗和搜索消耗，而效率则是使用多参考帧带来的压缩效率的提升。就国内普遍使用的H264压缩算法来说，国际标准化协会规定了在做帧间预测时，参考帧列表的最大长度不超过15帧。我们可以充分地在编码端缓存15帧作为参考帧，根据比较所有参考帧与当前编码帧之间畸变值的大小选择最优的参考帧，但这样做的成本就是系统所需的存储空间增大，搜索查找最优帧的运算工作量增大，延时增加，影响码流在实时传输系统中的时效性。同时，长参考帧的选取可以结合传输错误控制机制，充分利用传输机制中的反馈信息来进行优化，提高用户体验。在丢包发生后，在标准传输协议中一般采用自动重传请求(ARQ)和前向错误纠正(FEC)两种方法进行错误控制。视频接收端检测出丢包时，ARQ机制会向发送端发送重传请求(NACK),请求发送端重传丢失的数据包。自动重传请求恢复是简便且安全的帧恢复方法，当然重传也会增加视频延时，影响用户体验。当数据传输线路特别差时，自动重传恢复甚至可能会发生死锁现象。另一种方法是FEC，FEC通过增加冗余数据提供对抗包丢失的有效途径，因为无需重传或反通道，所以该方法常用于实时或多播应用，但是如果突发丢包长度超过FEC的纠错能力时，FEC的性能可能很差。此外，冗余包通常要占用较多的存储空间，在传输时需要更大的带宽。ARQ和FEC可以降低网络丢包对视频质量造成的负面影响，但由于延时和带宽等的限制，在实际应用中还是需要考虑如何进一步降低丢包对视频体验的负面影响。如何将长参考帧的选取和网络丢包信息结合起来，预测出最优长参考帧是急需解决的关键问题。
技术实现思路
为了解决上述问题，本专利技术提出了一种基于率失真优化和丢帧预测的长参考帧的选取方法，通过丢包率对当前编码帧之前的若干帧已被解码端收到且已经被解码的概率的预测以及当前编码帧与之前的某帧之间的畸变或残差的预测，借助概率和畸变估计选择率失真综合最优的长参考帧，降低所选参考帧丢失可能导致的失真，同时兼顾编码效率，从而提升用户体验。为了实现上述目的，本专利技术采用如下技术方案：一种基于率失真优化和丢帧预测的长参考帧的选取方法，包括以下步骤：步骤1：首先考虑端对端的收发方式，即发端通过预设多参考帧的使用，然后将短参考与长参考的优先级进行判断，通过比较重建帧的已解概率和其与当前编码真之间畸变大小的合函数来确定目标优化率失真函数；步骤2：对距离当前编码帧步长为x的已发送的参考帧被丢失的概率的预测，与丢帧概率相乘构成目标优化率失真函数的第一项；步骤3：计算使用距离当前编码帧的某一帧作为参考后，两帧之间的畸变大小，与拉格朗日乘数λ相乘，构成目标优化率失真函数的第二项；步骤4：通过找到使目标优化率失真函数最小的步长值，获得最优参考帧。进一步地，作为优选技术方案，所述步骤1中的目标优化率失真函数为：dopt＝argmin{Dd+λ·Rd}其中，dopt表示最优步长值；Dd表示的是如果选取距离当前帧步长为d的帧被选用为参考帧可能会产生的失真，此失真与丢包概率和实时RTT值的预测有关；Rd表示的是选用距离当前编码帧步长为d的帧为长参考帧时当前编码帧所需要的编码码率；λ是拉格朗日乘数。进一步地，作为优选技术方案，所述步骤2的具体过程为：步骤2-1：确定距离当前帧步长为d的帧被选用为参考帧可能会产生的失真Dd表达式：Dd＝P(Y|X)×Fs，其中，X表示属性集；Y表示类变量；P(Y|X)表示在没有收到该帧NACK请求的情况下发现丢帧的概率；FS表示丢帧后对GOP序列产生失真损伤估计；步骤2-2：利用贝叶斯定理将步骤1中的P(Y|X)计算出来，贝叶斯公式表达为：其中，P(X)表示在传输中NACK没有返回的概率；P(Y)表示传输过程中发生丢帧的概率；P(X|Y)表示在已知丢帧的情况下同时收到NACK的概率；步骤2-3：计算选取距离当前帧步长为d的帧被选用为参考帧可能会产生的失真Dd：其中，FS表示的是当前帧的确定步长的帧发生丢包以后造成的错误蔓延。进一步地，作为优选技术方案，所述步骤2-2中，P(X)根据实时的网络环境监控，假设当前发送100个包，其中收到N个NACK返回值，那么没有收到NACK的概率为：进一步地，作为优选技术方案，所述步骤2-2中，P(X|Y)的计算过程为：步骤2-2-1：计算帧与帧之间的间隔PO，其表达式为：步骤2-2-2：计算距离当前编码帧确定步长内在未收到NACK返回时可以确定该帧已经收到并解码的概率PSUCCESS，其表达式为：其中，RTT表示数据包经过传输链路到达接受端返回信息到发送端的时长；P(RTT)表示随着网络变化关于RTT时长的概率密度函数；步骤2-2-3：求解P(X|Y)，其表达式为：P(X|Y)＝1-Psuccess。进一步地，作为优选技术方案，所述步骤2-2-2中，RTT的分布概率服从长尾概率分布函数。进一步地，作为优选技术方案，所述步骤3的具体过程为：步骤3-1：确定每次丢包造成序列的期望受损长度VELFL的表达式为：其中，LE表示每次丢包造成的序列受损长度；PES表示序列中丢帧模式的条件概率，PF表示丢包帧的概率，根据洛必达法则，当PF趋近于0时，VELFL接近于0；当PF趋近于1时，VELFL接近于L；步骤3-2：计算视频序列单位时间内的平均丢包率，其表达式为：其中，VAFLF_T是单位时间内的平均丢包帧频率，T为某一时间段，NF为T时间内视频的总帧数，PF为丢包帧的概率，FR为视频的帧率，当丢包时间符合独立分布时，每个数据包丢失的概率都相同，即等于丢包率；步骤3-3：计算平均包含数VPpF和丢包帧概率PF，其表达式分别为：其中，NP表示T时间内视频的总包数本文档来自技高网...

【技术保护点】
1.一种基于率失真优化和丢帧预测的长参考帧的选取方法，其特征在于，包括以下步骤：步骤1：首先考虑端对端的收发方式，即发端通过预设多参考帧的使用，然后将短参考与长参考的优先级进行判断，通过比较重建帧的已解概率和其与当前编码真之间畸变大小的合函数来确定目标优化率失真函数；步骤2：对距离当前编码帧步长为x的已发送的参考帧被丢失的概率的预测，与丢帧概率相乘构成目标优化率失真函数的第一项；步骤3：计算使用距离当前编码帧的某一帧作为参考后，两帧之间的畸变大小，与拉格朗日乘数λ相乘，构成目标优化率失真函数的第二项；步骤4：通过找到使目标优化率失真函数最小的步长值，获得最优参考帧。

【技术特征摘要】
1.一种基于率失真优化和丢帧预测的长参考帧的选取方法，其特征在于，包括以下步骤：步骤1：首先考虑端对端的收发方式，即发端通过预设多参考帧的使用，然后将短参考与长参考的优先级进行判断，通过比较重建帧的已解概率和其与当前编码真之间畸变大小的合函数来确定目标优化率失真函数；步骤2：对距离当前编码帧步长为x的已发送的参考帧被丢失的概率的预测，与丢帧概率相乘构成目标优化率失真函数的第一项；步骤3：计算使用距离当前编码帧的某一帧作为参考后，两帧之间的畸变大小，与拉格朗日乘数λ相乘，构成目标优化率失真函数的第二项；步骤4：通过找到使目标优化率失真函数最小的步长值，获得最优参考帧。2.根据权利要求1所述的一种基于率失真优化和丢帧预测的长参考帧的选取方法，其特征在于，所述步骤1中的目标优化率失真函数为：dopt＝argmin{Dd+λ·Rd}其中，dopt表示最优步长值；Dd表示的是如果选取距离当前帧步长为d的帧被选用为参考帧可能会产生的失真，此失真与丢包概率和实时RTT值的预测有关；Rd表示的是选用距离当前编码帧步长为d的帧为长参考帧时当前编码帧所需要的编码码率；λ是拉格朗日乘数。3.根据权利要求2所述的一种基于率失真优化和丢帧预测的长参考帧的选取方法，其特征在于，所述步骤2的具体过程为：步骤2-1：确定距离当前帧步长为d的帧被选用为参考帧可能会产生的失真Dd表达式：Dd＝P(Y|X)×Fs，其中，X表示属性集；Y表示类变量；P(Y|X)表示在没有收到该帧NACK请求的情况下发现丢帧的概率；FS表示丢帧后对GOP序列产生失真损伤估计；步骤2-2：利用贝叶斯定理将步骤1中的P(Y|X)计算出来，贝叶斯公式表达为：其中，P(X)表示在传输中NACK没有返回的概率；P(Y)表示传输过程中发生丢帧的概率；P(X|Y)表示在已知丢帧的情况下同时收到NACK的概率；步骤2-3：计算选取距离当前帧步长为d的帧被选用为参考帧可能会产生的失真Dd：其中，FS表示的是当前帧的确定步长的帧发生丢包以后造成的错误蔓延。4.根据权利要求3所述的一种基于率失真优化和丢帧预测的长参考帧的选取方法，其特征在于，所述步骤2-2中，P(X)根据实时的网络环境监控，假设当前发送100个包，其中收到N个NACK返回值，...

【专利技术属性】
技术研发人员：陈明宇，冯文澜，
申请(专利权)人：成都随锐云科技有限公司，随锐科技股份有限公司，
类型：发明
国别省市：四川,51