基于深度神经网络的多功能视频快速编码方法技术

本发明专利技术涉及一种基于深度神经网络的多功能视频快速编码方法。首先，通过研究视频内容的时空域相关性，使用反向传播（BP）神经网络对CU的划分深度进行预测；然后，使用统计概率对CU的划分模式进行选择；最后，在编码时跳过不必要的划分模式以节省编码时间，从而达到保证编码器编码性能不变的情况下降低时间复杂度的目的。

A fast multi-function video coding method based on deep neural network

【技术实现步骤摘要】
基于深度神经网络的多功能视频快速编码方法
本专利技术属于视频编码
，具体涉及一种基于深度神经网络的多功能视频快速编码方法，以达到在不影响编码器编码性能的前提下，实现大幅度节省编码时间的目的。
技术介绍
新一代多功能视频编码标准(VVC)采用了更多的技术来提升压缩率，以解决急剧增长的视频数据与有限带宽的网络传输环境的冲突问题。但是在提升编码效率的同时也增加了编码的计算复杂度。在VVC编码过程中，视频图像编码时会根据内容特征划分为不同大小的块(编码单元(CU))以提升压缩效率，而确定视频图像最佳分块方式会耗费大量的编码时间。因此,如果能优化编码单元的划分过程将极大提高编码器的编码效率。但目前适用于VVC的帧内快速编码算法还不够完善。针对这种现象,本专利技术提出了基于深度神经网络的多功能视频编码快速算法，并通过实验结果表明，在不影响编码器编码性能的情况下，与原始编码器相比，该算法可以节省平均59.82％的编码时间。
技术实现思路
本专利技术的目的在于提供一种基于深度神经网络的多功能视频快速编码方法，该方法较传统编码方法节省了编码时间。为实现上述目的，本专利技术的技术方案是：一种基于深度神经网络的多功能视频快速编码方法，包括如下步骤：步骤S1、判断参考深度单元个数是否达到预设值，若是执行步骤S2；步骤S2、基于BP神经网络对当前编码单元CU进行深度图预测，再根据深度图信息确定CU的划分深度；步骤S3、基于概率模型，统计已编码CU最佳划分模式次数占比，依照概率从大到小确定当前CU划分模式预测顺序；步骤S4、计算率失真RD代价值并根据相应代价判断规律，基于前提决策条件跳过不必要预测模式，提前终止划分过程，并确定当前CU的最佳预测模式。在本专利技术一实施例中，所述步骤S1具体实现为：预设值个数为25，若参考深度单元个数小于25则采用原始编码流程对当前编码单元CU进行编码，否则执行步骤S2。在本专利技术一实施例中，所述步骤S2具体实现为：步骤S21、用C(x,y,t)表示视频第t帧中左上角像素值坐标为(x,y)的参考深度图单元，C(x,y,t)可表示如下：其中，Δx和Δy表示-2到2的整数；上式表示，如果当前帧的参考深度图单元存在，就使用其为参考深度图单元；否则使用前一帧的相邻深度图单元作为参考深度图单元；步骤S22、利用BP神经网络预测，BP神经网络模型的定义如下：Zl＝Act(WlXl+Bl)其中，Zl、Wl、Xl、Bl分别表示BP神经网络第l层的输出、权重、输入及偏置项；Act表示激活函数；步骤S23、在网络训练时采用交叉熵为损失函数，公式如下：其中，p(d)和q(d)分别表示训练标签向量和BP神经网络的输出结果向量，d表示深度值；q(d)中概率最高的值被选为参考深度图单元的预测值U，定义如下：步骤S24、CU的预测深度值PD可用如下公式表示如下：其中，Round(*)表示四舍五入函数，N和Un分别表示该CU所包含的参考深度单元数目及该CU所包含的第n个深度单元的预测值。在本专利技术一实施例中，所述激活函数Act采用ReLU作为激活函数。在本专利技术一实施例中，所述步骤S4具体实现为：步骤S41、计算当前编码模式RD代价值；步骤S42、基于前提决策条件判断跳过不必要划分模式：前提决策条件判断表示如下：Cmin＜Ck其中，Ps表示第s个测试的划分模式成为最佳模式的次数占比；k表示第k个测试的划分模式；Ck表示第k个划分模式的RD代价值；Cmin表示在测试第k个划分模式前的CU的最小RD代价值；α为阈值，范围为0到1。在本专利技术一实施例中，所述α取0.5。相较于现有技术，本专利技术具有以下有益效果：本专利技术在不影响编码器编码性能的前提下，实现了大幅度降低编码时间的效果，具有非常广泛的应用场景。附图说明图1为本专利技术的方法流程图。图2为CTU划分。图3为划分深度信息。图4为深度图信息。图5为BP神经网络模型。具体实施方式下面结合附图，对本专利技术的技术方案进行具体说明。本专利技术提供了一种基于深度神经网络的多功能视频快速编码方法，包括如下步骤：步骤S1、判断参考深度单元个数是否达到预设值，若是执行步骤S2；步骤S2、基于BP神经网络(反向传播神经网络)对当前编码单元CU进行深度图预测，再根据深度图信息确定CU的划分深度；步骤S3、基于概率模型，统计已编码CU最佳划分模式次数占比，依照概率从大到小确定当前CU划分模式预测顺序；步骤S4、计算率失真RD代价值并根据相应代价判断规律，基于前提决策条件跳过不必要预测模式，提前终止划分过程，并确定当前CU的最佳预测模式。以下为本专利技术一具体实施例，。本实施提供基于深度神经网络的多功能视频快速编码方法，整体工作流程如图1所示，包括以下步骤：步骤S1、判断参考深度单元个数是否充足决定是否采用快速算法；步骤S2、基于BP神经网络对当前CU进行深度图预测，再根据深度图信息确定CU的划分深度；步骤S3、基于概率模型，统计已编码CU最佳划分模式次数占比，依照概率从大到小确定当前CU划分模式预测顺序；步骤S4、计算RD代价值并根据相应代价判断规律，基于前提决策条件跳过不必要预测模式，提前终止划分过程，并确定当前CU的最佳预测模式。在本实施例中，所述基于参考的深度单元个数充分性对本专利技术方法的影响考虑，如果参考深度单元个数充足，本专利技术方法效果明显；反之，样本个数不足时，本专利技术方法预测效果将不够明显，具体包括以下步骤：步骤S1、本专利技术通过实验验证确定参考深度单元个数以25为指标，当参考单元不足25个时，按照原始编码流程对当前CU块进行编码；反之采用本专利技术方法。在本实施例中，VVC采用了基于块的混合编码框架。所有输入编码器的图像帧都会先划分为相同大小的单元，称为CTU(树形编码单元)。CTU进一步划分为多个CU，以适应编码单元的局部图像特征。在编码过程中，CU会遍历所有可能的划分模式，并计算不同划分模式的RD代价值，最终选定RD代价值最小的划分模式作为最佳划分模式。划分后的CU还可以继续划分为更小的CU块，直到不能划分为止。与HEVC中采用的四叉树划分不同，VVC为了提升压缩效率，在对CU进行划分时采用了更为复杂的二叉、三叉、四叉树划分结构，如图2，CTU划分示例所示；VVC的CTU的大小为128×128，CU的深度范围为0到6，划分深度信息如图3所示。每个CU最多要遍历5种不同的划分模式，包括二叉树水平划分、二叉树垂直划分、三叉树水平划分、三叉树垂直划分、四叉树划分。本专利技术使用BP神经网络如图5所示对CU进行深度图预测，再通过深度图信息确定CU的划分深度。其中CU的深度图指CU实际划分深度信息的矩阵表示，深度图信息如图4所示。步骤S21、用C(x,y,t)表示视本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络的多功能视频快速编码方法，其特征在于，包括如下步骤：/n步骤S1、判断参考深度单元个数是否达到预设值，若是执行步骤S2；/n步骤S2、基于BP神经网络对当前编码单元CU进行深度图预测，再根据深度图信息确定CU的划分深度；/n步骤S3、基于概率模型，统计已编码CU最佳划分模式次数占比，依照概率从大到小确定当前CU划分模式预测顺序；/n步骤S4、计算率失真RD代价值并根据相应代价判断规律，基于前提决策条件跳过不必要预测模式，提前终止划分过程，并确定当前CU的最佳预测模式。/n

【技术特征摘要】
1.一种基于深度神经网络的多功能视频快速编码方法，其特征在于，包括如下步骤：
步骤S1、判断参考深度单元个数是否达到预设值，若是执行步骤S2；
步骤S2、基于BP神经网络对当前编码单元CU进行深度图预测，再根据深度图信息确定CU的划分深度；
步骤S3、基于概率模型，统计已编码CU最佳划分模式次数占比，依照概率从大到小确定当前CU划分模式预测顺序；
步骤S4、计算率失真RD代价值并根据相应代价判断规律，基于前提决策条件跳过不必要预测模式，提前终止划分过程，并确定当前CU的最佳预测模式。


2.根据权利要求1所述的基于深度神经网络的多功能视频快速编码方法，其特征在于，所述步骤S1具体实现为：预设值个数为25，若参考深度单元个数小于25则采用原始编码流程对当前编码单元CU进行编码，否则执行步骤S2。


3.根据权利要求1所述的基于深度神经网络的多功能视频快速编码方法，其特征在于，所述步骤S2具体实现为：
步骤S21、用C(x,y,t)表示视频第t帧中左上角像素值坐标为(x,y)的参考深度图单元，C(x,y,t)可表示如下：



其中，Δx和Δy表示-2到2的整数；上式表示，如果当前帧的参考深度图单元存在，就使用其为参考深度图单元；否则使用前一帧的相邻深度图单元作为参考深度图单元；
步骤S22、利用BP神经网络预测，BP神经网络模型的定义如下：
Zl＝Act(WlXl+Bl)
其中，Zl、Wl、Xl、Bl分别表示BP...

【专利技术属性】
技术研发人员：赵铁松，王楷，徐艺文，吴陆狄，郑权斐，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35