一种三维视频帧内深度图编码单元划分方法及装置制造方法及图纸

本发明专利技术公开了一种三维视频帧内深度图编码单元划分方法及装置，首先，基于Swin Transformer模块和卷积神经网络构建编码树单元划分结构预测网络模块；其次，在编码器帧内预测中加入划分结构预测模块，在编码中获取当前深度图待编码块原始像素来预测其划分深度。利用Swin Transformer模块构建划分结构，捕捉深度图编码树单元的全局信息，弥补CNN不能很好提取全局信息的缺陷，预测当前编码树单元的最优划分结构，编码器只需要传输深度图就可以得到各个编码树单元的最优划分结构，在保证编码质量基本不变的情况下，大幅降低了3D

【技术实现步骤摘要】
一种三维视频帧内深度图编码单元划分方法及装置


[0001]本专利技术属于基于神经网络的视频编码
，具体涉及一种三维视频帧内深度图编码单元划分方法及装置。

技术介绍

[0002]近年来，随着三维(Three Dimensional，3D)视频服务的快速发展，3D视频进入千家万户。3D视频提供了一种立体沉浸式的观看体验，通过3D眼镜将不同的视频呈现给观看者，来实现3D场景感知。同时，3D视频也给视频编码技术提出了更高的要求。为了应对这一挑战，国际联合视频编码小组(the Joint Collaborative Team on Video Coding，JCT
‑
VC)开发了三维高效视频编码标准(3D
‑
High Efficiency Video Coding，3D
‑
HEVC)。3D
‑
HEVC一般包含2～3个视点，每个视点都有一个纹理图(Texture map)和一个对应的深度图(Depth map)。深度图是由灰度图像表示，它捕获了摄像机与实际物体之间的距离，能够利用基于深度图的虚拟视点合成技术(Depth
‑
Image
‑
Based Rendereing,DIBR)合成虚拟图像。不同于纹理图，深度图存在大量的平坦区域以及十分陡峭的边界，为区别于纹理图的特征，3D
‑
HEVC提供了众多复杂的深度图编码技术，导致3D
‑
HEVC编码复杂度提升。
[0003]帧内预测是视频编码标准HEVC/AV1/AVS中最核心的组成部分。在3D
‑
HEVC深度图帧内编码中采用的HEVC中基于四叉树的编码树单元结构。编码树单元是一个基本单元，它被分成若干个编码单元，这些编码单元可以用递归的四叉树结构表示。这些编码单元可以表示为64
×
64(DL＝0)到8
×
8(DL＝3)的不同正方形大小或深度级别(DL)。3D
‑
HEVC测试模型(HTM)将视频序列的每一帧分割成最大编码单元(64
×
64)，然后利用递归的方式将每一层的编码单元分区成4个子单元，直至DL为3。为了决定出当前编码树单元最优的分区结构，从根节点开始，需要比较未分割的编码单元率失真代价和分割成4个编码单元后的率失真代价总和，如果率失真代价中，“RD
‑
cost(DL＝n)>RD
‑
cost(DL＝n+1)，n＝0，1，2”，则“深度＝n”的编码单元需要分割成4个子编码单元，反之则终止分割。这将造成深度图编码复杂度的大量增长，因此，有必要降低3D
‑
HEVC中深度图编码单元分区的复杂度。

技术实现思路

[0004]为解决现有技术的不足，实现提升视频编码中帧内预测编码效率的目的，本专利技术采用如下的技术方案：
[0005]一种深度图编码单元划分方法，包括如下步骤：
[0006]步骤S1：构建划分结构预测网络，对深度图编码单元进行分区预测；
[0007]步骤S2：获取待划分的深度图编码单元，通过划分结构预测网络，得到预测的最优划分结构，比较深度图编码单元的当前深度与预测的最优划分结构的深度，当深度相同时，对当前深度图编码单元的率失真代价进行计算，否则，不进行计算，基于计算的率失真代价，确定当前深度图编码单元的最优划分结构。
[0008]进一步地，所述步骤S2中，若当前深度小于预测深度，则跳过当前深度的率失真代
价计算，继续进行下一深度的搜索；若当前深度大于预测深度，则跳过当前深度的率失真代价计算的同时，停止进一步的深度搜索，完成当前深度图编码单元划分。
[0009]进一步地，所述步骤S1包括如下步骤：
[0010]步骤S1.1：特征提取，获取深度图编码单元原始像素灰度图并进行分块，对每个像素的通道数据进行线性变换，然后通过Swin Transformer移位窗口变换器提取特征，基于特征对应的分块进行合并，得到第一特征；对深度图编码单元原始像素灰度图基于卷积组进行特征提取，得到第二特征；将第一特征与第二特征进行融合；
[0011]步骤S1.2：将融合的特征进行分区预测，得到预测的分区图。
[0012]Swin Transformer移位窗口变换器通过多层自注意力机制和前馈神经网络层，能够在输入特征图中捕捉全局和局部的上下文信息，从而有效地提取深度图中的边缘信息，以便在后续的步骤中进行更精确的预测。
[0013]进一步地，所述步骤S1中，构建多尺度L1损失函数MS
‑
L1，用于划分结构预测的训练，预测出的分区图像素在0
‑
3之间：
[0014][0015][0016]其中，MaxPool
k=i
和MinPool
k＝i
分别表示内核大小为i的最大池化和最小池化，y表示网络输出和训练的划分结果，表示真实的划分结果，由于深度图具有局部一致性的特点，最大和最小池化的目的是为了加强本地一致性，对L1进行了定义，A
k=i
、B
k=i
分别表示L1损失函数中对应的MaxPool
k=i
(y)、或MinPool
k=i
(y)、
[0017]一种三维视频帧内深度图编码单元划分方法，基于所述的一种深度图编码单元划分方法，其中所述步骤S2包括如下步骤：
[0018]步骤S2.1：基于预编码通测标准提供的视频序列，提取深度图编码单元和最优划分结构作为训练数据，用于训练所述划分结构预测网络；
[0019]步骤S2.2：从深度图视频中逐帧读取需要编码的深度图，将其划分为深度图编码单元，并通过训练好的划分结构预测网络，得到预测的最优划分结构；
[0020]步骤S2.3：从深度图中获取待编码的深度图编码单元及其预测的最优划分结构的深度，比较深度图编码单元的当前深度与预测的最优划分结构的深度，当深度相同时，对当前深度图编码单元的率失真代价进行计算，否则，不进行计算；
[0021]步骤S2.4：基于计算的率失真代价，得到当前深度图编码单元的最优划分结构，返回步骤S2.3，直至得到所有深度图视频对应的深度图编码单元最优划分结构。
[0022]进一步地，所述步骤S2.3中，若当前深度小于预测深度，则跳过当前深度的率失真代价计算，继续进行下一深度的搜索；若当前深度大于预测深度，则跳过当前深度的率失真代价计算的同时，停止进一步的深度搜索，完成当前深度图编码单元划分。
[0023]一种三维视频帧内深度图编码单元划分装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现所述一种三维视频帧内深度图编码单元划分方法。
[0024]一种深度图编码单元划分装置，包括划分结构预测模块和最优划分结构生成模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度图编码单元划分方法，其特征在于包括如下步骤：步骤S1：构建划分结构预测网络，对深度图编码单元进行分区预测；步骤S2：获取待划分的深度图编码单元，通过划分结构预测网络，得到预测的最优划分结构，比较深度图编码单元的当前深度与预测的最优划分结构的深度，当深度相同时，对当前深度图编码单元的率失真代价进行计算，否则，不进行计算，基于计算的率失真代价，确定当前深度图编码单元的最优划分结构。2.根据权利要求1所述的一种深度图编码单元划分方法，其特征在于：所述步骤S2中，若当前深度小于预测深度，则跳过当前深度的率失真代价计算，继续进行下一深度的搜索；若当前深度大于预测深度，则跳过当前深度的率失真代价计算的同时，停止进一步的深度搜索，完成当前深度图编码单元划分。3.根据权利要求1所述的一种深度图编码单元划分方法，其特征在于：所述步骤S1包括如下步骤：步骤S1.1：特征提取，获取深度图编码单元并进行分块，对每个像素的通道数据进行线性变换，然后通过移位窗口变换器提取特征，基于特征对应的分块进行合并，得到第一特征；对深度图编码单元基于卷积组进行特征提取，得到第二特征；将第一特征与第二特征进行融合；步骤S1.2：将融合的特征进行分区预测，得到预测的分区图。4.根据权利要求1所述的一种深度图编码单元划分方法，其特征在于：所述步骤S1中，构建多尺度L1损失函数MS
‑
L1，用于划分结构预测的训练：用于划分结构预测的训练：其中，MaxPool
k＝i
和MinPool
k＝i
分别表示内核大小为i的最大池化和最小池化，y表示网络输出和训练的划分结果，表示真实的划分结果，对L1进行了定义，A
k＝i
、B
k＝i
分别表示L1损失函数中对应的MaxPool
k＝i
(y)、或MinPool
k＝i
(y)、5.一种三维视频帧内深度图编码单元划分方法，其特征在于：基于权利要求1所述的一种深度图编码单元划分方法，其中所述步骤S2包括如下步骤：步骤S2.1：基于预编码通测标准提供的视频序列，提取深度图编码单元和最优划分结构作为训练数据，用于训练所述划分结构预测网络；步骤S2.2：从深度图视频中逐帧读取需要编码的深度图，将其划分为深度图编码单元，并通过训练好的划分结...

【专利技术属性】
技术研发人员：宋俊锋，龚鑫铠，季苏华，叶振，王国相，吴子健，
申请(专利权)人：浙江点创信息科技有限公司，
类型：发明
国别省市：