基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码方法及装置制造方法及图纸

本发明专利技术公开了一种基于IPMS

【技术实现步骤摘要】
基于IPMS
‑
CNN和空域相邻CU编码模式的HEVC
‑
SCC快速编码方法及装置


[0001]本专利技术涉及视频编码领域，特别涉及一种基于IPMS
‑
CNN和空域相邻CU编码模式的HEVC
‑
SCC快速编码方法及装置。

技术介绍

[0002]近年来，随着计算机视觉、多媒体技术和人机交互等领域的快速发展，屏幕共享、无线显示、远程教育等屏幕内容视频（Screen Content Video，SCV）的应用程序不断涌现，对传统处理自然视频的视频编码方法提出了巨大的挑战。传统处理自然视频的标准，例如高效视频编码（High Effcient Video Coding，HEVC），是专门为压缩相机拍摄采集的自然视频内容而制定的。而屏幕内容视频主要是由计算机生成的，它通常具有大面积的均匀平面、重复的图案和字符、颜色种类有限但具有高饱和度、图像对比度高、有锐利的边缘等特点。如果仍用传统的视频编码标准来处理屏幕内容视频，压缩效果往往不佳。因此为了利用屏幕内容视频的这些特殊特征，联合视频编码组在HEVC的基础上开发了屏幕内容编码（Screen Content Coding，SCC）标准：HEVC
‑
SCC。该标准增加了四种新的模式：帧内块复制（Intra Block Copy，IBC，调色板模式（Palette Mode，PLT），自适应颜色变换（Adaptive Color Transform，ACT），自适应运动矢量分辨率（Adaptive Motion Vector Resolution，AMVR）。
[0003]在这四种模式，IBC和PLT是提高压缩性能的两种主要模式。IBC模式有助于在同一帧内编码重复的模式，而PLT模式的目标是用一些有限的主要颜色进行编码。尽管这两种工具的加入能显著提高SCC的编码性能，但是其编码复杂度也显著增加。

技术实现思路

[0004]本专利技术的主要目的在于克服现有技术中的上述缺陷，提出一种基于IPMS
‑
CNN和空域相邻CU编码模式的HEVC
‑
SCC快速编码方法及装置，在保证主观质量的同时，能够节省编码时间，降低屏幕内容视频的计算复杂度，加速HEVC
‑
SCC的编码过程。
[0005]本专利技术采用如下技术方案：
[0006]一方面，一种基于IPMS
‑
CNN和空域相邻CU编码模式的HEVC
‑
SCC快速编码方法，包括：
[0007]数据集制作步骤，建立不同分辨率的视频序列数据集并编码，获取不同量化参数下HEVC
‑
SCC的各个CU是否使用IBC/PLT模式的真实标签；
[0008]网络模型构建步骤，构建包括输入层、特征提取层和输出表达层的网络模型IPMS
‑
CNN；其中，特征提取层中搭建三个卷积层提取三种特征图，加上下采样后得到的特征图，共提取四种不同尺寸的特征图；
[0009]网络模型训练步骤，基于制作的数据集，对构建的网络模型进行训练，获得训练好的IBC/PLT模式选择卷积神经网络IPMS
‑
CNN模型；
[0010]网络模型预测步骤，将LCU输入到训练好的IPMS
‑
CNN，获得模式预测标签，以预测出CTU的模式选择；
[0011]当前CU模式预测步骤，计算相邻3个CU所使用的IBC/PLT模式数量和相邻3个CU所使用的Intra模式数量，根据两个数量关系联合预测当前8
×
8CU模式；
[0012]编码步骤，编码器基于网络模型预测步骤调用预测标签，与当前CU模式预测步骤一起预测CU划分结果。
[0013]优选的，所述数据集制作步骤，具体包括：
[0014]自制三种不同分辨率的视频序列数据集，数据集涵盖图片数据集和视频数据集，包含TGM/M、A、CC三种类型视频序列；
[0015]接着通过标准编码软件平台进行编码，在全帧内配置下，设置不同量化参数QP下的各个CU的IBC/PLT模式的模式标签。
[0016]优选的，所述的数据集包括：训练集、验证集和测试集；所述训练集、验证集和测试集中的每一个集均包含三个子集；第一个子集的分辨率为1024
×
576，第二个子集的分辨率为1792
×
1024，第三个子集为2304
×
1280。
[0017]优选的，所述量化参数包括四个量化等级，分别为22、27、32和37。
[0018]优选的，网络模型构建步骤中，特征提取层中搭建三个卷积层，提取三种特征图，同时经过下采样后的特征图会直接送入网络的连接层中。
[0019]优选的，所述输出表达层中包括全连接层；所述全连接层的特征向量中添加有量化参数QP。
[0020]优选的，所述网络模型的损失函数如下：
[0021][0022]其中，表示真实值和预测值的交叉熵，、、分别表示第一级64
×
64、第二级32
×
32、第三级16
×
16CU的真实模式标签，表示64
×
64CTU的真实模式标签，,表示4个32
×
32CTU的真实模式标签，表示4
×
4个16
×
16CTU的真实模式标签；同理，、、分别表示第一级64
×
64、第二级32
×
32、第三级16
×
16的预测标签，表示64
×
64CTU的预测模式标签，,则表示4个32
×
32CTU的预测模式标签，表示4
×
4个16
×
16CTU的预测模式标签；网络的预测标签和真实标签都经过了二值化，范围在[0，1]之间。
[0023]优选的，所述网络模型预测步骤中，网络模型输出21个二进制标签表示64
×
64、32
×
32、16
×
16的CTU是否会划分以及在此基础上是否会选择IBC/PLT模式。
[0024]优选的，所述当前CU模式预测步骤，具体包括：
[0025]当CU尺寸为8
×
8时，计算相邻3个CU所使用的IBC、PLT模式数量和Intra模式数量；
[0026]具体的，当时，候选模式只有Intra模式；当且时，候选模式为IBC和PLT模式；当且时，候选模式为Intra、IBC和PLT模式。
[0027]另一方面，一种基于IPMS
‑
CNN和空域相邻CU编码模式的HEVC
‑
SCC快速编码装置，包括：
[0028]数据集制作模块，建立不同分辨率的视频序列数据集并编码，获取不同量化参数下HEVC
‑
SCC的各个CU是否使用I本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于IPMS
‑
CNN和空域相邻CU编码模式的HEVC
‑
SCC快速编码方法，其特征在于，包括：数据集制作步骤，建立不同分辨率的视频序列数据集并编码，获取不同量化参数下HEVC
‑
SCC的各个CU是否使用IBC/PLT模式的真实标签；网络模型构建步骤，构建包括输入层、特征提取层和输出表达层的网络模型IPMS
‑
CNN；其中，特征提取层中搭建三个卷积层提取三种特征图，加上下采样后得到的特征图，共提取四种不同尺寸的特征图；网络模型训练步骤，基于制作的数据集，对构建的网络模型进行训练，获得训练好的IBC/PLT模式选择卷积神经网络IPMS
‑
CNN模型；网络模型预测步骤，将LCU输入到训练好的IPMS
‑
CNN，获得模式预测标签，以预测出CTU的模式选择；当前CU模式预测步骤，计算相邻3个CU所使用的IBC/PLT模式数量和相邻3个CU所使用的Intra模式数量，根据两个数量关系联合预测当前8
×
8CU模式；编码步骤，编码器基于网络模型预测步骤调用预测标签，与当前CU模式预测步骤一起预测CU划分结果。2.根据权利要求1所述的基于IPMS
‑
CNN和空域相邻CU编码模式的HEVC
‑
SCC快速编码方法，其特征在于，所述数据集制作步骤，具体包括：自制三种不同分辨率的视频序列数据集，数据集涵盖图片数据集和视频数据集，包含TGM/M、A、CC三种类型视频序列；接着通过标准编码软件平台进行编码，在全帧内配置下，设置不同量化参数QP下的各个CU的IBC/PLT模式的模式标签。3.根据权利要求1所述的基于IPMS
‑
CNN和空域相邻CU编码模式的HEVC
‑
SCC快速编码方法，其特征在于，所述的数据集包括：训练集、验证集和测试集；所述训练集、验证集和测试集中的每一个集均包含三个子集；第一个子集的分辨率为1024
×
576，第二个子集的分辨率为1792
×
1024，第三个子集为2304
×
1280。4.根据权利要求1所述的基于IPMS
‑
CNN和空域相邻CU编码模式的HEVC
‑
SCC快速编码方法，其特征在于，所述量化参数包括四个量化等级，分别为22、27、32和37。5.根据权利要求1所述的基于IPMS
‑
CNN和空域相邻CU编码模式的HEVC
‑
SCC快速编码方法，其特征在于，网络模型构建步骤中，特征提取层中搭建三个卷积层，提取三种特征图，同时经过下采样后的特征图会直接送入网络的连接层中。6.根据权利要求1所述的基于IPMS
‑
CNN和空域相邻CU编码模式的HEVC
‑
SCC快速编码方法，其特征在于，所述输出表达层中包括全连接层；所述全连接层的特征向量中添加有量化参数QP。7.根据权利要求1所述的基于IPMS
‑
CNN和空域相邻CU编码模式的HEVC
‑
S...

【专利技术属性】
技术研发人员：陈婧，李志鸿，曾焕强，林琦，朱建清，
申请(专利权)人：华侨大学，
类型：发明
国别省市：