一种基于生成对抗网络的帧内预测方法技术

本发明专利技术公开了一种基于生成对抗网络的帧内预测方法，包括：采集原始视频帧图像并进行重采样处理，构建图像数据集；将图像数据集中的图像转化为YUV格式，并对格式转化后的图像进行尺寸裁剪处理得到训练数据集；将训练数据集的图像作为生成对抗网络的输入，训练生成对抗网络；将训练后的生成对抗网络的生成器部分嵌入HEVC参考软件中；选取预测参考块并输入到训练后的生成对抗网络中，输出预测值，并使用HEVC编码标准的帧内预测模式得到预测结果，比较两种模式率失真代价，选出最优帧内预测模式；根据最优帧内预测模式在码流中生成一预测模式标志位，然后并按照原HEVC标准编码方式继续编码。本发明专利技术能够为图像的复杂纹理及弯曲边缘提供精准的预测。缘提供精准的预测。缘提供精准的预测。

【技术实现步骤摘要】
一种基于生成对抗网络的帧内预测方法


[0001]本专利技术涉及视频
，更具体地，涉及一种基于生成对抗网络的帧内预测方法。

技术介绍

[0002]视频编码技术致力于将视频压缩以得到便于传输的码流,尤其是在网络带宽有限下传输高清视频。视频编解码中，帧内、帧间等预测方式能有效减少视频的空间、时间冗余。传统的视频帧内预测方法，基于图像中的纹理具有方向性这一预设，使用预定义的几个固定模式，在预测时，通过逐一枚举每一种帧内模式，选取编码代价最优的一个。该种帧内预测方法能较为有效地预测单调角度纹理结构。但是，仅仅基于方向性的假设，帧内预测方法并不能有效处理复杂纹理，尤其是弯曲边缘。
[0003]目前已有部分工作尝试使用全连接网络、循环神经网络、多尺度卷积网络等方法挖掘深度学习的方法在视频帧内预测的潜能，取得了一定效果，但是其主要增益来自于对视频帧内小块(如HEVC中4*4或8*8)的预测，对于大块(如HEVC中16*16或32*32)的预测缺乏更为有效的手段。
[0004]生成式对抗网络是一种深度学习模型，是近年来复杂分布上无监督学习最本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的帧内预测方法，其特征在于，包括以下步骤：S1：采集原始视频帧图像并进行重采样处理，将重采样处理后的图像和原始视频帧图像共同组成图像数据集；S2：将图像数据集中的图像转化为YUV格式，并对格式转化后的图像进行尺寸裁剪处理得到训练数据集；S3：将训练数据集的图像作为生成对抗网络的输入，以对抗学习的方式训练生成对抗网络；S4：将训练后的生成对抗网络的生成器部分嵌入HEVC参考软件中；S5：在HEVC参考软件中对任一待编码块，先判断其左上方的图像块是否已经解码重构，若未解码重构则，则跳过基于生成对抗网络的帧内预测模式，若已解码重构，则将重构后的参考像素块作为预测参考块；S6：将预测参考块作为预测上下文图像输入到训练后的生成对抗网络中，生成对抗网络输出待编码块的预测值，并使用HEVC编码标准的帧内预测模式得到预测结果，比较生成对抗网络的帧内预测模式与HEVC编码标准的帧内预测模式的率失真代价，选出最优帧内预测模式；S7：根据最优帧内预测模式在码流中生成一预测模式标志位，然后并按照原HEVC标准编码方式继续编码。2.根据权利要求1所述的一种基于生成对抗网络的帧内预测方法，其特征在于，步骤S1中所述的重采样处理是将原始视频帧图像的分辨率大于预设值的图像采用基于区域像素关系的重采样方法将其下采样缩放至原始像素尺寸的1/2(可选择的)。3.根据权利要求2所述的一种基于生成对抗网络的帧内预测方法，其特征在于，分辨率预设值为1000*1000。4.根据权利要求1所述的一种基于生成对抗网络的帧内预测方法，其特征在于，步骤S2中所述的尺寸裁剪包括两种规格图像块即：24*24的图像块，40*40的图像块。5.根据权利要求1所述的一种基于生成对抗网络的帧内预测方法，其特征在于，所述生成对抗网络包括生成器和判别器，其中生成器为一个卷积网络，所述判别器包括：局部判别器和全局判别器。6.根据权利要求5所述的一种基于生成对抗网络的帧内预测方法，其特征在于，所述卷积网络包括两个部分：粗糙网络和精细网络，所述粗糙网络以参考块图像为输入，输出为一个初步的待编码块的预测值；所述精细网络将参考块图像和和粗糙网络的...

【专利技术属性】
技术研发人员：王军，钟光宇，胡纪元，
申请(专利权)人：中山大学，
类型：发明
国别省市：