一种基于深度学习的环路滤波方法技术

本发明专利技术公开了一种基于深度学习的环路滤波方法，所述方法包括：构建智能环路滤波网络，所述网络的输入为一帧失真帧和一帧视点间参考帧，输出为一帧增强帧和一帧生成的划分图；通过一个非局部模块和一层反卷积层获得充分融合后的特征信息，并通过另一层普通卷积层和两个残差卷积块注意力模块单元对此融合特征进行处理，获得输入失真帧的精细化特征；通过设计一个划分损失函数，基于划分约束的重建模块更加关注编码帧的块边界，有效地消除压缩伪影。本发明专利技术面向多视点视频编码，利用深度学习的特征表达能力，通过充分学习视点间相关性和约束块划分区域，进而提高多视点视频编码的性能。

【技术实现步骤摘要】
一种基于深度学习的环路滤波方法
本专利技术涉及深度学习、视频编码领域，尤其涉及一种基于深度学习的环路滤波方法。
技术介绍
多视点视频是具有沉浸式交互功能的典型的3D视频表示形式，目前已被广泛应用于自由立体显示、6DoF系统等。然而，多个视点的引入增加了视频的数据量，给视频的存储和传输带来了巨大挑战。因此，视频编码联合工作组(JCT-VC)为多视点视频编码开发了3D-HEVC(3D高效视频编码)标准。3D-HEVC采用了基于块的混合编码框架，常出现块边界像素不连续以及丢失高频信息的情况，产生压缩伪影。为了解决伪影问题，3D-HEVC采用了环路滤波算法，包括去方块滤波和样点自适应补偿。然而，视频编码中产生的伪影是复杂的非线性问题，传统的环路滤波仍然难以有效地解决这一问题。近年来，深度学习在图像和视频分析任务中展示出了强大的性能。同时，已有工作关注基于卷积神经网络的环路滤波方法。例如，Dai等人提出了一种可变滤波器大小的卷积神经网络算法，以替代HEVC(高效视频编码)中传统的环路滤波，从而减少压缩失真。Ding等人提出了一种压缩激励滤波的卷积本文档来自技高网...

【技术保护点】
1.一种基于深度学习的环路滤波方法，其特征在于，所述方法包括：/n构建智能环路滤波网络，所述网络的输入为一帧失真帧和一帧视点间参考帧，输出为一帧增强帧和一帧生成的划分图；/n通过一个非局部模块和一层反卷积层获得充分融合后的特征信息，并通过另一层普通卷积层和两个残差卷积块注意力模块单元对融合特征进行处理，获得输入失真帧的精细化特征；/n通过设计一个划分损失函数，基于划分约束的重建模块更加关注编码帧的块边界，有效地消除压缩伪影。/n

【技术特征摘要】
1.一种基于深度学习的环路滤波方法，其特征在于，所述方法包括：
构建智能环路滤波网络，所述网络的输入为一帧失真帧和一帧视点间参考帧，输出为一帧增强帧和一帧生成的划分图；
通过一个非局部模块和一层反卷积层获得充分融合后的特征信息，并通过另一层普通卷积层和两个残差卷积块注意力模块单元对融合特征进行处理，获得输入失真帧的精细化特征；
通过设计一个划分损失函数，基于划分约束的重建模块更加关注编码帧的块边界，有效地消除压缩伪影。


2.根据权利要求1所述的一种基于深度学习的环路滤波方法，其特征在于，所述融合后的特征信息的计算公式如下：



其中，Φm(·)表示非局部模块的卷积操作，DeConv(·)表示反卷积操作，FC和FR分别表示所提取的输入失真帧和视点间参考帧的空域特征表达。


3.根据权利要求2所述的一种基于深度学习的环路滤波方法，其特征在于，所述输入失真帧的精细化特征为：



其中，Φr(·)表示一层普通卷积层和两个Res+CBAM单元的卷积操作。


4.根据权利要求1所述的一种基于深度学习的环路滤波方法，其...

【专利技术属性】
技术研发人员：常仁杰，彭勃，潘兆庆，靳登朝，雷建军，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12