基于目标检测和深度强化学习的去伪影方法和系统技术方案

本发明专利技术提供了一种基于目标检测和深度强化学习的去伪影方法。该方法包括：检测经压缩视频帧中的伪影；响应于检测到一个或多个伪影，从所述经压缩视频帧中切分出分别带有检测到的一个或多个伪影中的一者的带伪影压缩图块；对每一个所述带伪影压缩图块执行去伪影操作，以得到去伪影压缩图块；以及将所述经压缩视频帧经切分出带伪影压缩图块后的不带伪影部分与所述去伪影压缩图块进行拼接，以获得去伪影经压缩视频帧。该方法使用目标检测技术检测伪影在图像中的位置，使用强化学习技术自动且实时地感知经压缩视频帧中所含伪影的类型，并且为经压缩视频帧中的不同伪影类型分配最优的深度去伪影模型。优的深度去伪影模型。优的深度去伪影模型。

【技术实现步骤摘要】
基于目标检测和深度强化学习的去伪影方法和系统


[0001]本专利技术涉及视频压缩处理领域，更具体地，涉及基于目标检测和深度强化学习的去伪影方法和系统。

技术介绍

[0002]随着当前视频技术的不断发展以及互联网的不断普及，视讯业务也得到了发展和壮大，目前生活中视频已经无处不在，诸如视频会议、网络直播、会议直播等。基于此，视频压缩也越来越重要，目前应用于视频通信、视频监控、视频广播等领域的编解码基本上都是有损压缩编码。有损编码主要使用的算法有：运动补偿、统计分块编码、分形编码、模型基编码等。有损压缩(例如，业内普遍使用的H264/H265标准编码)在减小视频体积的同时，会引入因压缩而产生的视频伪影，例如块状效应、振铃效应、呼吸效应、闪烁效应和蚊子噪声等。这些伪影会严重降低视频的质量，对用户的观看体验造成影响。因此，去除因编码压缩而产生的视频伪影，是一项非常有价值的技术。
[0003]常用的视频压缩伪影去除方法有两种，即，基于深度学习的伪影去除方法和基于图像分割的伪影去除方法。基于深度学习的伪影去除方法能够有效避免传统方法中由于手工设计滤波本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频去伪影方法，包括：检测经压缩视频帧中的伪影；响应于检测到一个或多个伪影，从所述经压缩视频帧中切分出分别带有检测到的一个或多个伪影中的一者的带伪影压缩图块；对每一个所述带伪影压缩图块执行去伪影操作，以得到去伪影压缩图块；以及将所述经压缩视频帧经切分出带伪影压缩图块后的不带伪影部分与所述去伪影压缩图块进行拼接，以获得去伪影经压缩视频帧。2.如权利要求1所述的方法，其特征在于，检测经压缩视频帧中的伪影进一步包括：利用目标检测网络分别对原始视频帧和所述经压缩视频帧进行特征提取以获得特征图；以及对所获得的特征图进行自适应空间特征融合，从而输出所述原始视频帧与所述经压缩视频帧之间存在差异的位置，作为所述伪影在所述经压缩视频帧中的空间位置。3.如权利要求1所述的方法，其特征在于，所述方法还包括：为每一个所述带伪影压缩图块选择一个去伪影模型；以及使用所选择的去伪影模型来对相应带伪影压缩图块执行去伪影操作。4.如权利要求3所述的方法，其特征在于，为每一个所述带伪影压缩图块选择一个去伪影模型进一步包括：对于每一个所述带伪影压缩图块，利用深度卷积网络对该带伪影压缩图块进行特征提取；以及利用强化学习选择用于该带伪影压缩图块的去伪影模型，以使得该带伪影压缩图块在经历与该去伪影模型相对应的去伪影操作之后图片质量最高。5.如权利要求3所述的方法，其特征在于，所述方法还包括从原始视频帧中切分出与所述一个或多个带伪影压缩图块对应的一个或多个原始图块，并且其中对每一个所述带伪影压缩图块执行去伪影操作进一步包括：将所述带伪影压缩图块输入经训练的去伪影模型；以及从所述经训练的去伪影模型输出去伪影压缩图块。6.如权利要求5所述的方法，其特征在于，所述经训练的去伪影模型是通过以下步骤训练的：将所述原始图块和所述带伪影压缩图块一起输入深度卷积网络；...

【专利技术属性】
技术研发人员：史国杰，曹靖城，吕超，王猛德，
申请(专利权)人：天翼数字生活科技有限公司，
类型：发明
国别省市：