基于机器学习的去伪影方法、去伪影模型训练方法及装置制造方法及图纸

本申请公开了一种基于机器学习的去伪影方法、去伪影模型训练方法及装置，涉及人工智能领域。上述方法包括：通过获取待处理的视频；调用去伪影模型预测视频的第i个原始图像帧的残差，得到第i个原始图像帧的预测残差；调用去伪影模型将预测残差与对应的原始图像帧相加，得到去伪影处理后的目标图像帧；将若干个目标图像帧按序进行编码压缩，得到去伪影后的视频帧序列。该方法通过采用残差学习结构的去伪影模型对视频压缩过程中可能产生的伪影进行预处理，避免编码压缩后视频明显地出现多类伪影，可以解决对多类伪影统一处理的难题。

The method and device of eliminating artifact based on machine learning

【技术实现步骤摘要】
基于机器学习的去伪影方法、去伪影模型训练方法及装置
本申请涉及人工智能领域，特别涉及一种基于机器学习的去伪影方法、去伪影模型训练方法及装置。
技术介绍
互联网视频数据急剧增长，为了降低视频的存储和传输成本，会采用较高的压缩率对视频进行编码压缩。在视频编码压缩的过程中，由于量化、分块等移除高频信息的操作导致信息损失，从而出现伪影这一负面效果，比如，块效应、振铃效应和边缘毛刺等。上述伪影会严重降低视频画质，影响用户的观看体验。因此，需要在视频编码压缩的过程中加入去伪影这一步骤。传统的视频去伪影是通过视频增强滤波器进行图像的亮度调整、饱和度调整、锐化以及去噪等操作来实现的。但是，视频增强滤波器的主要功能是对平坦像素区域的随机噪声的去除，对于视频伪影的去除效果有限。
技术实现思路
本申请实施例提供了一种基于机器学习的去伪影方法、去伪影模型训练方法及装置，可以解决滤波器无法对视频中的多类伪影进行有效去除的问题。所述技术方案如下：根据本申请的一个方面，提供了一种基于机器学习的去伪影方法，该方法包括：获取待处理的视频；调用去伪影模型预测视频的第i个原始图像帧与对应的压缩后的图像帧之间的残差，得到第i个原始图像帧的预测残差，i为正整数；调用去伪影模型将预测残差与对应的原始图像帧相加，得到去伪影处理后的目标图像帧；将若干个目标图像帧按序进行编码压缩，得到去伪影后的视频帧序列。根据本申请的另一个方面，提供了一种基于机器学习的去伪影模型训练方法，该方法包括：获取训练样本，每组训练样本包括视频样本的每一个原始图像帧样本和对应的编码压缩后的图像帧样本；调用去伪影模型预测每组训练样本中编码压缩后的图像帧样本的残差，得到样本残差；调用去伪影模型将样本残差与对应的编码压缩后的图像帧样本相加，得到去伪影处理后的目标图像帧样本；确定目标图像帧样本与对应的原始图像帧样本之间的损失，并根据损失对去伪影模型中的模型参数进行调整，训练去伪影模型的残差学习能力。根据本申请的另一方面，提供了一种基于机器学习的去伪影装置，该装置包括：第一获取模块，用于获取待处理的视频；第一调用模块，用于调用去伪影模型预测视频的第i个原始图像帧与对应的压缩后的图像帧之间的残差，得到第i个原始图像帧的预测残差，i为正整数；第一调用模块，用于调用去伪影模型将预测残差与对应的原始图像帧相加，得到去伪影处理后的目标图像帧；编码模块，用于将若干个目标图像帧按序进行编码压缩，得到去伪影后的视频帧序列。根据本申请的另一方面，提供了一种基于机器学习的去伪影模型训练装置，该装置包括：第二获取模块，用于获取训练样本，每组训练样本包括视频样本的每一个原始图像帧样本和对应的编码压缩后的图像帧样本；第二调用模块，用于调用去伪影模型预测每组训练样本中编码压缩后的图像帧样本的残差，得到样本残差；第二调用模块，用于调用去伪影模型将样本残差与对应的编码压缩后的图像帧样本相加，得到去伪影处理后的目标图像帧样本；训练模块，用于确定目标图像帧样本与对应的原始图像帧样本之间的损失，并根据损失对去伪影模型中的模型参数进行调整，训练去伪影模型的残差学习能力。根据本申请的另一方面，提供了一种电子设备，该电子设备包括：存储器；与存储器相连的处理器；其中，处理器被配置为加载并执行可执行指令以实现如上述一个方面及其可选实施例所述的基于机器学习的去伪影方法，以及如上述另一方面及其可选实施例所述的基于机器学习的去伪影模型训练方法。根据本申请的另一方面，提供了一种计算机可读存储介质，上述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，上述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述一个方面及其可选实施例所述的基于机器学习的去伪影方法，以及如上述另一方面及其可选实施例所述的基于机器学习的去伪影模型训练方法。本申请实施例提供的技术方案带来的有益效果至少包括：上述基于机器学习的去伪影方法，通过获取待处理的视频；调用去伪影模型预测视频的第i个原始图像帧的残差，得到第i个原始图像帧的预测残差；调用去伪影模型将预测残差与对应的原始图像帧相加，得到去伪影处理后的目标图像帧；将若干个目标图像帧按序进行编码压缩，得到去伪影后的视频帧序列。该方法通过采用残差学习结构的去伪影模型对视频压缩过程中可能产生的伪影进行预处理，通过残差学习准确的在视频帧的特征抽取过程中保留更多的视频帧的纹理细节，从而使压缩并解压后的视频帧的质量更高；通过去伪影模型来预处理视频编码压缩过程中可能出现的伪影，避免编码压缩后的视频明显地出现多类伪影，相比于传统的去伪影方式需要对不同的滤波器进行串行组合以及大量测试来确定出想要的去伪影效果，能够节省大量的测试成本，可以解决对多类伪影统一处理的难题。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请一个示例性实施例提供的基于机器学习的去伪影模型框架的结构示意图；图2是本申请一个示例性实施例提供的基于机器学习的去伪影模型的应用框架的结构示意图；图3是本申请一个示例性实施例提供的计算机系统的结构示意图；图4是本申请一个示例性实施例提供的基于机器学习的去伪影模型训练方法的流程图；图5是本申请一个示例性实施例提供的训练样本的生成流程的示意图；图6是本申请一个示例性实施例提供的基于机器学习的去伪影方法的流程图；图7是本申请一个示例性实施例提供的对未经去伪影模型处理的视频帧解压缩后的显示示意图；图8是本申请一个示例性实施例提供的对经去伪影模型处理的视频帧解压缩后的显示示意图；图9是本申请一个示例性实施例提供的未经去伪影模型处理的视频帧与经去伪影模型处理的视频帧分别解压缩后的对比显示示意图；图10是本申请一个示例性实施例提供的基于机器学习的去伪影装置的框图；图11是本申请一个示例性实施例提供的基于机器学习的去伪影模型训练装置的框图；图12是本申请一个示例性实施例提供的终端的结构示意图；图13是本申请一个示例性实施例提供的服务器的结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。首先，对本申请涉及的若干个名词进行解释：视频编解码：是一种视频压缩技术，实质上是通过减少视频图像中的冗余像素来实现对视频的压缩。其中，最为重要的视频编解码标准包括国际电信联盟的视频编码标准H.261、H.263、H.264，运动静止图像专家组(Motion-JointPhotograp本文档来自技高网...

【技术保护点】
1.一种基于机器学习的去伪影方法，其特征在于，所述方法包括：/n获取待处理的视频；/n调用去伪影模型预测所述视频的第i个原始图像帧与对应的压缩后的图像帧之间的残差，得到第i个所述原始图像帧的预测残差，i为正整数；/n调用所述去伪影模型将所述预测残差与对应的所述原始图像帧相加，得到去伪影处理后的目标图像帧；/n将若干个所述目标图像帧按序进行编码压缩，得到去伪影后的视频帧序列。/n

【技术特征摘要】
1.一种基于机器学习的去伪影方法，其特征在于，所述方法包括：
获取待处理的视频；
调用去伪影模型预测所述视频的第i个原始图像帧与对应的压缩后的图像帧之间的残差，得到第i个所述原始图像帧的预测残差，i为正整数；
调用所述去伪影模型将所述预测残差与对应的所述原始图像帧相加，得到去伪影处理后的目标图像帧；
将若干个所述目标图像帧按序进行编码压缩，得到去伪影后的视频帧序列。


2.根据权利要求1所述的方法，其特征在于，所述调用去伪影模型预测所述视频的第i个原始图像帧与对应的压缩后的图像帧之间的残差，得到第i个所述原始图像帧的预测残差，包括：
调用所述去伪影模型对第i个所述原始图像帧进行特征提取，得到第i个所述原始图像帧的特征向量；
调用所述去伪影模型对所述特征向量降维，得到降维后的特征向量；
调用所述去伪影模型对所述降维后的特征向量进行特征重建，得到所述第i个原始图像帧与对应的压缩后的图像帧之间的预测残差。


3.根据权利要求2所述的方法，其特征在于，所述去伪影模型包括至少两个特征提取单元和第一特征融合层，至少两个所述特征提取单元顺次连接，每一个所述特征提取单元的输出端还与所述第一特征融合层的输入端连接；
所述调用所述去伪影模型对第i个所述原始图像帧进行特征提取，得到第i个所述原始图像帧的特征向量，包括：
调用至少两个所述特征提取单元中的每一个所述特征提取单元对第i个所述原始图像帧进行特征提取，得到至少两个特征子向量；
调用所述第一特征融合层将至少两个所述特征子向量进行融合，得到所述特征向量。


4.根据权利要求2所述的方法，其特征在于，所述去伪影模型包括第一1×1卷积层、第二1×1卷积层、特征提取层和第二特征融合层；
所述调用所述去伪影模型对所述特征向量降维，得到降维后的特征向量，包括：
调用所述第一1×1卷积层对所述特征向量降维，得到降维后的第一特征向量；
调用所述第二1×1卷积层对所述特征向量降维，得到降维后的第二特征向量；
调用所述特征提取层对所述第二特征向量进行特征提取，得到特征提取后的第二特征向量；
调用所述第二特征融合层将所述第一特征向量与所述特征提取后的第二特征向量进行融合，得到所述降维后的特征向量。


5.根据权利要求1至4任一所述的方法，其特征在于，所述去伪影模型是通过如下方式训练得到的：
获取训练样本，每组训练样本包括视频样本的每一个原始图像帧样本和对应的编码压缩后的图像帧样本；
调用所述去伪影模型预测所述每组训练样本中所述编码压缩后的图像帧样本的残差，得到样本残差；
调用所述去伪影模型将所述样本残差与对应的所述编码压缩后的图像帧样本相加，得到去伪影处理后的目标图像帧样本；
确定所述目标图像帧样本与对应的所述原始图像帧样本之间的损失，并根据所述损失对所述去伪影模型中的模型参数进行调整，训练所述去伪影模型的残差学习能力。


6.根据权利要求5所述的方法，其特征在于，所述调用所述去伪影模型预测所述每组训练样本中所述编码压缩后的图像帧样本的残差，得到样本残差，包括：
调用所述去伪影模型对所述编码压缩后的图像帧样本进行特征提取，得到所述编码压缩后的图像帧样本的样本特征向量；
调用所述去伪影模型对所述样本特征向量降维，得到降维后的样本特征向量；
调用所述去伪影模型对所述降维后的样本特征向量进行特征重建，得到所述样本残差。


7.根据权利要求6所述的方法，其特征在于，所述去伪影模型包括至少两个特征提取单元和第一特征融合层，至少两个所述特征提取单元顺次连接，每一个所述特征提取单元的输出端还与所述第一特征融合层的输入端连接；
所述...

【专利技术属性】
技术研发人员：尚焱，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44