【技术实现步骤摘要】
用于生成画质提升模型的方法、装置及计算机程序产品
[0001]本公开涉及人工智能领域,具体涉及计算机视觉和深度学习技术,尤其涉及用于生成画质提升模型的方法、装置、电子设备、存储介质以及计算机程序产品,可用于图像处理场景下。
技术介绍
[0002]近几年,直播行业发展迅速。除了观看量和用户数飞速增长,各个细分领域也在不断渗透。由于网络带宽和存储硬件容量限制,直播视频被采集后都会经过硬件或软件编码进行压缩,这样会带来视频画质下降的问题;同时,不同的视频采集设备也会带来源视频画质参差不齐的问题。因此,提升直播视频的画质是直播行业发展的一个基本而核心的需求。
技术实现思路
[0003]本公开提供了一种用于生成画质提升模型的方法、装置、电子设备、存储介质以及计算机程序产品。
[0004]根据第一方面,提供了一种用于生成画质提升模型的方法,包括:获取训练样本集,其中,训练样本集中的训练样本包括样本帧图像和标签帧图像;利用机器学习方法,以样本帧图像为输入,以所输入的样本帧图像对应的标签帧图像为期望输出,训练得到去噪网络;利用机器学习方法,以样本帧图像为输入,以所输入的样本帧图像对应的标签帧图像为第一滤波图像的期望图像,训练得到增强网络,其中,第一滤波图像由初始增强网络输出的图像经过低通滤波得到;根据去噪网络和增强网络,得到画质提升模型。
[0005]根据第二方面,提供了一种用于提升图像画质的方法,包括:获取待处理图像;将待处理图像输入预训练的画质提升模型,得到提升画质后的画质提升图像,其中,画质提升 ...
【技术保护点】
【技术特征摘要】
1.一种用于生成画质提升模型的方法,包括:获取训练样本集,其中,所述训练样本集中的训练样本包括样本帧图像和标签帧图像;利用机器学习方法,以样本帧图像为输入,以所输入的样本帧图像对应的标签帧图像为期望输出,训练得到去噪网络;利用机器学习方法,以样本帧图像为输入,以所输入的样本帧图像对应的标签帧图像为第一滤波图像的期望图像,训练得到增强网络,其中,所述第一滤波图像由初始增强网络输出的图像经过低通滤波得到;根据所述去噪网络和所述增强网络,得到所述画质提升模型。2.根据权利要求1所述的方法,其中,所述根据所述去噪网络和所述增强网络,得到所述画质提升模型,包括:利用机器学习方法,以样本帧图像为所述去噪网络的输入,将所述去噪网络输出的图像作为所述增强网络的输入,以所输入的样本帧图像对应的标签帧图像为第二滤波图像的期望图像,更新所述去噪网络和所述增强网络,其中,所述第二滤波图像由所述增强网络输出的图像经过低通滤波得到;组合更新后的所述去噪网络和所述增强网络,得到所述画质提升模型。3.根据权利要求1所述的方法,其中,所述利用机器学习方法,以样本帧图像为输入,以所输入的样本帧图像对应的标签帧图像为期望输出,训练得到去噪网络,包括:执行如下第一训练操作,直至得到所述去噪网络:以所述训练样本集中的样本帧图像为初始去噪网络的输入,以所输入的样本帧图像对应的标签帧图像为期望输出,得到去噪图像;根据所输入的样本帧图像对应的标签帧图像和所述去噪图像,得到表征所输入的样本帧图像对应的标签帧图像和所述去噪图像之间的像素级差异的第一损失,以及结构差异的第二损失;根据所述第一损失和所述第二损失,更新所述初始去噪网络。4.根据权利要求1所述的方法,其中,所述利用机器学习方法,以样本帧图像为输入,以所输入的样本帧图像对应的标签帧图像为第一滤波图像的期望图像,训练得到增强网络,包括:执行如下第二训练操作,直至得到所述增强网络:以所述训练样本集中的样本帧图像为初始增强网络的输入,得到第一输出图像;对所述第一输出图像进行低通滤波,得到第一滤波图像;根据所输入的样本帧图像对应的标签帧图像和所述第一滤波图像,得到表征所输入的样本帧图像对应的标签帧图像和所述第一滤波图像之间的像素级差异的第三损失,以及结构差异的第四损失;根据所述第三损失和所述第四损失,更新所述初始增强网络。5.根据权利要求2所述的方法,其中,所述利用机器学习方法,以样本帧图像为所述去噪网络的输入,将所述去噪网络输出的图像作为所述增强网络的输入,以所输入的样本帧图像对应的标签帧图像为第二滤波图像的期望图像,更新所述去噪网络和所述增强网络,包括:执行如下更新操作:
以所述训练样本集中的样本帧图像为所述去噪网络的输入,将所述去噪网络输出的图像作为所述增强网络的输入,得到第二输出图像;对所述第二输出图像进行低通滤波,得到第二滤波图像;根据所输入的样本帧图像对应的标签帧图像和所述第二滤波图像,得到表征所输入的样本帧图像对应的标签帧图像和所述第二滤波图像之间的像素级差异的第五损失,以及结构差异的第六损失;根据所述第五损失和所述第六损失,更新所述去噪网络和所述增强网络。6.根据权利要求1
‑
5中任一项所述的方法,其中,所述获取训练样本集,包括:从无损编码的视频中采样得到无损图像集;基于预设压缩比压缩所述视频,得到压缩视频;从所述压缩视频中采样得到压缩图像集,其中,所述压缩图像集中的压缩图像与所述无损图像集中的无损图像一一对应;将所述压缩图像集与所述无损图像集中一一对应的图像组成图像对,并筛选出峰值信噪比低于预设阈值的图像对;以筛选出的图像对中的无损图像为标签帧图像,以压缩图像为样本帧图像,得到所述训练样本集。7.一种用于提升图像画质的方法,包括:获取待处理图像;将所述待处理图像输入预训练的画质提升模型,得到提升画质后的画质提升图像,其中,所述画质提升模型通过权利要求1
‑
6中任一项训练得到。8.一种用于生成画质提升模型的装置,包括:第一获取单元,被配置成获取训练样本集,其中,所述训练样本集中的训练样本包括样本帧图像和标签帧图像;第一训练单元,被配置成利用机器学习方法,以...
【专利技术属性】
技术研发人员:袁苇航,
申请(专利权)人:北京百度网讯科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。