直播视频处理方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例提供了一种直播视频处理方法、装置、电子设备和存储介质，包括：将待处理的直播视频进行视频解码，得到目标格式的第一目标图像帧，其中所述第一目标图像帧的分辨率为第一分辨率；对所述第一目标图像帧进行通道分离，得到具有第一分辨率的第一亮度通道图像；将所述第一亮度通道图像输入预先训练的超分辨率重建模型，得到第二亮度通道图像，其中，所述第二亮度通道图像的分辨率为第二分辨率，所述第二分辨率大于所述第一分辨率；根据所述第二亮度通道图像得到具有第二分辨率的第二目标图像；对所述第二目标图像进行视频编码，得到目标直播视频。本发明专利技术实施例可以将低分辨率的直播视频重建为高分辨率的直播视频，提高观众的观看体验。观众的观看体验。观众的观看体验。

【技术实现步骤摘要】
直播视频处理方法、装置、电子设备和存储介质


[0001]本专利技术涉及视频处理
，特别是涉及一种直播视频处理方法、一种直播视频处理装置、电子设备和存储介质。

技术介绍

[0002]超分辨率技术(Super-Resolution，SR)是指将低分辨率图像重建出相应的高分辨率图像，换而言之，将低清晰度图像重建成高清晰度图像，高清晰度图像中像素密度高，观众能够从中观测到更多细节。
[0003]然而，超分辨率技术目前还不够完善，尤其是超分辨率的视频重建，将低分辨率的视频重建为高分辨率的视频需要经过大量运算，因此无法及时完成视频重建，导致无法应用于一些对响应速度要求较高的场景，例如视频直播。具体地，在视频直播中经常有主播的直播视频分辨率较低的情况，直播视频经过服务器转码等操作将导致观众无法观看到高清直播画面，如果此时对直播视频使用超分辨率技术进行处理，则需要对直播视频的图像帧先进行切分，然后对切分后的图像帧的所有图像通道进行双三次插值算法，输入到超分辨率重建模型，最后得到分辨率高的直播视频，可以理解，对输入超分辨率重建模型需要进行图像帧切分以及双三次插值算法等预处理，这些预处理由于运算量过大，导致无法及时重建为分辨率高的直播视频发布至观众，造成直播画面卡顿，影响观众的观看体验。

技术实现思路

[0004]鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种直播视频处理方法和相应的一种直播视频处理装置、电子设备、存储介质。
[0005]为了解决上述问题，本专利技术实施例公开了一种直播视频处理方法，所述方法包括：
[0006]将待处理的直播视频进行视频解码，得到目标格式的第一目标图像帧，其中所述第一目标图像帧的分辨率为第一分辨率；
[0007]对所述第一目标图像帧进行通道分离，得到具有第一分辨率的第一亮度通道图像；
[0008]将所述第一亮度通道图像输入预先训练的超分辨率重建模型，得到第二亮度通道图像，其中，所述第二亮度通道图像的分辨率为第二分辨率，所述第二分辨率大于所述第一分辨率；
[0009]根据所述第二亮度通道图像得到具有第二分辨率的第二目标图像帧；
[0010]对所述第二目标图像帧进行视频编码，得到目标直播视频。
[0011]可选地，所述对所述第一目标图像帧进行通道分离，得到具有第一分辨率的第一亮度通道图像，包括：
[0012]对所述第一目标图像帧进行通道分离，得到具有第一分辨率的第一亮度通道图像和第一色度通道图像；
[0013]在所述根据所述第二亮度通道图像得到具有第二分辨率的第二目标图像帧之前，所述方法还包括：
[0014]对所述第一色度通道图像进行插值处理，得到具有第二分辨率的第二色度通道图像；
[0015]所述根据所述第二亮度通道图像得到具有第二分辨率的第二目标图像帧，包括：
[0016]将所述第二亮度通道图像和所述第二色度通道图像进行通道合成，得到具有第二分辨率的第二目标图像帧。
[0017]可选地，在所述将待处理的直播视频进行视频解码之前，所述方法还包括：
[0018]获取样本直播视频对应的样本亮度通道图像；
[0019]将所述样本亮度通道图像按照指定倍数进行分辨率缩小，得到缩小样本亮度通道图像；
[0020]对所述缩小样本亮度通道图像按照第一尺寸进行切分，得到缩小图像；
[0021]对所述样本亮度通道图像按照第二尺寸进行切分，得到原始图像；
[0022]采用所述缩小图像和所述原始图像对待训练的超分辨率重建模型进行训练，得到训练后的超分辨率重建模型。
[0023]可选地，所述超分辨率重建模型包括判别模型和特征提取模型，所述采用所述缩小图像和所述原始图像对待训练的超分辨率重建模型进行训练，得到训练后的超分辨率重建模型，包括：
[0024]从所述缩小图像中获取目标缩小图像，以及从所述原始图像中获取与所述目标缩小图像对应的目标原始图像；
[0025]将所述缩小图像输入待训练的超分辨率重建模型，得到分辨率放大为指定倍数的目标放大图像；
[0026]将所述目标放大图像与对应的所述目标原始图像输入所述判别模型，得到判别损失值；
[0027]将所述目标放大图像与对应的所述目标原始图像输入所述特征提取模型，得到生成损失值；
[0028]根据所述判别损失值和所述生成损失值对所述超分辨率重建模型进行模型参数进行更新，直至所述判断损失值和所述生成损失值达到收敛条件。
[0029]可选地，所述将所述目标放大图像与对应的所述目标原始图像输入所述特征提取模型，得到生成损失值，包括：
[0030]将所述目标放大图像输入所述特征提取模型得到第一图像特征，将对应的所述目标原始图像输入所述所述特征提取模型得到第二图像特征；
[0031]根据所述第一图像特征和所述第二图像特征，计算所述目标放大图像和所述目标原始图像之间的相似度，作为生成损失值。
[0032]可选地，所述超分辨率重建模型包括第一卷积层和第二卷积层；所述将所述第一亮度通道图像输入预先训练的超分辨率重建模型，得到第二亮度通道图像，包括：
[0033]利用第一卷积层对第一亮度通道图像进行特征提取处理，得到目标特征图像；
[0034]利用第二卷积层对所述目标特征图像进行像素重排，得到第二亮度通道图像。
[0035]可选地，所述第一卷积层包括第一子卷积层、第二子卷积层和第三子卷积层；所述
利用第一卷积层对第一亮度通道图像进行特征提取处理，得到目标特征图像，包括：
[0036]利用第一子卷积层对所述第一亮度通道图像进行卷积操作，得到第一特征图像；
[0037]利用第二子卷积层对所述第一特征图像进行降维处理，将并降维处理后的第一特征图像进行非线性映射，得到第二特征图像；
[0038]利用第三卷积层对所述第二特征图像进行升维处理，得到目标特征图像。
[0039]本专利技术实施例还公开了一种直播视频处理装置，所述装置包括：
[0040]视频解码模块，用于将待处理的直播视频进行视频解码，得到目标格式的第一目标图像帧，其中所述第一目标图像帧的分辨率为第一分辨率；
[0041]第二图像得到模块，用于对所述第一目标图像帧进行通道分离，得到具有第一分辨率的第一亮度通道图像；
[0042]第二图像得到模块，用于将所述第一亮度通道图像输入预先训练的超分辨率重建模型，得到第二亮度通道图像，其中，所述第二亮度通道图像的分辨率为第二分辨率，所述第二分辨率大于所述第一分辨率；
[0043]第三图像得到模块，用于根据所述第二亮度通道图像得到具有第二分辨率的第二目标图像帧；
[0044]目标直播视频得到模块，用于对所述第二目标图像帧进行视频编码，得到目标直播视频。
[0045]可选地，所述装置还包括：
[0046]第四图像得到模块，用于对所述第一色度通道图像进行插值处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种直播视频处理方法，其特征在于，所述方法包括：将待处理的直播视频进行视频解码，得到目标格式的第一目标图像帧，其中所述第一目标图像帧的分辨率为第一分辨率；对所述第一目标图像帧进行通道分离，得到具有第一分辨率的第一亮度通道图像；将所述第一亮度通道图像输入预先训练的超分辨率重建模型，得到第二亮度通道图像，其中，所述第二亮度通道图像的分辨率为第二分辨率，所述第二分辨率大于所述第一分辨率；根据所述第二亮度通道图像得到具有第二分辨率的第二目标图像帧；对所述第二目标图像帧进行视频编码，得到目标直播视频。2.根据权利要求1所述的方法，其特征在于，所述对所述第一目标图像帧进行通道分离，得到具有第一分辨率的第一亮度通道图像，包括：对所述第一目标图像帧进行通道分离，得到具有第一分辨率的第一亮度通道图像和第一色度通道图像；在所述根据所述第二亮度通道图像得到具有第二分辨率的第二目标图像帧之前，所述方法还包括：对所述第一色度通道图像进行插值处理，得到具有第二分辨率的第二色度通道图像；所述根据所述第二亮度通道图像得到具有第二分辨率的第二目标图像帧，包括：将所述第二亮度通道图像和所述第二色度通道图像进行通道合成，得到具有第二分辨率的第二目标图像帧。3.根据权利要求1所述的方法，其特征在于，在所述将待处理的直播视频进行视频解码之前，所述方法还包括：获取样本直播视频对应的样本亮度通道图像；将所述样本亮度通道图像按照指定倍数进行分辨率缩小，得到缩小样本亮度通道图像；对所述缩小样本亮度通道图像按照第一尺寸进行切分，得到缩小图像；对所述样本亮度通道图像按照第二尺寸进行切分，得到原始图像；采用所述缩小图像和所述原始图像对待训练的超分辨率重建模型进行训练，得到训练后的超分辨率重建模型。4.根据权利要求3所述的方法，其特征在于，所述超分辨率重建模型包括判别模型和特征提取模型，所述采用所述缩小图像和所述原始图像对待训练的超分辨率重建模型进行训练，得到训练后的超分辨率重建模型，包括：从所述缩小图像中获取目标缩小图像，以及从所述原始图像中获取与所述目标缩小图像对应的目标原始图像；将所述缩小图像输入待训练的超分辨率重建模型，得到分辨率放大为指定倍数的目标放大图像；将所述目标放大图像与对应的所述目标原始图像输入所述判别模型，得到判别损失值；将所述目标放大图像与对应的所述目标原始图像输入所述特征提取模型，得到生成损失值；
根据所述判别损失值和所述生成损失值对所述超分辨率重建模型进行模型参数进行更新，直至所述判断损失值和...

【专利技术属性】
技术研发人员：巢娅，
申请(专利权)人：广州博冠信息科技有限公司，
类型：发明
国别省市：