本公开涉及一种视频的处理方法、装置、电子设备及存储介质。所述方法包括：获取视频中图像的质量评分；根据所述质量评分，从所述图像中确定目标图像；对所述目标图像进行降噪处理，并以降噪处理后的目标图像替换所述目标图像，得到预处理视频；将所述预处理视频输入至视频超分辨率模型进行超分处理，输出得到处理后的视频。本公开实施例，不仅考虑到真实场景中低分辨率图像的噪声问题，而且还会根据视频中图像质量，有选择的对噪声进行处理，将得到的预处理视频输入视频超分辨率模型后，能够得到质量更高的高分辨率视频。到质量更高的高分辨率视频。到质量更高的高分辨率视频。
【技术实现步骤摘要】
一种视频的处理方法、装置、电子设备及存储介质
[0001]本公开涉及计算机视觉领域，尤其涉及一种视频的处理方法、装置、电子设备及存储介质。
技术介绍
[0002]随着计算机视觉技术的发展，出现了视频超分辨技术。视频超分辨技术的目的是将视频序列从低分辨率恢复到高分辨率，然后填充分辨率变化下缺失的细节。近年来，视频超分辨技术在手机拍照、医学图像、短视频等领域得到更加全面的应用。
[0003]相关技术中，提出了基于机械学习的视频超分辨率模型，用于对低分辨率的视频进行高分辨率图像恢复。然而，由于各种原因，相关技术中视频超分辨技术所恢复的视频质量不高。
技术实现思路
[0004]本公开提供一种视频的处理方法、装置、电子设备及存储介质，以至少解决相关技术中视频超分辨技术所恢复的视频质量不高的问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供包括：
[0006]获取视频中图像的质量评分；
[0007]根据所述质量评分，从所述图像中确定目标图像；
[0008]对所述目标图像进行降噪处理，并以降噪处理后的目标图像替换所述目标图像，得到预处理视频；
[0009]将所述预处理视频输入至视频超分辨率模型进行超分处理，输出得到处理后的视频。
[0010]在一种可能的实现方式中，所述获取视频中图像的质量评分，包括：
[0011]获取视频中的图像；
[0012]将所述图像输入图像质量评估模型，经所述图像质量评估模型，输出得到所述图像的噪声类别及质量评分，其中，所述图像质量评估模型为利用样本图像与噪声类别、质量评分的对应关系训练获得。
[0013]在一种可能的实现方式中，所述图像质量评估模型为利用样本图像与噪声类别、质量评分的对应关系训练获得，包括：
[0014]获取样本图像集合，所述样本图像集合包括多个标注有噪声类别及质量评分的样本图像；
[0015]将所述样本图像输入至初始的图像质量评估模型，生成预测结果；
[0016]基于所述预测结果与标注的噪声类别、质量评分之间的差异，对所述初始的图像质量评估模型的训练参数进行迭代调整，直至所述差异满足预设要求，得到所述图像质量评估模型。
[0017]在一种可能的实现方式中，所述根据所述质量评分，从所述图像中确定目标图像，
包括：
[0018]从所述图像中获取质量评分低于预设阈值的图像；
[0019]将所述质量评分低于预设阈值的图像作为目标图像。
[0020]在一种可能的实现方式中，所述根据所述质量评分，从所述图像中确定目标图像，包括：
[0021]从所述图像中获取目标图像，其中，所述目标图像的质量评分被确定为分别低于所述目标图像前一帧图像的质量评分以及所述目标图像后一帧图像的质量评分。
[0022]在一种可能的实现方式中，所述对所述目标图像进行降噪处理，并以降噪处理后的目标图像替换所述目标图像，得到预处理视频，包括：
[0023]对所述目标图像进行平滑处理，并以平滑处理后的目标图像替换所述目标图像，得到预处理视频。
[0024]在一种可能的实现方式中，所述视频超分辨率模型的获得方式包括：
[0025]获取样本视频集合，所述样本图像集合包括多个样本视频对，所述样本视频对包括第一样本视频以及与所述第一样本视频内容匹配的第二样本视频，且所述第一样本视频的分辨率低于所述第二样本视频的分辨率；
[0026]将所述第一样本视频输入至初始的视频超分辨率模型，生成预测结果；
[0027]基于所述预测结果与所述第二样本视频之间的差异，对所述初始的视频超分辨率模型的训练参数进行迭代调整，直至所述差异满足预设要求，得到所述视频超分辨率模型。
[0028]根据本公开实施例的第二方面，提供一种视频的处理装置，包括：
[0029]获取模块，用于获取视频中图像的质量评分；
[0030]确定模块，用于根据所述质量评分，从所述图像中确定目标图像；
[0031]降噪模块，用于对所述目标图像进行降噪处理，并以降噪处理后的目标图像替换所述目标图像，得到预处理视频；
[0032]处理模块，用于将所述预处理视频输入至视频超分辨率模型进行超分处理，输出得到处理后的视频。
[0033]在一种可能的实现方式中，所述获取模块包括：
[0034]第一获取子模块，用于获取视频中的图像；
[0035]评估子模块，用于将所述图像输入图像质量评估模型，经所述图像质量评估模型，输出得到所述图像的噪声类别及质量评分，其中，所述图像质量评估模型为利用样本图像与噪声类别、质量评分的对应关系训练获得。
[0036]在一种可能的实现方式中，还包括第一生成子模块，所述第一生成子模块包括：
[0037]获取单元，用于获取样本图像集合，所述样本图像集合包括多个标注有噪声类别及质量评分的样本图像；
[0038]预测单元，用于将所述样本图像输入至初始的图像质量评估模型，生成预测结果；
[0039]生成单元，用于基于所述预测结果与标注的噪声类别、质量评分之间的差异，对所述初始的图像质量评估模型的训练参数进行迭代调整，直至所述差异满足预设要求，得到所述图像质量评估模型。
[0040]在一种可能的实现方式中，所述确定模块包括：
[0041]第二获取子模块，用于从所述图像中获取质量评分低于预设阈值的图像；
[0042]第一确定子模块，用于将所述质量评分低于预设阈值的图像作为目标图像。
[0043]在一种可能的实现方式中，所述确定模块包括：
[0044]第二确定子模块，用于从所述图像中获取目标图像，其中，所述目标图像的质量评分被确定为分别低于所述目标图像前一帧图像的质量评分以及所述目标图像后一帧图像的质量评分。
[0045]在一种可能的实现方式中，所述降噪模块包括：
[0046]平滑模块，用于对所述目标图像进行平滑处理，并以平滑处理后的目标图像替换所述目标图像，得到预处理视频。
[0047]在一种可能的实现方式中，还包括生成模块，所述生成模块包括：
[0048]第三获取子模块，用于获取样本视频集合，所述样本图像集合包括多个样本视频对，所述样本视频对包括第一样本视频以及与所述第一样本视频内容匹配的第二样本视频，且所述第一样本视频的分辨率低于所述第二样本视频的分辨率；
[0049]预测子模块，用于将所述第一样本视频输入至初始的视频超分辨率模型，生成预测结果；
[0050]第二生成子模块，用于基于所述预测结果与所述第二样本视频之间的差异，对所述初始的视频超分辨率模型的训练参数进行迭代调整，直至所述差异满足预设要求，得到所述视频超分辨率模型。
[0051]根据本公开实施例的第三方面，提供一种电子设备，包括：
[0052]处理器；
[0053]用于存储所述处理器可执行指令的存储器；
[005本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频的处理方法，其特征在于，包括：获取视频中图像的质量评分；根据所述质量评分，从所述图像中确定目标图像；对所述目标图像进行降噪处理，并以降噪处理后的目标图像替换所述目标图像，得到预处理视频；将所述预处理视频输入至视频超分辨率模型进行超分处理，输出得到处理后的视频。2.根据权利要求1所述的方法，其特征在于，所述获取视频中图像的质量评分，包括：获取视频中的图像；将所述图像输入图像质量评估模型，经所述图像质量评估模型，输出得到所述图像的噪声类别及质量评分，其中，所述图像质量评估模型为利用样本图像与噪声类别、质量评分的对应关系训练获得。3.根据权利要求2所述的方法，其特征在于，所述图像质量评估模型为利用样本图像与噪声类别、质量评分的对应关系训练获得，包括：获取样本图像集合，所述样本图像集合包括多个标注有噪声类别及质量评分的样本图像；将所述样本图像输入至初始的图像质量评估模型，生成预测结果；基于所述预测结果与标注的噪声类别、质量评分之间的差异，对所述初始的图像质量评估模型的训练参数进行迭代调整，直至所述差异满足预设要求，得到所述图像质量评估模型。4.根据权利要求1所述的方法，其特征在于，所述根据所述质量评分，从所述图像中确定目标图像，包括：从所述图像中获取质量评分低于预设阈值的图像；将所述质量评分低于预设阈值的图像作为目标图像。5.根据权利要求1所述的方法，其特征在于，所述根据所述质量评分，从所述图像中确定目标图像，...
【专利技术属性】
技术研发人员：磯部駿，陶鑫，戴宇荣，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。