本公开提供了一种视频处理方法、装置、存储介质以及电子设备。该方法包括：将视频划分为包括预定数量视频帧的组，并将每个组中的视频帧分类为关键帧和非关键帧；通过超分辨率模型分别对每个组的关键帧和非关键帧进行超分辨率处理，以获得每个组的关键帧的超分辨率帧和非关键帧的超分辨率帧；将每个组的关键帧的超分辨率帧和非关键帧的超分辨率帧编码为超分辨率视频，其中，所述超分辨率模型是被配置为使用关键帧的超分辨率帧作为对非关键帧的超分辨率处理的参考的模型。根据本公开的视频超分辨率方法能够充分利用关键帧超分辨率后的结果指导非关键帧的超分辨率处理，在处理速度和主观效果方面具有良好的收益。度和主观效果方面具有良好的收益。度和主观效果方面具有良好的收益。
【技术实现步骤摘要】
视频处理方法、装置、存储介质以及电子设备
[0001]本公开涉及视频
，尤其涉及一种视频处理方法和装置以及相应的视频超分辨率模型的训练方法、电子设备及计算机可读存储介质。
技术介绍
[0002]超分辨技术(Super Resolution)是一项图像/视频处理技术，能够将LR(LowResolution)图像或视频处理成HR(High Resolution)图像或视频的技术，从而提升图像或视频的分辨率，提升图像或视频质量。
[0003]视频超分辨技术主要分为以下几种方式，一种方式是将待处理的视频解码抽帧，然后对于每一帧都串行调用超分辨模型进行处理，在处理好每一帧后将得到的结果帧进行视频编码，得到最终的输出视频。该方法对于所有视频帧进行同等计算量处理，没有考虑实际视频中各个类型的视频帧(例如，I 帧、P帧、B帧)的特性，这种将视频所有帧同等处理的方法会造成大量的计算冗余，从而降低了计算效率。
[0004]另一种方式是将视频解码成视频帧之后，仅仅对I帧进行模型处理，对于非I帧进行轻量级模型推理或者直接放弃推理，从而提升计算速度。然而，该模型算法并没有良好的处理非I帧，这种方法在推理速度上尽管很快，但是算法处理后视频主观效果却不尽如人意。
技术实现思路
[0005]本公开提供一种视频处理方法和装置以及相应的视频超分辨率模型的训练方法、电子设备及计算机可读存储介质，以至少解决相关技术中的超分辨率计算效率低以及超分辨率视频的主观效果不佳的问题，也可不解决任何上述问题。
[0006]根据本公开的第一方面，提供了一种视频处理方法，其特征在于，包括：将视频划分为包括预定数量视频帧的组，并将每个组中的视频帧分类为关键帧和非关键帧；通过超分辨率模型分别对每个组的关键帧和非关键帧进行超分辨率处理，以获得每个组的关键帧的超分辨率帧和非关键帧的超分辨率帧；将每个组的关键帧的超分辨率帧和非关键帧的超分辨率帧编码为超分辨率视频，其中，所述超分辨率模型是被配置为使用关键帧的超分辨率帧作为对非关键帧的超分辨率处理的参考的模型。
[0007]根据本公开的第一方面，所述超分辨率模型包括第一超分辨率模型和第二超分辨率模型，所述超分辨率模型通过以下方式被训练：通过第一超分辨率模型对关键帧执行单帧图像推理以获得关键帧的超分辨率帧；基于第二超分辨率模型对所述关键帧的超分辨率帧和所述非关键帧的特征进行融合，并基于融合的特征执行推理以获得所述非关键帧的超分辨率帧；根据所述关键帧和所述关键帧的超分辨率帧确定针对第一超分辨率模型的第一损失函数，并基于第一损失函数的值来调整第一超分辨率模型的参数；根据所述非关键帧和所述非关键帧的超分辨率帧来确定针对第二超分辨率模型的第二损失函数，并基于第二损失函数来调整第二超分辨率模型的参数。
[0008]根据本公开的第一方面，将每个组中的视频帧分类为关键帧和非关键帧的视频帧包括：将所述组中的预定类型视频帧分类为关键帧，并将其余的视频帧被分类为非关键帧，或者将所述组中的第一帧分类为关键帧，并将其余的视频帧分类为非关键帧。
[0009]根据本公开的第一方面，第一超分辨率模型和第二超分辨率模型中的每个均包括推理主体网络，所述推理主体网络包括用于执行推理操作的多个残差卷积层和快速上采样层，其中，第一超分辨率模型所包括的通道数量和残差卷积层的数量高于第二超分辨率模型所包括的通道数量和残差卷积层的数量。
[0010]根据本公开的第一方面，通过第一超分辨率模型对关键帧执行单帧图像推理以获得关键帧的超分辨率帧包括：通过所述多个残差卷积层逐层地计算关键帧的深度特征；通过快速上采样层将关键帧的深度特征上采样为具有高分辨率的关键帧的超分辨率帧。
[0011]根据本公开的第一方面，所述第二超分辨率模型还包括第一特征提取器、第二特征提取器和拼接单元，其中，基于第二超分辨率模型对所述关键帧的超分辨率帧和所述非关键帧的特征进行融合，并基于融合的特征执行推理以获得所述非关键帧的超分辨率帧包括：通过第一特征提取器提取所述关键帧的超分辨率帧的特征并通过第二特征提取器所述非关键帧的特征；通过拼接单元对提取的所述关键帧的超分辨率帧的特征和所述非关键帧的特征进行特征拼接和卷积以获得所述融合的特征；通过推理主体网络的多个残差卷积层对所述融合的特征逐层地执行计算以提取非关键帧的深度特征；通过快速上采样层将非关键帧的深度特征上采样为具有高分辨率的非关键帧的超分辨率帧。
[0012]根据本公开的第一方面，第一超分辨率模型和第二超分辨率模型的每个残差卷积层均包括串联的多个残差卷积块，并且每个残差卷积块包括多个基础卷积运算单元，所述多个基础卷积运算单元被配置用于针对输入特征执行卷积运算以提取更深层的特征。
[0013]根据本公开的第一方面，在第一超分辨率模型和第二超分辨率模型中，主体推理网络的输入特征和输出特征被跨层连接；每个残差卷积层的输入特征与输出特征被跨层连接；残差卷积层的每个残差块中的第一个基础卷积运算单元和最后一个卷积运算单元的输出特征被跨层连接。
[0014]根据本公开的第二方面，提供了一种视频处理装置，包括：分组单元，被配置为将视频划分为包括预定数量视频帧的组，并将每个组中的视频帧分类为关键帧和非关键帧；视频处理单元，被配置为通过超分辨率模型分别对每个组的关键帧和非关键帧进行超分辨率处理，以获得每个组的关键帧的超分辨率帧和非关键帧的超分辨率帧；编码单元，被配置为将每个组的关键帧的超分辨率帧和非关键帧的超分辨率帧编码为超分辨率视频，其中，所述超分辨率模型是被配置为使用关键帧的超分辨率帧作为对非关键帧的超分辨率处理的参考的模型。
[0015]根据本公开的第二方面，所述超分辨率模型包括第一超分辨率模型和第二超分辨率模型，所述超分辨率模型通过以下方式被训练：通过第一超分辨率模型对关键帧执行单帧图像推理以获得关键帧的超分辨率帧；基于第二超分辨率模型对所述关键帧的超分辨率帧和所述非关键帧的特征进行融合，并基于融合的特征执行推理以获得所述非关键帧的超分辨率帧；根据所述关键帧和所述关键帧的超分辨率帧确定针对第一超分辨率模型的第一损失函数，并基于第一损失函数的值来调整第一超分辨率模型的参数；根据所述非关键帧和所述非关键帧的超分辨率帧来确定针对第二超分辨率模型的第二损失函数，并基于第二
损失函数来调整第二超分辨率模型的参数。
[0016]根据本公开的第二方面，分组单元被配置为：将所述组中的预定类型视频帧分类为关键帧，并将其余的视频帧被分类为非关键帧，或者将所述组中的第一帧分类为关键帧，并将其余的视频帧分类为非关键帧。
[0017]根据本公开的第二方面，第一超分辨率模型和第二超分辨率模型中的每个均包括推理主体网络，所述推理主体网络包括用于执行推理操作的多个残差卷积层和快速上采样层，其中，第一超分辨率模型所包括的通道数量和残差卷积层的数量高于第二超分辨率模型所包括的通道数量和残差卷积层的数量。
[0018]根据本公开的第二方面，第一超分辨率模型被配置为：通过所述多个残差卷积层逐层地计本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：将视频划分为包括预定数量视频帧的组，并将每个组中的视频帧分类为关键帧和非关键帧；通过超分辨率模型分别对每个组的关键帧和非关键帧进行超分辨率处理，以获得每个组的关键帧的超分辨率帧和非关键帧的超分辨率帧；将每个组的关键帧的超分辨率帧和非关键帧的超分辨率帧编码为超分辨率视频，其中，所述超分辨率模型是被配置为使用关键帧的超分辨率帧作为对非关键帧的超分辨率处理的参考的模型。2.如权利要求1所述的方法，其特征在于，所述超分辨率模型包括第一超分辨率模型和第二超分辨率模型，所述超分辨率模型通过以下方式被训练：通过第一超分辨率模型对关键帧执行单帧图像推理以获得关键帧的超分辨率帧；基于第二超分辨率模型对所述关键帧的超分辨率帧和所述非关键帧的特征进行融合，并基于融合的特征执行推理以获得所述非关键帧的超分辨率帧；根据所述关键帧和所述关键帧的超分辨率帧确定针对第一超分辨率模型的第一损失函数，并基于第一损失函数的值来调整第一超分辨率模型的参数；根据所述非关键帧和所述非关键帧的超分辨率帧来确定针对第二超分辨率模型的第二损失函数，并基于第二损失函数来调整第二超分辨率模型的参数。3.如权利要求2所述的方法，其特征在于，第一超分辨率模型和第二超分辨率模型中的每个均包括推理主体网络，所述推理主体网络包括用于执行推理操作的多个残差卷积层和快速上采样层，其中，第一超分辨率模型所包括的通道数量和残差卷积层的数量高于第二超分辨率模型所包括的通道数量和残差卷积层的数量。4.如权利要求3所述的方法，其特征在于，通过第一超分辨率模型对关键帧执行单帧图像推理以获得关键帧的超分辨率帧包括：通过所述多个残差卷积层逐层地计算关键帧的深度特征；通过快速上采样层将关键帧的深度特征上采样为具有高分辨率的关键帧的超分辨率帧。5.如权利要求3所述的方法，其特征在于，所述第二超分辨率模型还包括第一特征提取器、第二特征提取器和拼接单元，其中，基于第二超分辨率模型对所述关键帧的超分辨率帧和所述非关键帧的特征进行融合，并基于融合的特征执行推理以获得所述非关键帧的超分辨率帧包括：通过第一特征提取器提取所述关键帧的超分辨率帧的特征并通过第二特征提取器所述非关键帧的特征；通过拼接单元对提取的所述关键帧的超分辨率帧的特征和所述非关键帧的特征进行特征...
【专利技术属性】
技术研发人员：丁予康，周雅，徐宁，闻兴，戴宇荣，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。