一种视频处理方法及其相关设备技术

本申请公开了一种视频处理方法及其相关设备，对视频流中的视频帧具有良好的超分效果，可以使得超分后的整个视频流具备良好的画质，进而提高用户体验。本申请的方法包括：获取当前视频帧，以及当前视频帧的解码过程中所使用的运动矢量；基于运动矢量对当前视频帧的参考视频帧的特征信息进行变换，得到变换后的特征信息，参考视频帧的特征信息在目标模型对参考视频帧的超分过程中得到；通过目标模型基于变换后的特征信息对当前视频帧进行超分，得到超分后的当前视频帧。超分后的当前视频帧。超分后的当前视频帧。

【技术实现步骤摘要】
一种视频处理方法及其相关设备


[0001]本申请涉及人工智能(artificial intelligence，AI)技术，尤其涉及一种视频处理方法及其相关设备。

技术介绍

[0002]随着技术的飞速发展，视频已经成为了最重要的信息传播载体。为了增强视频的画质，可以通过能够实现超分辨率(super resolution，SR)重建功能的神经网络模型，来提高视频流中各个视频帧的分辨率，从而提供高质量、高分辨率的视频供用户观看。
[0003]目前，在待超分的视频流中，若需要提高当前视频帧的分辨率，可将当前视频帧以及当前视频帧的参考视频帧(例如，当前视频帧的前一视频帧和/或后一视频帧等等)输入至神经网络模型，以使得神经网络模型基于参考视频帧对当前视频帧进行超分辨率重建(也可以称为超分)，得到超分后的当前视频帧。
[0004]可见，在针对当前视频帧的超分过程中，神经网络模型仅以参考视频帧自身为参考基准，所考虑的因素较为单一，神经网络模型输出的超分后的当前视频帧不够优质(无法具备理想的分辨率)，以致于超分后的整个视频流的画质依旧不够良好，导致用户体验不佳。

技术实现思路

[0005]本申请实施例提供了一种视频处理方法及其相关设备，对视频流中的视频帧具有良好的超分效果，可以使得超分后的整个视频流具备良好的画质，进而提高用户体验。
[0006]本申请实施例的第一方面提供了一种视频处理方法，该方法包括：
[0007]当需要对已解码的当前视频帧进行超分辨率重建时，可先获取当前视频帧以及当前视频帧的解码过程中所使用的运动矢量。
[0008]得到当前视频帧以及当前视频帧的解码过程中所使用的运动矢量后，可利用当前视频帧的解码过程中所使用的运动矢量对参考视频帧的特征信息进行变换，得到参考视频帧的变换后的特征信息，也就是参考视频帧对齐至当前视频帧的特征信息。需要说明的是，参考视频帧的特征信息是在目标模型对参考视频帧的超分过程中得到的，关于目标模型对参考视频帧的超分过程，可参考后续目标模型对当前视频帧的超分过程的相关说明部分，此处先不展开。
[0009]得到变换后的特征信息后，可将变换后的特征信息以及当前视频帧输入至目标模型(例如，已训练的循环神经网络模型)，以通过目标模型基于变换后的特征信息对当前视频帧进行超分辨率重建，得到超分后的当前视频帧。
[0010]从上述方法可以看出：在获取当前视频帧以及当前视频帧的解码过程中所使用的运动矢量后，可基于运动矢量对当前视频帧的参考视频帧的特征信息进行变换，从而得到变换后的特征信息，其中，参考视频帧的特征信息在目标模型对参考视频帧的超分过程中得到。然后，可通过目标模型基于变换后的特征信息对当前视频帧进行超分，从而得到超分
后的当前视频帧。前述过程中，目标模型可基于参考视频帧的变换后的特征信息对当前视频帧进行超分，由于参考视频帧的变换后的特征信息是基于当前视频帧的解码过程中所使用的运动矢量对参考视频帧的特征信息进行变换得到的，可见，在目标模型对当前视频帧的超分过程中，不仅考虑了参考视频帧本身的信息，还考虑了参考视频帧和当前视频帧之间图像块的位置对应关系，所考虑的因素较为全面，故目标模型最终输出的超分后的当前视频帧是足够优质的(具备较为理想的分辨率)，以使得超分后的整个视频流具备良好的画质，进而提高用户体验。
[0011]在一种可能实现的方式中，基于运动矢量对参考视频帧的特征信息进行变换，得到变换后的特征信息包括：通过扭曲算法对运动矢量以及参考视频帧的特征信息进行计算，得到变换后的特征信息。前述实现方式中，可通过扭曲算法(例如，双线性差值法、双三次差值法等等)对当前视频帧的解码过程中所使用的运动矢量以及参考视频帧的特征信息进行计算，从而准确得到变换后的特征信息。
[0012]在一种可能实现的方式中，通过目标模型基于变换后的特征信息对当前视频帧进行超分，得到超分后的当前视频帧包括：通过目标模型对当前视频帧进行特征提取，得到当前视频帧的第一特征；通过目标模型对变换后的特征信息以及第一特征进行融合，得到当前视频帧的第二特征；通过目标模型对第二特征进行特征提取，得到当前视频帧的第三特征，第三特征作为超分后的当前视频帧。前述实现方式中，将变换后的特征信息以及当前视频帧输入至目标模型后，目标模型可先对当前视频帧进行特征提取，从而得到当前视频帧的第一特征。得到当前视频帧的第一特征后，目标模型可对变换后的特征信息以及当前视频帧的第一特征进行融合，从而得到当前视频帧的第二特征。得到当前视频帧的第二特征后，目标模型可继续对当前视频帧的第二特征进行特征提取，从而得到当前视频帧的第三特征，目标模型可将第三特征直接作为超分后的当前视频帧，并对外输出。
[0013]在一种可能实现的方式中，该方法还包括：通过目标模型对第三特征以及当前视频帧进行融合，得到超分后的当前视频帧。前述实现方式中，得到当前视频帧的第三特征后，目标模型可对当前视频帧的第三特征以及当前视频帧进行融合，从而得到并对外输出超分后的当前视频帧。
[0014]在一种可能实现的方式中，第三特征或超分后的当前视频帧作为当前视频帧的特征信息。前述实现方式中，目标模型可通过以下多种方式来获取当前视频帧的特征信息：得到当前视频帧的第三特征后，目标模型可直接将当前视频帧的第三特征作为当前视频帧的特征信息，并对外输出以供下一个视频帧的超分过程使用；得到超分后的当前视频帧后，目标模型可直接将超分后的当前视频帧作为当前视频帧的特征信息，并对外输出以供下一个视频帧的超分过程使用。
[0015]在一种可能实现的方式中，该方法还包括：通过目标模型对第三特征或超分后的当前视频帧进行特征提取，得到当前视频帧的特征信息。目标模型还可通过以下多种方式来获取当前视频帧的特征信息：得到当前视频帧的第三特征后，目标模型可继续对当前视频帧的第三特征进行特征提取，从而得到当前视频帧的特征信息；得到超分后的当前视频帧后，目标模型可继续对超分后的当前视频帧进行特征提取，从而得到当前视频帧的特征信息。
[0016]在一种可能实现的方式中，当前视频帧包含N个图像块，获取当前视频帧的解码过
程中所使用的运动矢量包括：从压缩视频流中，获取当前视频帧中M个图像块的解码过程中所使用的运动矢量，N≥2，N＞M≥1；基于M个图像块的解码过程中所使用的运动矢量，计算N
‑
M个图像块的解码过程中所使用的运动矢量，或，将预设值确定为N
‑
M个图像块的解码过程中所使用的运动矢量。前述实现方式中，若当前视频帧包含的N个图像块中，仅有M个图像块出现在当前视频帧的参考视频帧中，也就是说，当前视频帧和参考视频帧的内容仅部分相同，还有部分不相同，此时，压缩视频流仅提供这M个图像块对应的运动矢量，由于压缩视频流并未提供当前视频帧的其余N
‑
M个图像块对应的运动矢量，故通过以下多种方式来计算这N
‑
M个图像块对应的运动矢量：将预设值直接作为这N
‑
M个图像块对应的运动矢量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，所述方法包括：获取当前视频帧，以及所述当前视频帧的解码过程中所使用的运动矢量；基于所述运动矢量对所述当前视频帧的参考视频帧的特征信息进行变换，得到变换后的特征信息，所述参考视频帧的特征信息在目标模型对所述参考视频帧的超分过程中得到；通过所述目标模型基于所述变换后的特征信息对所述当前视频帧进行超分，得到超分后的当前视频帧。2.根据权利要求1所述的方法，其特征在于，所述基于所述运动矢量对所述参考视频帧的特征信息进行变换，得到变换后的特征信息包括：通过扭曲算法对所述运动矢量以及所述参考视频帧的特征信息进行计算，得到变换后的特征信息。3.根据权利要求1或2所述的方法，其特征在于，所述通过所述目标模型基于所述变换后的特征信息对所述当前视频帧进行超分，得到超分后的当前视频帧包括：通过所述目标模型对所述当前视频帧进行特征提取，得到所述当前视频帧的第一特征；通过所述目标模型对所述变换后的特征信息以及所述第一特征进行融合，得到所述当前视频帧的第二特征；通过所述目标模型对所述第二特征进行特征提取，得到所述当前视频帧的第三特征，所述第三特征作为超分后的当前视频帧。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：通过所述目标模型对所述第三特征以及所述当前视频帧进行融合，得到超分后的当前视频帧。5.根据权利要求4所述的方法，其特征在于，所述第三特征或所述超分后的当前视频帧作为所述当前视频帧的特征信息。6.根据权利要求4所述的方法，其特征在于，所述方法还包括：通过所述目标模型对所述第三特征或所述超分后的当前视频帧进行特征提取，得到所述当前视频帧的特征信息。7.根据权利要求1至6任意一项所述的方法，其特征在于，所述当前视频帧包含N个图像块，所述获取当前视频帧的解码过程中所使用的运动矢量包括：从压缩视频流中，获取所述当前视频帧中M个图像块的解码过程中所使用的运动矢量，N≥2，N＞M≥1；基于所述M个图像块的解码过程中所使用的运动矢量，计算N
‑
M个图像块的解码过程中所使用的运动矢量，或，将预设值确定为所述N
‑
M个图像块的解码过程中所使用的运动矢量。8.一种视频处理方法，其特征在于，所述方法包括：获取当前视频帧，以及所述当前视频帧的解码过程中所使用的残差信息；通过目标模型基于所述参考视频帧的特征信息以及所述残差信息，对所述当前视频帧进行超分，得到超分后的当前视频帧，所述参考视频帧的特征信息在所述目标模型对所述参考视频帧的超分处理中得到。
9.根据权利要求8所述的方法，其特征在于，所述通过所述目标模型基于所述参考视频帧的特征信息以及所述残差信息，对所述当前视频帧进行超分，得到超分后的当前视频帧包括：通过所述目标模型对所述当前视频帧进行特征提取，得到所述当前视频帧的第一特征；通过所述目标模型对所述参考视频帧的特征信息以及所述第一特征进行融合，得到所述当前视频帧的第二特征；通过所述目标模型对所述第二特征进行特征提取，得到所述当前视频帧的第三特征；通过所述目标模型基于所述残差信息对所述第三特征进行特征提取，得到所述当前视频帧的第四特征，所述第四特征作为超分后的当前视频帧。10.根据权利要求9所述的方法，其特征在于，所述残差信息包含所述当前视频帧中N个图像块的解码过程中所使用的残差信息，所述通过所述目标模型基于所述残差信息对所述第三特征进行特征提取，得到所述当前视频帧的第四特征包括：通过所述目标模型在所述N个图像块中，确定残差信息大于预置的残差阈值的P个图像块，N≥2，N＞P≥1；通过所述目标模型对所述第三特征中与所述P个图像块对应的特征进行特征提取，得到所述当前视频帧的第四特征。11.根据权利要求9或10所述的方法，其特征在于，所述方法还包括：通过所述目标模型对所述第四特征以及所述当前视频帧进行融合，得到超分后的当前视频帧。12.根据权利要求11所述的方法，其特征在于，所述第三特征、所述第四特征或所述超分后的当前视频帧作为所述当前视频帧的特征信息。13.根据权利要求11所述的方法，其特征在于，所述方法还包括：通过所述目标模型对所述第三特征、所述第四特征或所述超分后的当前视频帧进行特征提取，得到所述当前视频帧的特征信息。14.一种模型训练方法，其特征在于，所述方法包括：获取当前视频...

【专利技术属性】
技术研发人员：郭佳明，邹学益，刘毅，张恒胜，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：