视频处理方法、装置及存储介质制造方法及图纸

本申请提供一种视频处理方法、装置及存储介质，该方法通过获取第一视频，进而，根据第一视频的帧率和总帧数，以及第二视频的帧率，确定第一视频中每相邻两帧之间需要插帧的数量，从而，根据该数量，对第一视频进行插帧，获得第三视频，然后对第三视频中第一视频的视频帧和插出来的视频帧，分别进行非插帧超分和插帧超分，获得第二视频。其中，本申请实施例将插帧、插帧超分和非插帧超分三部分分离，每个部分可以自由设计提升效果，更加灵活，并且上述插帧可以实现任意目标帧率的提升，上述非插帧超分和插帧超分可以实现任意目标分辨率的提升，进一步提高了时空超分的灵活性，获得了较佳的时空超分结果，提升了视频的清晰度和流畅度。提升了视频的清晰度和流畅度。提升了视频的清晰度和流畅度。

【技术实现步骤摘要】
视频处理方法、装置及存储介质


[0001]本申请涉及视频处理技术，尤其涉及一种视频处理方法、装置及存储介质。

技术介绍

[0002]随着视频技术以及互联网技术的发展，用户在个人计算机、手机、平板等电子设备上观看视频已经成为一种普遍的现象，各类视频的数量正在飞速增长。
[0003]用户对视频的需求越来越多样化，针对一些视频，需要进行修改后再播放。例如，为了提高视频的清晰度和流畅度，用户将低分辨低帧率的源视频，通过时空超分得到高分辨率高帧率的目标视频后播放。
[0004]然而，现有的时空超分方法有很多限制，例如只能实现固定倍数的插帧和固定倍数的超分，插帧和超分灵活性较低，获得的时空超分结果较差。

技术实现思路

[0005]为解决现有技术中存在的问题，本申请提供一种视频处理方法、装置及存储介质。
[0006]第一方面，本申请实施例提供一种视频处理方法，包括：
[0007]获取第一视频；
[0008]根据所述第一视频的帧率和总帧数，以及第二视频的帧率，确定所述第一视频中每相邻两帧之间需要插帧的数量，其中，所述第一视频的帧率小于所述第二视频的帧率；
[0009]根据所述每相邻两帧之间需要插帧的数量，对所述第一视频进行插帧，获得第三视频；
[0010]若所述第三视频的分辨率小于所述第二视频的分辨率，则对所述第三视频中所述第一视频的视频帧进行非插帧超分，并对所述第三视频中除所述第一视频的视频帧外剩余的视频帧进行插帧超分，获得所述第二视频。
[0011]在一种可能的实现方式中，所述对所述第三视频中所述第一视频的视频帧进行非插帧超分，并对所述第三视频中除所述第一视频的视频帧外剩余的视频帧进行插帧超分，获得所述第二视频，包括：
[0012]基于所述第三视频中所述第一视频的视频帧Ai，以及所述第一视频中与所述视频帧Ai相邻的多个视频帧，进行非插帧超分，并基于所述第三视频中除所述第一视频的视频帧外剩余的视频帧Bi_j，以及所述第一视频中与所述视频帧Bi_j相邻的多个视频帧，进行插帧超分，获得所述第二视频，其中，所述视频帧Ai为所述第一视频中任意一个视频帧，所述视频帧Bi_j为所述第三视频中除所述第一视频的视频帧外剩余的视频帧中任意一个视频帧，i＝1,2,
……
,n，n根据所述第一视频中的视频帧的数量确定，j＝1,2,
……
,ki，ki根据所述第三视频中除所述第一视频的视频帧外剩余的视频帧的数量确定。
[0013]在一种可能的实现方式中，所述基于所述第三视频中所述第一视频的视频帧Ai，以及所述第一视频中与所述视频帧Ai相邻的多个视频帧，进行非插帧超分，包括：
[0014]将所述视频帧Ai，以及所述第一视频中与所述视频帧Ai最相邻和次相邻的多个视
频帧，输入预设非插帧超分模型，进行非插帧超分，所述预设非插帧超分模型用于基于所述第二视频的分辨率对所述第三视频中所述第一视频的视频帧进行超分。
[0015]在一种可能的实现方式中，所述基于所述第三视频中除所述第一视频的视频帧外剩余的视频帧Bi_j，以及所述第一视频中与所述视频帧Bi_j相邻的多个视频帧，进行插帧超分，包括：
[0016]将所述视频帧Bi_j，以及所述第一视频中与所述视频帧Bi_j最相邻和次相邻的多个视频帧，输入预设插帧超分模型，进行插帧超分，所述预设插帧超分模型用于基于所述第二视频的分辨率对所述第三视频中除所述第一视频的视频帧外剩余视频帧进行超分。
[0017]在一种可能的实现方式中，所述根据所述第一视频的帧率和总帧数，以及第二视频的帧率，确定所述第一视频中每相邻两帧之间需要插帧的数量，包括：
[0018]根据所述第一视频的帧率和总帧数，以及所述第二视频的帧率，获得所述第一视频对应的拷贝帧序列；
[0019]根据所述拷贝帧序列的每一重复拷贝的视频帧的时间戳，以及所述每一重复拷贝的视频帧对应的所述第一视频的视频帧的时间戳，确定待插帧区间；
[0020]根据所述待插帧区间，确定所述第一视频中每相邻两帧之间需要插帧的数量。
[0021]在一种可能的实现方式中，所述根据所述第一视频的帧率和总帧数，以及所述第二视频的帧率，获得所述第一视频对应的拷贝帧序列，包括：
[0022]根据所述第一视频的帧率和总帧数，以及所述第二视频的帧率，确定所述第二视频的总帧数；
[0023]根据所述第一视频的帧率和总帧数，以及所述第二视频的帧率和总帧数，确定所述第一视频中各个视频帧的时间戳和所述第二视频中各个视频帧的时间戳；
[0024]根据所述第一视频中各个视频帧的时间戳、所述第二视频中各个视频帧的时间戳，以及预设时间差范围，对所述第一视频进行拷贝，获得所述第一视频对应的拷贝帧序列。
[0025]在一种可能的实现方式中，所述根据所述第一视频中各个视频帧的时间戳、所述第二视频中各个视频帧的时间戳，以及预设时间差范围，对所述第一视频进行拷贝，获得所述第一视频对应的拷贝帧序列，包括：
[0026]根据所述第一视频中各个视频帧的时间戳和所述第二视频中各个视频帧的时间戳，确定所述第二视频中各个视频帧与所述第一视频中各个视频帧之间的时间差；
[0027]根据所述时间差和所述预设时间差范围，确定所述第二视频中各个视频帧对应的视频帧，并基于所述第二视频中各个视频帧对应的视频帧，对所述第一视频进行拷贝，获得所述第一视频对应的拷贝帧序列。
[0028]在一种可能的实现方式中，所述根据所述拷贝帧序列的每一重复拷贝的视频帧的时间戳，以及所述每一重复拷贝的视频帧对应的所述第一视频的视频帧的时间戳，确定待插帧区间，包括：
[0029]根据所述拷贝帧序列的每一重复拷贝的视频帧的时间戳，以及所述每一重复拷贝的视频帧对应的所述第一视频的视频帧的时间戳，确定所述拷贝帧序列的每一重复拷贝的视频帧中的一个视频帧作为应从所述第一视频中拷贝的视频帧；
[0030]基于所述拷贝帧序列的每一重复拷贝的视频帧中，除所述一个视频帧外剩余的视
频帧，确定所述待插帧区间。
[0031]在一种可能的实现方式中，所述根据所述拷贝帧序列的每一重复拷贝的视频帧的时间戳，以及所述每一重复拷贝的视频帧对应的所述第一视频的视频帧的时间戳，确定所述拷贝帧序列的每一重复拷贝的视频帧中的一个视频帧作为应从所述第一视频中拷贝的视频帧，包括：
[0032]根据所述拷贝帧序列的每一重复拷贝的视频帧的时间戳，以及所述每一重复拷贝的视频帧对应的所述第一视频的视频帧的时间戳，判断所述拷贝帧序列的每一重复拷贝的视频帧中是否有时间戳大于对应的所述第一视频的视频帧的时间戳的视频帧；
[0033]若所述拷贝帧序列的每一重复拷贝的视频帧中有时间戳大于对应的所述第一视频的视频帧的时间戳的视频帧，则从所述时间戳大于对应的所述第一视频的视频帧的时间戳的视频帧中，确定一个视频帧作为应从所述第一视频中拷贝的视频帧。
[0034]在一种可能的实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：获取第一视频；根据所述第一视频的帧率和总帧数，以及第二视频的帧率，确定所述第一视频中每相邻两帧之间需要插帧的数量，其中，所述第一视频的帧率小于所述第二视频的帧率；根据所述每相邻两帧之间需要插帧的数量，对所述第一视频进行插帧，获得第三视频；若所述第三视频的分辨率小于所述第二视频的分辨率，则对所述第三视频中所述第一视频的视频帧进行非插帧超分，并对所述第三视频中除所述第一视频的视频帧外剩余的视频帧进行插帧超分，获得所述第二视频。2.根据权利要求1所述的方法，其特征在于，所述对所述第三视频中所述第一视频的视频帧进行非插帧超分，并对所述第三视频中除所述第一视频的视频帧外剩余的视频帧进行插帧超分，获得所述第二视频，包括：基于所述第三视频中所述第一视频的视频帧Ai，以及所述第一视频中与所述视频帧Ai相邻的多个视频帧，进行非插帧超分，并基于所述第三视频中除所述第一视频的视频帧外剩余的视频帧Bi_j，以及所述第一视频中与所述视频帧Bi_j相邻的多个视频帧，进行插帧超分，获得所述第二视频，其中，所述视频帧Ai为所述第一视频中任意一个视频帧，所述视频帧Bi_j为所述第三视频中除所述第一视频的视频帧外剩余的视频帧中任意一个视频帧，i＝1,2,
……
,n，n根据所述第一视频中的视频帧的数量确定，j＝1,2,
……
,ki，ki根据所述第三视频中除所述第一视频的视频帧外剩余的视频帧的数量确定。3.根据权利要求2所述的方法，其特征在于，所述基于所述第三视频中所述第一视频的视频帧Ai，以及所述第一视频中与所述视频帧Ai相邻的多个视频帧，进行非插帧超分，包括：将所述视频帧Ai，以及所述第一视频中与所述视频帧Ai最相邻和次相邻的多个视频帧，输入预设非插帧超分模型，进行非插帧超分，所述预设非插帧超分模型用于基于所述第二视频的分辨率对所述第三视频中所述第一视频的视频帧进行超分。4.根据权利要求2所述的方法，其特征在于，所述基于所述第三视频中除所述第一视频的视频帧外剩余的视频帧Bi_j，以及所述第一视频中与所述视频帧Bi_j相邻的多个视频帧，进行插帧超分，包括：将所述视频帧Bi_j，以及所述第一视频中与所述视频帧Bi_j最相邻和次相邻的多个视频帧，输入预设插帧超分模型，进行插帧超分，所述预设插帧超分模型用于基于所述第二视频的分辨率对所述第三视频中除所述第一视频的视频帧外剩余视频帧进行超分。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述第一视频的帧率和总帧数，以及第二视频的帧率，确定所述第一视频中每相邻两帧之间需要插帧的数量，包括：根据所述第一视频的帧率和总帧数，以及所述第二视频的帧率，获得所述第一视频对应的拷贝帧序列；根据所述拷贝帧序列的每一重复拷贝的视频帧的时间戳，以及所述每一重复拷贝的视频帧对应的所述第一视频的视频帧的时间戳，确定待插帧区间；根据所述待插帧区间，确定所述第一视频中每相邻两帧之间需要插帧的数量。6.根据权利要求5所述的方法，其特征在于，所述根据所述第一视频的帧率和总帧数，
以及所述第二视频的帧率，获得所述第一视频对应的拷贝帧序列，包括：根据所述第一视频的帧率和总帧数，以及所述第二视频的帧率，确定所述第二视频的总帧数；根据所述第一视频的帧率和总帧数，以及所述第二视频的帧率和总帧数，确定所述第一视频中各个视频帧的时间戳和所述第二视频中各个视频帧的时间戳；根据所述第一视频中各个视频帧的时间戳、所述第二视频中各个视频帧的时间戳，以及预设时间差范围，对所述第一视频进行拷贝，获得所述第一视频对应的拷贝帧序列。7.根据权利要求6所述的方法，其特征在于，所述根据所述第一视频中各个视频帧的时间戳、所述第二视频中各个视频帧的时间戳，以及预设时间差范围，对所述第一视频进行拷贝，获得所述第一视频对应的拷贝帧序列，包括：根据所述第一视频中各个视频帧的...

【专利技术属性】
技术研发人员：王庆，赵世杰，李军林，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：