视频插帧方法、装置及可读存储介质制造方法及图纸

本公开实施例涉及一种视频插帧方法、装置及可读存储介质，其中，该方法包括：服务端设备获取相邻的第一视频帧和第二视频帧，并通过光流计算获取第一视频帧和第二视频帧之间的第一光流场；服务端设备将第一视频帧、第二视频帧以及第一光流场发送至终端设备，以使终端设备根据接收到的第一视频帧、第二视频帧以及第一光流场进行视频插帧。本公开实施例提供的方法，通过由计算能力更强的服务端设备可进行光流计算，能够减小终端设备的计算量，降低了对终端设备的计算能力要求，进而降低了终端设备的硬件成本，且提高了本公开提供的视频插帧方法的适用范围。法的适用范围。法的适用范围。

【技术实现步骤摘要】
视频插帧方法、装置及可读存储介质


[0001]本公开涉及视频处理
，尤其涉及一种视频插帧方法、装置及可读存储介质。

技术介绍

[0002]视频插帧是指在视频片段的相邻两帧之间插入中间帧，从而将低帧率视频转换为高帧率视频，以达到更流畅的播放体验以及节约带宽的目的。但是，对于计算能力有限的终端设备，实时插帧的效果较差。

技术实现思路

[0003]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种视频插帧方法、装置及可读存储介质。
[0004]第一方面，本公开实施例提供了一种视频插帧方法，包括：
[0005]服务端设备获取第一视频帧和第二视频帧；根据所述第一视频帧和所述第二视频帧进行光流计算，获取所述第一视频帧与所述第二视频帧之间的第一光流场；所述服务端设备向终端设备发送所述第一视频帧、所述第二视频帧以及所述第一光流场。
[0006]在一些可能的设计中，所述根据所述第一视频帧和所述第二视频帧进行光流计算，包括：所述服务端设备对所述第一视频帧和所述第二视频帧分别进行下采样，获取第三视频帧和第四视频帧；根据所述第三视频帧和所述第四视频帧进行光流计算。
[0007]在一些可能的设计中，所述获取所述第一视频帧与所述第二视频帧之间的第一光流场，包括：获取第二光流场；其中，所述第二光流场是所述服务端设备根据所述第一视频帧和第二视频帧进行光流计算获得的光流计算结果；按照预设压缩策略，对所述第二光流场进行压缩处理，获取所述第一光流场。
[0008]在一些可能的设计中，所述按照预设压缩策略，对所述第二光流场进行压缩处理，获取所述第一光流场，包括：按照预设量化比特数或者预设量化级数，对所述第二光流场进行处理，获取所述第一光流场。
[0009]在一些可能的设计中，所述按照预设压缩策略，对所述第二光流场进行压缩处理，获取所述第一光流场，包括：根据所述第一光流场的尺度以及网络传输质量，确定目标压缩比；根据所述目标压缩比，采用预设压缩算法，对所述第二光流场进行压缩，获取所述第一光流场。
[0010]第二方面，本公开实施例提供了一种视频插帧方法，该方法应用于终端设备，所述方法包括：终端设备从服务端设备获取第一视频帧、第二视频帧以及所述第一视频帧与所述第二视频帧之间的第一光流场；所述终端设备根据所述第一视频帧、所述第二视频帧以及所述第一光流场，获取内插帧。
[0011]在一些可能的设计中，所述终端设备根据所述第一视频帧、所述第二视频帧以及所述第一光流场，获取所述内插帧，包括：
[0012]根据所述第一光流场，获取所述第一视频帧与所述内插帧之间的光流场和所述内插帧与所述第二视频帧之间的光流场；
[0013]根据所述第一视频帧与所述内插帧之间的光流场对所述第一视频帧进行映射，获取第一参考帧；并根据所述内插帧与所述第二视频帧之间的光流场，对所述第二视频帧进行映射，获取第二参考帧；
[0014]根据所述第一参考帧和所述第二参考帧，获取所述内插帧。
[0015]在一些可能的设计中，所述根据所述第一光流场，获取所述第一视频帧与所述内插帧之间的光流场和所述内插帧与所述第二视频帧之间的光流场，包括：根据所述第一光流场，获取第二光流场；其中，所述第二光流场是所述服务端设备根据第一视频帧和第二视频帧进行光流计算获得的光流计算结果；根据所述第二光流场，获取所述第一视频帧与所述内插帧之间的光流场和所述内插帧与所述第二视频帧之间的光流场。
[0016]在一些可能的设计中，若所述第一光流场是所述服务端设备按照预设压缩策略对所述第二光流场进行压缩处理获得的；所述根据所述第一光流场，获取第二光流场，包括：按照预设解压策略，对所述第一光流场进行解压，获取所述第二光流场；其中，所述预设解压策略与所述预设压缩策略相对应。
[0017]在一些可能的设计中，若所述第二光流场是所述服务端设备根据第三视频帧和第四视频帧进行光流计算获得的，所述第三视频帧是下采样后的第一视频帧，所述第四视频帧是下采样后的第二视频帧；
[0018]所述根据所述第二光流场，获取所述第一视频帧与所述内插帧之间的光流场和所述内插帧与所述第二视频帧之间的光流场，包括：
[0019]对所述第二光流场进行上采样，获取第三光流场；其中，所述第三光流场的尺度等于所述第一视频帧的尺度，且所述第一视频帧的尺度与所述第二视频帧的尺度相同；
[0020]根据所述第三光流场，获取所述第一视频帧与所述内插帧之间的光流场和所述内插帧与所述第二视频帧之间的光流场。
[0021]在一些可能的设计中，所述根据所述第一光流场，获取所述第一视频帧与所述内插帧之间的光流场和所述内插帧与所述第二视频帧之间的光流场，包括：根据所述第一光流场、以及所述第一视频帧与所述内插帧之间的时间差，获取所述第一视频帧与所述内插帧之间的光流场；根据所述第一光流场、以及所述内插帧与所述第二视频帧之间的时间差，获取所述内插帧与所述第二视频帧之间的光流场。
[0022]在一些可能的设计中，所述根据所述第一参考帧和所述第二参考帧，获取所述内插帧，包括：根据所述内插帧、所述第一视频帧以及所述第二视频帧三者之间的时间线性关系，对所述第一参考帧和所述第二参考帧中相同位置的像素点的像素值进行融合，获取所述内插帧。
[0023]在一些可能的设计中，所述根据所述第一参考帧和/或所述第二参考帧，获取所述内插帧，包括：对所述第一参考帧和所述第二参考帧进行泊松融合处理，获取所述内插帧。
[0024]在一些可能的设计中，所述根据所述第一光流场，获取所述第一视频帧与内插帧之间的光流场和所述内插帧与所述第二视频帧之间的光流场之前，还包括：
[0025]将所述第一视频帧和所述第二视频帧分别作为导向图像，对所述第一光流场进行导向滤波处理，获取导向滤波处理后的第一光流场；
[0026]所述根据所述第一光流场，获取所述第一视频帧与内插帧之间的光流场和所述内插帧与所述第二视频帧之间的光流场，包括：
[0027]根据导向滤波处理后的第一光流场，获取所述第一视频帧与内插帧之间的光流场和所述内插帧与所述第二视频帧之间的光流场。
[0028]在一些可能的设计中，所述根据所述第一参考帧和所述第二参考帧，获取所述内插帧之前，还包括：
[0029]对所述第一参考帧中的无效部分和所述第二参考帧中的无效部分分别进行膨胀处理，获取膨胀处理后的第一参考帧和膨胀处理后的第二参考帧；
[0030]根据所述第一视频帧对膨胀处理后的第一参考帧进行填补，根据所述第二视频帧对膨胀处理后的第二参考帧进行填补。
[0031]第三方面，本公开实施例提供了一种视频插帧装置，该视频插帧装置可以为服务端设备或者服务端设备的一部分，包括：
[0032]获取模块，用于获取第一视频帧和第二视频帧；
[0033]处理模块，用于根据所述第一视频帧和所述第二视频帧进行光流计算，获取所述第一视频帧与所述第二视频帧之间的第一光流场；
...

【技术保护点】

【技术特征摘要】
1.一种视频插帧方法，其特征在于，包括：服务端设备获取第一视频帧和第二视频帧；根据所述第一视频帧和所述第二视频帧进行光流计算，获取所述第一视频帧与所述第二视频帧之间的第一光流场；所述服务端设备向终端设备发送所述第一视频帧、所述第二视频帧以及所述第一光流场。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一视频帧和所述第二视频帧进行光流计算，包括：所述服务端设备对所述第一视频帧和所述第二视频帧分别进行下采样，获取第三视频帧和第四视频帧；根据所述第三视频帧和所述第四视频帧进行光流计算。3.根据权利要求1所述的方法，其特征在于，所述获取所述第一视频帧与所述第二视频帧之间的第一光流场，包括：获取第二光流场；其中，所述第二光流场是所述服务端设备对所述第一视频帧和第二视频帧进行光流计算获得的光流计算结果；按照预设压缩策略，对所述第二光流场进行压缩处理，获取所述第一光流场。4.根据权利要求3所述的方法，其特征在于，所述按照预设压缩策略，对所述第二光流场进行压缩处理，获取所述第一光流场，包括：按照预设量化比特数或者预设量化级数，对所述第二光流场进行处理，获取所述第一光流场。5.根据权利要求3或4所述的方法，其特征在于，所述按照预设压缩策略，对所述第二光流场进行压缩处理，获取所述第一光流场，包括：根据所述第一光流场的尺度以及网络传输质量，确定目标压缩比；根据所述目标压缩比，采用预设压缩算法，对所述第二光流场进行压缩，获取所述第一光流场。6.一种视频插帧方法，其特征在于，包括：终端设备从服务端设备获取第一视频帧、第二视频帧以及所述第一视频帧与所述第二视频帧之间的第一光流场；所述终端设备根据所述第一视频帧、所述第二视频帧以及所述第一光流场，获取内插帧。7.根据权利要求6所述的方法，其特征在于，所述终端设备根据所述第一视频帧、所述第二视频帧以及所述第一光流场，获取内插帧，包括：根据所述第一光流场，获取所述第一视频帧与所述内插帧之间的光流场和所述内插帧与所述第二视频帧之间的光流场；根据所述第一视频帧与所述内插帧之间的光流场对所述第一视频帧进行映射，获取第一参考帧；并根据所述内插帧与所述第二视频帧之间的光流场，对所述第二视频帧进行映射，获取第二参考帧；根据所述第一参考帧和所述第二参考帧，获取所述内插帧。8.根据权利要求7所述的方法，其特征在于，所述根据所述第一光流场，获取所述第一
视频帧与所述内插帧之间的光流场和所述内插帧与所述第二视频帧之间的光流场，包括：根据所述第一光流场，获取第二光流场；其中，所述第二光流场是所述服务端设备根据第一视频帧和第二视频帧进行光流计算获得的光流计算结果；根据所述第二光流场，获取所述第一视频帧与所述内插帧之间的光流场和所述内插帧与所述第二视频帧之间的光流场。9.根据权利要求8所述的方法，其特征在于，若所述第一光流场是所述服务端设备按照预设压缩策略对所述第二光流场进行压缩处理获得的；所述根据所述第一光流场，获取第二光流场，包括：按照预设解压策略，对所述第一光流场进行解压，获取所述第二光流场；其中，所述预设解压策略与所述预设压缩策略相对应。10.根据权利要求8或9所述的视频插帧方法，其特征在于，若所述第二光流场是所述服务端设备根据第三视频帧和第四视频帧进行光流计算获得的，所述第三视频帧是下采样后的第一视频帧，所述第四视频帧是下采样后的第二视频帧；所述根据所述第二光流场，获取所述第一视频帧与所述内插帧之间的光流场和所述内插帧与所述第二视频帧之间的光流场，包括：对所述第二光流场进行上采样，...

【专利技术属性】
技术研发人员：卢文斌，陈璐双，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：