视频处理方法、视频处理装置及终端设备制造方法及图纸

本申请适用于视频处理技术领域，提供了一种视频处理方法、视频处理装置、终端设备及计算机可读存储介质，包括：获取待处理视频；将所述待处理视频分解成多个视频片段；通过基于深度学习的第一编码模型对每个视频片段中的I帧进行编码；获取所述每个视频片段中每层插值的R帧和所述每个视频片段中每层插值的R帧的上下文帧；根据所述每个视频片段中每层插值的R帧的上下文帧和基于深度学习的第二编码模型，对所述每个视频片段中每层插值的R帧进行编码。通过本申请可解决现有技术中视频编码过程较为繁琐，编码效果较差的问题。

【技术实现步骤摘要】
视频处理方法、视频处理装置及终端设备
本申请属于视频处理
，尤其涉及一种视频处理方法、视频处理装置、终端设备及计算机可读存储介质。
技术介绍
视频是一个非常重要的信息载体，利用人眼视觉暂留的原理，通过播放一系列的图片，使人眼产生运动的感觉。然而原始视频所占空间较大，不利于存储或传输，视频应用的一项关键技术就是视频压缩，通过视频压缩可以减小视频的大小，使视频占用较少存储空间。传统的视频编解码模块众多，需要依赖大量的含有经验的人工设计与人工优化，编码过程较为繁琐，编码效果较差。
技术实现思路
有鉴于此，本申请实施例提供了一种视频处理方法、视频处理装置、终端设备及计算机可读存储介质，以解决现有技术中视频编码过程较为繁琐，编码效果较差的问题。本申请实施例的第一方面提供了一种视频处理方法，所述视频处理方法包括：获取待处理视频；将所述待处理视频分解成多个视频片段，其中，每个视频片段包括一个I帧和多个R帧，I帧为所述每个视频片段中的关键帧，R帧为所述每个视频片段中除I帧之外的帧；通过基于深度学习的第一编码模型对所述每个视频片段中的I帧进行编码；获取所述每个视频片段中每层插值的R帧和所述每个视频片段中每层插值的R帧的上下文帧；根据所述每个视频片段中每层插值的R帧的上下文帧和基于深度学习的第二编码模型，对所述每个视频片段中每层插值的R帧进行编码。本申请实施例的第二方面提供了一种视频处理装置，所述视频处理装置包括：视频获取模块，用于获取待处理视频；视频分解模块，用于将所述待处理视频分解成多个视频片段，其中，每个视频片段包括一个I帧和多个R帧，I帧为所述每个视频片段中的关键帧，R帧为所述每个视频片段中除I帧之外的帧；I帧编码模块，用于通过基于深度学习的第一编码模型对所述每个视频片段中的I帧进行编码；插值帧获取模块，用于获取所述每个视频片段中每层插值的R帧和所述每个视频片段中每层插值的R帧的上下文帧；R帧编码模块，用于根据所述每个视频片段中每层插值的R帧的上下文帧和基于深度学习的第二编码模型，对所述每个视频片段中每层插值的R帧进行编码。本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述视频处理方法的步骤。本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述视频处理方法的步骤。本申请的第五方面提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被一个或多个处理器执行时实现如上述第一方面所述视频处理方法的步骤。由上可见，本申请方案获取到待处理视频之后，先将待处理视频分解成多个视频片段，再通过基于深度学习的第一编码模型对每个视频片段中的I帧进行编码，通过基于深度学习的分层插值算法对每个视频片段中每层插值的R帧进行编码，在对每个视频片段中I帧和R帧进行编码时，无需人工参与，简化了视频编码过程，提升了视频编码效果。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例一提供的视频处理方法的实现流程示意图；图2是分层插值的示例图；图3是上下文模型的结构示例图；图4是本申请实施例二提供的视频处理方法的实现流程示意图；图5是本申请实施例三提供的视频处理装置的示意图；图6是本申请实施例四提供的终端设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。具体实现中，本申请实施例中描述的终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端设备。然而，应当理解的是，终端设备可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。终端设备支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。可以在终端设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。应理解，本实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。参见图1，是本申请实施例一提供的视频处理方法的实现流程示意图，如图所示该视频处理方法可以包括以下步骤：步骤S101，获取待处理视频。步骤S102，将所述待处理视频分解成多个视频片段。其中，每个视频片段包括一个I帧和多个R帧，I帧为所述每个视频片段中的关键帧，R帧为所述每个视频片段中除I帧之外的帧。在本申请实施例中，可以将待处理视频分解成一个个视频片段(GroupOfPicture，GOP)，每个视频片段可以包含预设数量的视频帧，每个视频片段的第一帧为所述每个视频片段本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，所述视频处理方法包括：/n获取待处理视频；/n将所述待处理视频分解成多个视频片段，其中，每个视频片段包括一个I帧和多个R帧，I帧为所述每个视频片段中的关键帧，R帧为所述每个视频片段中除I帧之外的帧；/n通过基于深度学习的第一编码模型对所述每个视频片段中的I帧进行编码；/n获取所述每个视频片段中每层插值的R帧和所述每个视频片段中每层插值的R帧的上下文帧；/n根据所述每个视频片段中每层插值的R帧的上下文帧和基于深度学习的第二编码模型，对所述每个视频片段中每层插值的R帧进行编码。/n

【技术特征摘要】
1.一种视频处理方法，其特征在于，所述视频处理方法包括：
获取待处理视频；
将所述待处理视频分解成多个视频片段，其中，每个视频片段包括一个I帧和多个R帧，I帧为所述每个视频片段中的关键帧，R帧为所述每个视频片段中除I帧之外的帧；
通过基于深度学习的第一编码模型对所述每个视频片段中的I帧进行编码；
获取所述每个视频片段中每层插值的R帧和所述每个视频片段中每层插值的R帧的上下文帧；
根据所述每个视频片段中每层插值的R帧的上下文帧和基于深度学习的第二编码模型，对所述每个视频片段中每层插值的R帧进行编码。


2.如权利要求1所述的视频处理方法，其特征在于，所述每个视频片段包括N层插值，N为大于1的整数，所述N层插值包括首层插值和非首层插值，针对所述首层插值，所述获取所述每个视频片段中每层插值的R帧和所述每个视频片段中每层插值的R帧的上下文帧包括：
根据当前视频片段的I帧和下一个视频片段的I帧，获取所述当前视频片段中所述首层插值的R帧，其中，所述当前视频片段的I帧和所述下一个视频片段的I帧为所述当前视频片段中所述首层插值的R帧的上下文帧；
针对所述非首层插值中的第M层插值，所述第M层插值为所述非首层插值中的任意一层插值，所述获取所述每个视频片段中每层插值的R帧和所述每个视频片段中每层插值的R帧的上下文帧包括：
根据所述当前视频片段中前M-1层插值分别对应的R帧、所述当前视频片段的I帧和所述下一个视频片段的I帧，获取所述当前视频片段中所述第M层插值的R帧，其中，所述当前视频片段中前M-1层插值的R帧、所述当前视频片段的I帧和所述下一个视频片段的I帧为所述当前视频片段中所述第M层插值的R帧的上下文帧，M为大于1且小于或等于N的整数。


3.如权利要求1所述的视频处理方法，其特征在于，所述根据所述每个视频片段中每层插值的R帧的上下文帧和基于深度学习的第二编码模型，对所述每个视频片段中每层插值的R帧进行编码包括：
将所述每个视频片段中每层插值的R帧的上下文帧输入至基于深度学习的上下文模型，输出所述每个视频片段中每层插值的R帧的上下文帧的上下文特征；
将所述每个视频片段中每层插值的R帧输入至所述第二编码模型，并将所述每个视频片段中每层插值的R帧的上下文帧的上下文特征与所述第二编码模型的指定网络层进行融合，以对所述每个视频片段中每层插值的R帧进行编码。


4.如权利要求3所述的视频处理方法，其特征在于，所述视频处理方法还包括：
获取所述每个视频片段中每层插值的R帧与所述每个视频片段中每层插值的R帧的上下文帧的运动估计信息；
根据所述每个视频片段中每层插值的R帧与所述每个视频片段中每层插...

【专利技术属性】
技术研发人员：樊顺利，
申请(专利权)人：武汉TCL集团工业研究院有限公司，
类型：发明
国别省市：湖北;42