视频处理方法、系统、计算机设备及计算机可读存储介质技术方案

本公开提供了一种视频处理方法、系统、计算机设备及计算机可读存储介质。实现方案为：在云端设备处：获取待传输的视频文件的多个图像帧；确定多个图像帧中是否包括目标图像帧；响应于确定多个图像帧中包括目标图像帧，生成与目标图像帧相关的云端分析信息；基于云端分析信息和多个图像帧生成待处理视频文件；以及在终端设备处：获取待处理视频文件；基于待处理视频文件所携带的云端分析信息，获取多个图像帧中的目标图像帧以及除此之外的其他图像帧；对多个图像帧中的目标图像帧应用针对目标场景的第一图像处理操作或者针对目标图像内容的第二图像处理操作中的至少一者，以得到经处理的多个图像帧；基于经处理的多个图像帧生成经处理的视频文件。成经处理的视频文件。成经处理的视频文件。

【技术实现步骤摘要】
视频处理方法、系统、计算机设备及计算机可读存储介质


[0001]本公开涉及视频处理
，尤其涉及视频图像处理领域，特别是涉及一种视频处理方法、系统、计算机设备和计算机可读存储介质。

技术介绍

[0002]在视频在线播放和直播的过程中，需要对视频的画面进行处理以提升视频质量，从而为用户提供更好的观感。一般来说，提升视频质量会涉及视频超分辨率（Video Super Resolution）、视频增强（Video Enhancement）等操作。随着视频平台和直播平台的兴起，用户对视频的画质和视频的图像处理效率提出了更高的要求。如何在维持低带宽传输的同时实现视频质量的提升，仍然是业界的研究热点和难点之一。

技术实现思路

[0003]本公开提供了一种视频处理方法、系统、计算机设备和计算机可读存储介质。
[0004]根据本公开的一方面，提供了一种视频处理方法，应用于云端设备和终端设备两侧，方法包括：在云端设备处：获取待传输的视频文件的多个图像帧；确定多个图像帧中是否包括目标图像帧，其中，目标图像帧具有目标区域或者用户所关注的目标场景中的至少一者，目标区域具有用户所关注的目标图像内容；响应于确定多个图像帧中包括目标图像帧，生成与目标图像帧相关的云端分析信息；以及基于云端分析信息和多个图像帧，生成用于传输的待处理视频文件，其中，待处理视频文件携带云端分析信息，云端分析信息指示目标图像帧在多个图像帧中的帧位置，以使得多个图像帧中的目标图像帧能够被应用针对目标场景的第一图像处理操作或者针对目标图像内容的第二图像处理操作中的至少一者；以及在终端设备处：获取待处理视频文件；基于待处理视频文件所携带的云端分析信息，获取多个图像帧中的目标图像帧以及除目标图像帧外的其他图像帧；对多个图像帧中的目标图像帧应用针对目标场景的第一图像处理操作或者针对目标图像内容的第二图像处理操作中的至少一者，以得到经处理的多个图像帧；以及基于经处理的多个图像帧，生成经处理的视频文件。
[0005]根据本公开的另一方面，提供了一种视频处理系统，包括应用于云端设备的第一视频处理装置和应用于终端设备的第二视频处理装置，其中，第一视频处理装置包括：图像帧获取模块，被配置为获取待传输的视频文件的多个图像帧；目标图像帧确定模块，被配置为确定多个图像帧中是否包括目标图像帧，其中，目标图像帧具有目标区域或者用户所关注的目标场景中的至少一者，目标区域具有用户所关注的目标图像内容；云端分析信息生成模块，被配置为响应于确定多个图像帧中包括目标图像帧，生成与目标图像帧相关的云端分析信息；以及视频文件生成模块，被配置为基于云端分析信息和多个图像帧，生成用于传输的待处理视频文件，其中，待处理视频文件携带云端分析信息，云端分析信息指示目标图像帧在多个图像帧中的帧位置，以使得多个图像帧中的目标图像帧能够被应用针对目标场景的第一图像处理操作或者针对目标图像内容的第二图像处理操作中的至少一者；其
中，第二视频处理装置包括：视频文件获取模块，被配置为获取待处理视频文件；图像帧分类模块，被配置为基于待处理视频文件所携带的云端分析信息，获取多个图像帧中的目标图像帧以及除目标图像帧外的其他图像帧；图像处理模块，被配置为对多个图像帧中的目标图像帧应用针对目标场景的第一图像处理操作或者针对目标图像内容的第二图像处理操作中的至少一者，以得到经处理的多个图像帧；以及视频生成模块，被配置为基于经处理的多个图像帧，生成经处理的视频文件。
[0006]根据本公开的另一方面，提供了一种计算机设备，包括：至少一个处理器；以及存储器，其上存储有计算机程序，计算机程序在被处理器执行时，使处理器执行本公开如上所提供的方法。
[0007]根据本公开的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，使处理器执行本公开如上所提供的方法。
[0008]根据本公开的一个或多个实施例，可以在维持低带宽传输的同时实现视频质量的提升。
[0009]根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。
附图说明
[0010]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
[0011]图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系统的示意图；图2是图示出根据示例性实施例的视频处理方法的流程图；图3是图示出根据示例性实施例的确定目标区域的示意图；图4是图示出根据示例性实施例的确定目标区域的区域位置的示意图；图5是图示出根据另一示例性实施例的视频处理方法的示意图；图6是图示出根据示例性实施例的第一视频处理装置的示意性框图；图7是图示出根据示例性实施例的第二视频处理装置的示意性框图；图8是图示出能够应用于示例性实施例的示例性计算机设备的框图。
具体实施方式
[0012]在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
[0013]在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。如本文使用的，术语“多个”意指两个或更多，并且术语“基于”应解释为“至少部分地基于”。此外，术语“和/或”以及
“……
中的至少一个”涵盖所列出
的项目中的任何一个以及全部可能的组合方式。
[0014]近年来，视频在线播放和直播等相关行业蓬勃发展，不仅满足了人们的娱乐需求，还影响着其他和人们的生活或工作息息相关的诸多领域，比如电商、购物、交友、教育、会议等。在相关技术中，视频在线播放常常采用视频云的应用模式。在这种模式下，云端设备负责视频储存、视频处理、视频直播、内容分发、短视频等功能，并根据用户的请求将视频文件发送给诸如手机的终端设备，以为用户提供视频。
[0015]在视频在线播放和直播等业务中，如何提升视频质量以改善用户的观看体验是一个十分重要的问题。为了提升视频质量，常见的操作包括视频超分辨率和视频增强。这类提升视频质量的算法可以部署在云端设备，也可以部署在终端设备。如果将算法部署在云端设备，那么将会给视频压缩带来不小的压力。以应用视频超分辨率操作来提升视频质量的情形为例，视频经过处理后，视频传输对带宽的需求将会大幅增加。而如果将算法部署在终端设备，由于诸如手机的终端设备的算力常常比较有限，难以对视频的全部图像帧应用如此复杂的算法，于是只能够用简单的算法对视频进行处理，无法很好地实现视频质量的提升，满足用户的需本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，应用于云端设备和终端设备两侧，所述方法包括：在所述云端设备处：获取待传输的视频文件的多个图像帧；确定所述多个图像帧中是否包括目标图像帧，其中，所述目标图像帧具有目标区域或者用户所关注的目标场景中的至少一者，所述目标区域具有用户所关注的目标图像内容；响应于确定所述多个图像帧中包括目标图像帧，生成与所述目标图像帧相关的云端分析信息；以及基于所述云端分析信息和所述多个图像帧，生成用于传输的待处理视频文件，其中，所述待处理视频文件携带所述云端分析信息，所述云端分析信息指示所述目标图像帧在所述多个图像帧中的帧位置，以使得所述多个图像帧中的所述目标图像帧能够被应用针对所述目标场景的第一图像处理操作或者针对所述目标图像内容的第二图像处理操作中的至少一者；以及在所述终端设备处：获取所述待处理视频文件；基于所述待处理视频文件所携带的所述云端分析信息，获取所述多个图像帧中的所述目标图像帧以及除所述目标图像帧外的其他图像帧；对所述多个图像帧中的所述目标图像帧应用针对所述目标场景的第一图像处理操作或者针对所述目标图像内容的第二图像处理操作中的至少一者，以得到经处理的多个图像帧；以及基于所述经处理的多个图像帧，生成经处理的视频文件。2.根据权利要求1所述的方法，其中，所述确定所述多个图像帧中是否包括目标图像帧，包括：针对所述多个图像帧中的每一个图像帧：确定所述图像帧对应的场景是否为用户所关注的目标场景；以及响应于确定所述图像帧对应的场景为用户所关注的目标场景，确定所述多个图像帧中包括目标图像帧，其中，所述图像帧为目标图像帧。3.根据权利要求1所述的方法，其中，所述确定所述多个图像帧中是否包括目标图像帧，包括：针对所述多个图像帧中的每一个图像帧：确定所述图像帧中是否具有用户所关注的所述目标图像内容；以及响应于确定所述图像帧中具有用户所关注的所述目标图像内容，确定所述多个图像帧中包括目标图像帧，其中，所述图像帧为目标图像帧，所述图像帧中所述目标图像内容所在的区域为目标区域，所述云端分析信息还指示所述目标区域在所述目标图像帧中的区域位置，以使得所述目标图像帧能够在所述目标区域被应用所述第二图像处理操作。4.根据权利要求1所述的方法，其中，所述确定所述多个图像帧中是否包括目标图像帧，包括：针对所述多个图像帧中的每一个图像帧：确定所述图像帧对应的场景是否为用户所关注的目标场景以及所述图像帧中是否具有用户所关注的所述目标图像内容；以及
响应于确定所述图像帧对应的场景为用户所关注的目标场景且所述图像帧中具有用户所关注的所述目标图像内容，确定所述多个图像帧中包括目标图像帧，其中，所述图像帧为目标图像帧，所述目标图像帧能够被应用所述第一图像处理操作，所述图像帧中所述目标图像内容所在的区域为目标区域，所述云端分析信息还指示所述目标区域在所述目标图像帧中的区域位置，以使得所述目标图像帧能够在所述目标区域被应用所述第二图像处理操作。5.根据权利要求3或4所述的方法，其中，所述目标区域在所述目标图像帧中的所述区域位置以与所述目标区域的形状对应的至少一个特征点在所述目标图像帧中的坐标表示。6.根据权利要求5所述的方法，其中，存在两个特征点，所述目标区域为矩形，并且所述两个特征点分别为所述矩形的两个对角的顶点。7.根据权利要求2或4所述的方法，还包括：在所述目标图像帧具有用户所关注的目标场景的情况下，确定所述目标图像帧对应的场景类别；其中，所述云端分析信息还指示所述目标图像帧对应的场景类别，以使得所述目标图像帧在被应用所述第一图像处理操作时能够使用与所述目标图像帧对应的所述场景类别匹配的图像处理参数。8.根据权利要求1所述的方法，其中，所述目标图...

【专利技术属性】
技术研发人员：高熙和，张磊，姚志军，
申请(专利权)人：瀚博半导体上海有限公司，
类型：发明
国别省市：