用于处理视频的方法和装置制造方法及图纸

本公开实施例公开了用于处理视频的方法和装置。该方法的一具体实施方式包括：从待处理视频中获取包含预设帧数视频帧的视频帧序列；将上述视频帧序列输入预先训练的包括去噪网络、超分辨率重建网络和色彩增强网络的视频处理模型，以便上述视频处理模型执行以下操作：使用上述去噪网络对上述视频帧序列进行去噪处理，得到去噪后的特征信息；将上述特征信息分别输入上述超分辨率重建网络和上述色彩增强网络，分别得到超分辨率重建后的超分辨率视频帧序列和色彩增强后的色彩增强视频帧序列；根据上述超分辨率视频帧序列和上述色彩增强视频帧序列，生成处理后的视频帧序列。该实施方式实现了视频的高效处理。

Method and apparatus for processing video

【技术实现步骤摘要】
用于处理视频的方法和装置
本公开实施例涉及计算机
，具体涉及用于处理视频的方法和装置。
技术介绍
随着信息技术的快速发展，用户存储和转发信息的形式也变得多样起来。例如，文字形式、图片形式和视频形式等等，其中，视频已经成为了用户生成内容的主要载体之一。由于用户录制视频的设备多种多样，录制环境纷繁复杂，因此，用户生成的视频可能会存在包含噪声、色彩不理想、传输所需网络带宽高、存储所需空间大等问题。实际应用中，视频超分辨率技术可以将低分辨率的视频转换成高分辨率的视频。视频服务可以传输和存储较低分辨率的视频，为用户播放时利用视频超分辨率技术呈现出高分辨率的视频。这样，在节省带宽和存储空间的同时，可以为用户提供优质的视频观看体验。现阶段，可以依次采用图像去噪方法、图像彩色增强方法和图像超分辨率方法等对视频逐帧进行处理，从而得到处理后的视频。但是，这种逐步对视频帧进行处理的方式视频处理速度慢，且效果不理想。
技术实现思路
本公开实施例提出了用于处理视频的方法和装置。第一方面，本公开实施例提供了一种用于处理视频的方法，该方法包括：从待处理视频中获取包含预设帧数视频帧的视频帧序列；将上述视频帧序列输入预先训练的包括去噪网络、超分辨率重建网络和色彩增强网络的视频处理模型，以便上述视频处理模型执行以下操作：使用上述去噪网络对上述视频帧序列进行去噪处理，得到去噪后的特征信息；将上述特征信息分别输入上述超分辨率重建网络和上述色彩增强网络，分别得到超分辨率重建后的超分辨率视频帧序列和色彩增强后的色彩增强视频帧序列；根据上述超分辨率视频帧序列和上述色彩增强视频帧序列，生成处理后的视频帧序列。在一些实施例中，上述视频处理模型是通过以下方式训练得到的：获取样本集，其中，样本包括样本视频帧序列和样本处理后视频帧序列；将上述样本集中的样本视频帧序列作为输入，将与输入的样本视频帧序列对应的样本处理后视频帧序列作为期望输出，训练得到上述视频处理模型。在一些实施例中，在将上述样本集中的样本视频帧序列作为输入，将与输入的样本视频帧序列对应的样本处理后视频帧序列作为期望输出，训练得到上述视频处理模型之前，上述方法还包括：确定训练前的视频处理模型的初始参数。在一些实施例中，上述确定训练前的视频处理模型的初始参数，包括：使用预设的第一样本集对上述去噪网络进行训练，将训练得到的去噪网络的参数作为第一初始参数，其中，上述第一样本集中的第一样本包括第一视频和第一视频对应的含噪声视频；使用预设的第二样本集对上述超分辨率重建网络进行训练，将训练得到的超分辨率重建网络的参数作为第二初始参数，其中，上述第二样本集中的第二样本为不同分辨率的视频对；使用预设的第三样本集对上述色彩增强网络进行训练，将训练得到的色彩增强网络的参数作为第三初始参数，其中，上述第三样本集中的第三样本为包含不同色彩特征的视频对；使用上述第一初始参数、上述第二初始参数和上述第三初始参数组成训练前的视频处理模型的初始参数。在一些实施例中，上述根据上述超分辨率视频帧序列和上述色彩增强视频帧序列，生成处理后的视频帧序列，包括：对上述超分辨率视频帧序列和上述色彩增强视频帧序列进行对应位置相乘操作，得到处理后的视频帧序列。第二方面，本公开实施例提供了一种用于处理视频的装置，装置包括：获取单元，被配置成从待处理视频中获取包含预设帧数视频帧的视频帧序列；输入单元，被配置成将上述视频帧序列输入预先训练的包括去噪网络、超分辨率重建网络和色彩增强网络的视频处理模型，以便上述视频处理模型执行以下操作：使用上述去噪网络对上述视频帧序列进行去噪处理，得到去噪后的特征信息；将上述特征信息分别输入上述超分辨率重建网络和上述色彩增强网络，分别得到超分辨率重建后的超分辨率视频帧序列和色彩增强后的色彩增强视频帧序列；根据上述超分辨率视频帧序列和上述色彩增强视频帧序列，生成处理后的视频帧序列。在一些实施例中，上述视频处理模型是通过训练单元训练得到的，上述训练单元包括：样本获取单元，被配置成获取样本集，其中，样本包括样本视频帧序列和样本处理后视频帧序列；训练子单元，被配置成将上述样本集中的样本视频帧序列作为输入，将与输入的样本视频帧序列对应的样本处理后视频帧序列作为期望输出，训练得到上述视频处理模型。在一些实施例中，上述训练单元还包括：确定单元，被配置成确定训练前的视频处理模型的初始参数。在一些实施例中，上述确定单元进一步被配置成：使用预设的第一样本集对上述去噪网络进行训练，将训练得到的去噪网络的参数作为第一初始参数，其中，上述第一样本集中的第一样本包括第一视频和第一视频对应的含噪声视频；使用预设的第二样本集对上述超分辨率重建网络进行训练，将训练得到的超分辨率重建网络的参数作为第二初始参数，其中，上述第二样本集中的第二样本为不同分辨率的视频对；使用预设的第三样本集对上述色彩增强网络进行训练，将训练得到的色彩增强网络的参数作为第三初始参数，其中，上述第三样本集中的第三样本为包含不同色彩特征的视频对；使用上述第一初始参数、上述第二初始参数和上述第三初始参数组成训练前的视频处理模型的初始参数。在一些实施例中，上述根据上述超分辨率视频帧序列和上述色彩增强视频帧序列，生成处理后的视频帧序列，包括：对上述超分辨率视频帧序列和上述色彩增强视频帧序列进行对应位置相乘操作，得到处理后的视频帧序列。第三方面，本公开实施例提供了一种设备，该设备包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。第四方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。本公开实施例提供的用于处理视频的方法和装置，首先从待处理视频中获取包含预设帧数视频帧的视频帧序列。之后，将视频帧序列输入预先训练的包括去噪网络、超分辨率重建网络和色彩增强网络的视频处理模型，以便视频处理模型执行以下操作：1)使用去噪网络对视频帧序列进行去噪处理，得到去噪后的特征信息；2)将特征信息分别输入超分辨率重建网络和色彩增强网络，分别得到超分辨率重建后的超分辨率视频帧序列和色彩增强后的色彩增强视频帧序列；3)根据超分辨率视频帧序列和色彩增强视频帧序列，生成处理后的视频帧序列。从而通过使用包括去噪网络、超分辨率重建网络和色彩增强网络的视频处理模型对视频帧序列进行处理，可以快速得到去噪、超分辨率重建和色彩增强之后的视频帧序列，实现了视频的高效处理。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：图1是本公开的一个实施例可以应用于其中的示例性系统架构图；图2是根据本公开的用于处理视频的方法的一个实施例的流程图；图3是根据本公开的用于处理视频的方法的一个应用场景的示意图；图4是根据本公开的用于训练视频处理模型的方法本文档来自技高网...

【技术保护点】
1.一种用于处理视频的方法，包括：/n从待处理视频中获取包含预设帧数视频帧的视频帧序列；/n将所述视频帧序列输入预先训练的包括去噪网络、超分辨率重建网络和色彩增强网络的视频处理模型，以便所述视频处理模型执行以下操作：/n使用所述去噪网络对所述视频帧序列进行去噪处理，得到去噪后的特征信息；/n将所述特征信息分别输入所述超分辨率重建网络和所述色彩增强网络，分别得到超分辨率重建后的超分辨率视频帧序列和色彩增强后的色彩增强视频帧序列；/n根据所述超分辨率视频帧序列和所述色彩增强视频帧序列，生成处理后的视频帧序列。/n

【技术特征摘要】
1.一种用于处理视频的方法，包括：
从待处理视频中获取包含预设帧数视频帧的视频帧序列；
将所述视频帧序列输入预先训练的包括去噪网络、超分辨率重建网络和色彩增强网络的视频处理模型，以便所述视频处理模型执行以下操作：
使用所述去噪网络对所述视频帧序列进行去噪处理，得到去噪后的特征信息；
将所述特征信息分别输入所述超分辨率重建网络和所述色彩增强网络，分别得到超分辨率重建后的超分辨率视频帧序列和色彩增强后的色彩增强视频帧序列；
根据所述超分辨率视频帧序列和所述色彩增强视频帧序列，生成处理后的视频帧序列。


2.根据权利要求1所述的方法，其中，所述视频处理模型是通过以下方式训练得到的：
获取样本集，其中，样本包括样本视频帧序列和样本处理后视频帧序列；
将所述样本集中的样本视频帧序列作为输入，将与输入的样本视频帧序列对应的样本处理后视频帧序列作为期望输出，训练得到所述视频处理模型。


3.根据权利要求2所述的方法，其中，在将所述样本集中的样本视频帧序列作为输入，将与输入的样本视频帧序列对应的样本处理后视频帧序列作为期望输出，训练得到所述视频处理模型之前，所述方法还包括：
确定训练前的视频处理模型的初始参数。


4.根据权利要求3所述的方法，其中，所述确定训练前的视频处理模型的初始参数，包括：
使用预设的第一样本集对所述去噪网络进行训练，将训练得到的去噪网络的参数作为第一初始参数，其中，所述第一样本集中的第一样本包括第一视频和第一视频对应的含噪声视频；
使用预设的第二样本集对所述超分辨率重建网络进行训练，将训练得到的超分辨率重建网络的参数作为第二初始参数，其中，所述第二样本集中的第二样本为不同分辨率的视频对；
使用预设的第三样本集对所述色彩增强网络进行训练，将训练得到的色彩增强网络的参数作为第三初始参数，其中，所述第三样本集中的第三样本为包含不同色彩特征的视频对；
使用所述第一初始参数、所述第二初始参数和所述第三初始参数组成训练前的视频处理模型的初始参数。


5.根据权利要求1所述的方法，其中，所述根据所述超分辨率视频帧序列和所述色彩增强视频帧序列，生成处理后的视频帧序列，包括：
对所述超分辨率视频帧序列和所述色彩增强视频帧序列进行对应位置相乘操作，得到处理后的视频帧序列。


6.一种用于处理视频的装置，包括：
获取单元，被配置成从待处理视频中获取包含预设帧数视频帧的视频帧序列；
输入单元，被配置成将所述视频帧序列输入...

【专利技术属性】
技术研发人员：李超，何栋梁，文石磊，章宏武，丁二锐，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11