视频处理方法、装置、存储介质及设备制造方法及图纸

本申请公开了一种视频处理方法、装置、存储介质及设备，该方法包括：从待处理视频数据中获取高分辨率训练视频；根据高分辨率样本视频生成低分辨率样本视频和重建低分辨率样本视频，重建低分辨率样本视频为低分辨率样本视频对应的有损视频内容；根据重建低分辨率样本视频与高分辨率样本视频确定超分网络的网络参数的变化值，变化值用于学习重建低分辨率样本视频的损失信息；根据网络参数的变化值更新超分网络的网络参数，并根据参数更新后的超分网络对从待处理视频数据中获取的目标低分辨率视频进行超分辨率重建，以生成目标低分辨率视频对应的目标高分辨率视频，可以针对不同视频内容学习不同退化核，提高超分网络的超分效果。果。果。

【技术实现步骤摘要】
视频处理方法、装置、存储介质及设备


[0001]本申请涉及视频处理
，具体涉及一种视频处理方法、装置、存储介质及设备。

技术介绍

[0002]近年来，随着5G的发展及应用，人们对音视频通信的品质要求在不断提高。习惯了高清视觉享受的用户，显然无法接受退回“马赛克时代”。然而，在全球互联网通信云服务中，面对网络和终端的丰富多样和复杂多变，又难免遇到用户带宽不足的情况，因此通常会将视频进行下采样，然后使用视频压缩算法对视频进行压缩，而编码压缩会不可避免地带来量化损失，导致解码后视频存在严重失真。如何在接收端对这些退化的视频进行画质重建，是一个重大挑战，接收端最后获得的高分辨率视频的质量很大程度上依赖于超分算法的选择。
[0003]随着深度学习技术的快速发展，超分辨技术在图像恢复和图像增强等领域展现出广阔的应用前景，成为计算机视觉领域的研究热点，受到学术界和工业界的关注和重视。但是，这些超分算法采用的训练数据无法覆盖所有视频场景，并且退化核基本固定，无法根据图像中的不同内容自适应产生不同的变化，导致超分效果较差，因此怎样解决数据集不足，提高超分网络模型泛化能力以及提高超分效果是急需解决的问题。
[0004]其中，退化核用于表示视频劣化的原因，比如分辨率缩小，模糊等。

技术实现思路

[0005]本申请实施例提供一种视频处理方法、装置、存储介质、设备及程序产品，可以针对不同的视频内容学习不同的退化核，并更新超分网络的网络参数，提高了超分网络的超分效果。
[0006]一方面，本申请实施例提供一种视频处理方法，应用于超分网络，所述方法包括：从待处理视频数据中获取高分辨率训练视频，所述待处理视频数据至少包括直播视频流和点播视频流中的一种；根据所述高分辨率样本视频生成低分辨率样本视频和重建低分辨率样本视频，所述重建低分辨率样本视频为所述低分辨率样本视频对应的有损视频内容；根据所述重建低分辨率样本视频与所述高分辨率样本视频确定所述超分网络的网络参数的变化值，所述网络参数的变化值用于学习所述重建低分辨率样本视频的损失信息；根据所述网络参数的变化值更新所述超分网络的网络参数，以得到参数更新后的超分网络；根据所述参数更新后的超分网络对从所述待处理视频数据中获取的目标低分辨率视频进行超分辨率重建，以生成所述目标低分辨率视频对应的目标高分辨率视频。
[0007]另一方面，本申请实施例提供一种视频处理装置，应用于超分网络，所述装置包
括：获取单元，用于从待处理视频数据中获取高分辨率训练视频，所述待处理视频数据至少包括直播视频流和点播视频流中的一种；处理单元，用于根据所述高分辨率样本视频生成低分辨率样本视频和重建低分辨率样本视频，所述重建低分辨率样本视频为所述低分辨率样本视频对应的有损视频内容；确定单元，用于根据所述重建低分辨率样本视频与所述高分辨率样本视频确定所述超分网络的网络参数的变化值，所述网络参数的变化值用于学习所述重建低分辨率样本视频的损失信息；更新单元，用于根据所述网络参数的变化值更新所述超分网络的网络参数，以得到参数更新后的超分网络；重建单元，用于根据所述参数更新后的超分网络对从所述待处理视频数据中获取的目标低分辨率视频进行超分辨率重建，以生成所述目标低分辨率视频对应的目标高分辨率视频。
[0008]另一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如上任一实施例所述的视频处理方法。
[0009]另一方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如上任一实施例所述的视频处理方法。
[0010]另一方面，本申请实施例提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如上任一实施例所述的视频处理方法。
[0011]本申请实施例通过从待处理视频数据中获取高分辨率训练视频，待处理视频数据至少包括直播视频流和点播视频流中的一种；根据高分辨率样本视频生成低分辨率样本视频和重建低分辨率样本视频，重建低分辨率样本视频为低分辨率样本视频对应的有损视频内容；根据重建低分辨率样本视频与高分辨率样本视频确定超分网络的网络参数的变化值，网络参数的变化值用于学习重建低分辨率样本视频的损失信息；根据网络参数的变化值更新超分网络的网络参数，以得到参数更新后的超分网络；根据参数更新后的超分网络对从待处理视频数据中获取的目标低分辨率视频进行超分辨率重建，以生成目标低分辨率视频对应的目标高分辨率视频。本申请实施例通过根据不同的视频内容确定超分网络的网络参数的变化值，该网络参数的变化值用于学习编解码过程中的损失信息，并基于该变化值更新超分网络的网络参数，然后利用更新后的超分网络对从待处理视频数据中获取的目标低分辨率视频进行超分辨率重建进行超分辨重建，可以针对不同的视频内容学习不同的退化核，并更新超分网络的网络参数，提高了超分网络的超分效果。
附图说明
[0012]图1本申请实施例提供的视频处理方法的流程示意图。
[0013]图2为本申请实施例提供的超分网络的结构示意图。
[0014]图3为本申请实施例提供的超分辨率模块的结构示意图。
[0015]图4为本申请实施例提供的目标卷积层的结构示意图。
[0016]图5为本申请实施例提供的视频处理方法的应用场景示意图。
[0017]图6为本申请实施例提供的视频处理装置的结构示意图。
[0018]图7为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
[0019]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0020]本申请实施例提供一种视频处理方法、装置、存储介质、设备及程序产品。具体地，本申请实施例的视频处理方法可以由计算机设备执行，其中，该计算机设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、智能电视、智能音箱、穿戴式智能设备、智能车载终端等设备，终端还可以包括客户端，该客户端可以是视频客户端、浏览器客户端、即时通信客户端或小程序等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（Content Delivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。
[0021]本申请实施例可应用于视频处理、图像处理、图像恢复、图像增强、人工智能、智慧交通等各种场景。
[0022]首先，在对本申请实施例进行描述的过程中出现的部分名词或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，应用于超分网络，所述方法包括：从待处理视频数据中获取高分辨率训练视频，所述待处理视频数据至少包括直播视频流和点播视频流中的一种；根据所述高分辨率样本视频生成低分辨率样本视频和重建低分辨率样本视频，所述重建低分辨率样本视频为所述低分辨率样本视频对应的有损视频内容；根据所述重建低分辨率样本视频与所述高分辨率样本视频确定所述超分网络的网络参数的变化值，所述网络参数的变化值用于学习所述重建低分辨率样本视频的损失信息；根据所述网络参数的变化值更新所述超分网络的网络参数，以得到参数更新后的超分网络；根据所述参数更新后的超分网络对从所述待处理视频数据中获取的目标低分辨率视频进行超分辨率重建，以生成所述目标低分辨率视频对应的目标高分辨率视频。2.如权利要求1所述的视频处理方法，其特征在于，所述根据所述高分辨率样本视频生成低分辨率样本视频和重建低分辨率样本视频，包括：对所述高分辨率样本视频进行退化处理，得到低分辨率样本视频；对所述低分辨率样本视频进行编解码处理，得到重建低分辨率样本视频。3.如权利要求2所述的视频处理方法，其特征在于，所述超分网络包括编码器和解码器，所述编码器包括退化模块、第一视频编码模块、第一视频解码模块和模型编码模块，所述解码器包括第二视频解码模块、模型解码模块和超分辨率模块；所述对所述高分辨率样本视频进行退化处理，得到低分辨率样本视频，包括：根据所述编码器的退化模块对所述高分辨率样本视频进行退化处理，得到低分辨率样本视频。4.如权利要求3所述的视频处理方法，其特征在于，所述对所述低分辨率样本视频进行编解码处理，得到重建低分辨率样本视频，包括：根据所述编码器的第一视频编码模块对所述低分辨率样本视频进行编码压缩处理以生成视频数据流；根据所述编码器的第一视频解码模块对所述视频数据流进行解码处理，得到第一重建低分辨率样本视频；将所述视频数据流发送至所述解码器中的第二视频解码模块进行解码处理，得到第二重建低分辨率样本视频。5.如权利要求4所述的视频处理方法，其特征在于，所述根据所述重建低分辨率样本视频与所述高分辨率样本视频确定所述超分网络的网络参数的变化值，包括：将所述高分辨率样本视频与所述第一重建低分辨率样本视频输入所述编码器的模型编码模块中进行编码处理以生成模型数据流，并将所述模型数据流发送至所述解码器中的模型解码模块；根据所述模型解码模块对所述模型数据流进行解码处理，得到所述第一重建低分辨率样本视频对应的初始网络参数；将所述初始网络参数与所述第二重建低分辨率样本视频输入所述超分辨率模块进行超分辨率重建，以生成重建高分辨率样本视频；根据所述重建高分辨率样本视频与所述高分辨率样本视频之间的均方误差值对所述
超分网络进行迭代训练，并从所述初始网络参数中选择出在迭代训练中变化幅度最大的预设百分比的目标参数作为待更新参数，以对所述待更新参数进行数据更新以得到所述超分网络的网络参数的变化值。6.如权利要求3
‑
5任一项所述的视频处理方法，其特征在于，所述根据所述网络参数的变化值更新所述超分网络的网络参数，以得到参数更新后的超分网络，包括：基于所述网络参数的变化值更新所述编码器和所述解码器的网络参数，以使更新后的所述编码器和所述解码器具有相同的网络参数，以得到参数更新后的超分网络。7.如权利要求6所述的视频处理方法，其特征在于，所述基于所述网络参数的变化值更新所述编码器和所述解码器的网络参数，包括：每隔预设时段重新确定所述网络参数的变化值，并基于重新确定的所述网络参数的变化值更新所述编码器和所述解码器的网络参数。8.如权利要求5所述的视频处理方法，其特征在于，所述超分辨率模块包括特征提取模块和重建模块，其中，所述特征提取模块包含有预训练的目标卷积层，所述预训练的目标卷积层为采用面向边缘的多分支卷积块进行预训练后转换得到的3x3的卷积层；所述将所述初始网络参数与所述第二重建低分辨率样本视频输入所述超分辨率模块进行超分辨率重建，以生成重建高分辨率样本视频，包括：根据所述初始网络参数调整所述超分辨率模块，并基于调整后的超分辨率模块中的特征提...

【专利技术属性】
技术研发人员：周琛晖，阮良，陈功，韩庆瑞，
申请(专利权)人：杭州网易智企科技有限公司，
类型：发明
国别省市：