视频传输方法及装置制造方法及图纸

本申请公开了一种视频传输方法及装置，其中方法包括：获取初始片源，并对初始片源进行模糊核和噪声估计，获得初始片源对应的第一模糊核和第一噪声块；向接收端发送初始片源，以及第一模糊核和第一噪声块。接收端采用第一模糊核和第一噪声块对基础超分模型进行训练，获得最终超分模型；根据最终超分模型对初始片源进行超分，获取目标片源，目标片源的分辨率高于初始片源。采用本申请实施例的方法一方面满足了高分辨率的需求，另一方面避免了算力需求提高带来的功耗。提高带来的功耗。提高带来的功耗。

【技术实现步骤摘要】
视频传输方法及装置


[0001]本申请涉及计算机
，尤其涉及一种视频传输方法及装置。

技术介绍

[0002]随着数字化和高清视频的不断发展，视频超高清技术正在推动新一轮视频技术创新。从硬件角度看，4K分辨率正在逐步成为视频硬件的标准配置。超高清视频相比标清视频能够为用户带来更为真实、震撼的观看体验。但超高清视频的普及还存在两大问题：
[0003]1)超高清视频内容匮乏。超高清视频制作周期长、成本高，很难在短时间内实现大量超高清视频的供给。视频制作者上传的视频画质较差、分辨率较低，以及老电影、纪录片等清晰度低、噪点多、颜色灰暗等问题，使得用户观看体验不佳。
[0004]2)超高清视频对网络带宽的需求大。超高清视频的分辨率远大于标清视频，使得所需的网络带宽往往在标清视频的数倍甚至十倍以上(4K分辨率的像素数量是2K分辨率的4倍)。这对于有限的网络带宽无疑是一个巨大的挑战。在网络条件不佳的情况下，容易造成卡顿影响用户体验。
[0005]视频增强技术，可以针对那些由于拍摄设备较差、画面抖动、视频压缩等导致画质损伤的片源，通过超分辨率、降噪、增强等技术，提升视频分辨率，去除视频中的噪点、伪影等，提高人眼视觉清晰度感知。其中的难点主要在于高分辨率视频在压缩过后，丢失了高频信息带来的细节，且视频种类繁多，视频的退化方式各不相同，这给视频的超分辨率重建带来了巨大的困难。
[0006]目前业界主要采用低分辨率的视频压缩传输，在端侧使用传统超分辨率方法进行插值放大；或者使用最新编解码技术实现高分辨率视频的直接传输。前者存在视频画质还原效果一般，高频信息可能无法复原的问题，后者存在对算力的需求更高的问题。如何实现更高质量且更低功耗的超分辨率重建是一个亟待解决的问题。

技术实现思路

[0007]本申请实施例提供了一种视频传输方法及装置，通过初始超分模型进行离线训练获得基础超分模型，通过要发送的初始片源中提取的模糊核和噪声块对基础超分模型进行在线训练获得最终超分模型，再通过最终超分模型对接收到的初始片源进行超分，获得目标片源，这个过程一方面满足了高分辨率的需求，另一方面避免了算力需求提高带来的功耗。
[0008]第一方面，提供了一种视频传输方法，该方法包括：获取初始片源，并对初始片源进行模糊核和噪声估计，获得初始片源对应的第一模糊核和第一噪声块；向接收端发送初始片源，以及第一模糊核和第一噪声块。
[0009]第二方面，提供一种视频传输方法，方法包括：接收初始片源，以及第一模糊核和第一噪声块，第一模糊核和第一噪声块为初始片源进行模糊核和噪声估计获得；获取基础超分模型，基础超分模型由多组训练数据对初始超分模型进行泛化训练获得，多组训练数
据中的每组训练数据对应一对模糊核和噪声块，且每组训练数据包括至少一对训练数据，至少一对训练数据包括第一高分辨率图像和第一低分辨率图像；采用第一模糊核和第一噪声块对基础超分模型进行训练，获得最终超分模型；根据最终超分模型对初始片源进行超分，获取目标片源，目标片源的分辨率高于初始片源。
[0010]在本申请实施例中，发送端向接收端发送初始片源对应的第一模糊核和第一噪声块，接收端根据第一模糊核和第一噪声块对获取到的初始超分模型进行训练获得最终超分模型，并采用最终超分模型对初始片源进行超分获得目标片源。由于第一模糊核和第一噪声块为初始片源特定的参数，那么基础超分模型根据这两个参数进行在线训练后获得的最终超分模型，能够更好地适用于初始片源的超分。接收端根据最终超分模型进行初始片源的超分，能够提升获取的目标片源的分辨率，进而提升了最终超分模型的超分质量。另外，发送端发送第一模糊核和第一噪声块给接收端，使得接收端通过第一模糊核和第一噪声块对基础超分模型的训练，这个过程中传输的数据量少，可以降低传输带宽需求，另外也可以避免传输大量数据可能导致的数据丢失。
[0011]在一种可能的示例中，获取基础超分模型包括：从其他任意设备获取基础超分模型，其他任意设备通过对初始超分模型进行训练获得基础超分模型。
[0012]在一种可能的示例中，获取基础超分模型包括：获取超分数据集，超分数据集包括多组训练数据，多组训练数据中的每组训练数据对应一对模糊核和噪声块，且每组训练数据包括至少一对训练数据，至少一对训练数据包括第一高分辨率图像和第一低分辨率图像，第一低分辨率图像由第一高分辨率图像根据模糊核和噪声块进行下采样操作获得；采用多组训练数据对初始超分模型进行泛化训练，获得基础超分模型。
[0013]在一种可能的示例中，获取超分数据集包括：获取片源数据集，片源数据集由多个训练片源组成；对多个训练片源进行模糊核和噪声块提取，获得多个模糊核和多个噪声块；获取多个模糊核和多个噪声块中的任意一个模糊核和任意一个噪声块作为第二模糊核和第二噪声块，并根据第二模糊核和第二噪声块对多个训练片源进行下采样操作，获得至少一对第一高分辨率图像和第一低分辨率图像，多个训练片源中每两个训练片源对应的第二模糊核和第二噪声块可以相同，也可以不同；至少一对第一高分辨率图像和第一低分辨率图像组成第二模糊核和第二噪声块对应的一组训练数据，多组训练数据组成超分数据集。
[0014]在一种可能的示例中，采用多组训练数据对初始超分模型进行泛化训练，获得基础超分模型，包括：获取目标组训练数据，目标组训练数据为多组训练数据中的任一组训练数据；将目标组训练数据中的m个数据作为训练数据集，将目标组训练数据中的剩余的n个数据作为测试数据集；采用训练数据集对初始超分模型的网络参数θ进行m次迭代，获得中间网络参数θ
m
；采用测试训练集和θ
m
对初始超分模型的网络参数θ进行n次迭代，获得最终网络参数θ
n
；确定根据θ
n
更新后的初始超分模型为基础超分模型。
[0015]在一种可能的示例中，采用训练数据集对初始超分模型的网络参数θ进行m次迭代，获得中间网络参数θ
m
，包括：将训练数据集中的第i个训练数据中的第一低分辨率图像输入初始超分模型，获得第一低分辨率图像对应的预设高分辨率图像；根据预设高分辨率图像与第一高分辨率图像的差值确定第一梯度值；根据第一梯度值对初始超分模型的网络参数θ
i
‑1进行第i次更新，获得更新后的网络参数θ
i
，当i＝1时，θ
i
‑1为初始超分模型的网络参数θ；令i＝i+1，重复上述步骤，直到i＝m，获得更新后的网络参数θ
m
作为中间网络参数。
[0016]在一种可能的示例中，采用测试训练集和θ
m
对初始超分模型的网络参数θ进行n次迭代，获得最终网络参数θ
n
，包括：将测试数据集中的第j个训练数据中的第一低分辨率图像输入中间网络参数θ
m
更新后的中间超分模型，获得第一低分辨率图像对应的预设高分辨率图像；根据预设高分辨率图像与第一高分辨率图像的差值确定第二梯度值；根据第二梯度值更本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频传输方法，其特征在于，所述方法包括：获取初始片源，并对所述初始片源进行模糊核和噪声估计，获得所述初始片源对应的第一模糊核和第一噪声块；获取基础超分模型，所述基础超分模型由多组训练数据对初始超分模型进行泛化训练获得，所述多组训练数据中的每组训练数据对应一对模糊核和噪声块，且所述每组训练数据包括至少一对训练数据，所述至少一对训练数据包括第一高分辨率图像和第一低分辨率图像，所述初始超分模型能够将第一图像转换为第二图像，所述第二图像的分辨率高于所述第一图像；采用所述第一模糊核和第一噪声块对所述基础超分模型进行训练，获得最终超分模型；向接收端发送所述初始片源和所述最终超分模型。2.根据权利要求1所述的方法，其特征在于，所述获取基础超分模型包括：从其他任意设备获取所述基础超分模型，所述其他任意设备通过对初始超分模型进行训练获得所述基础超分模型。3.根据权利要求1所述的方法，其特征在于，所述获取基础超分模型包括：获取超分数据集，所述超分数据集包括多组训练数据，所述多组训练数据中的每组训练数据对应一对模糊核和噪声块，且所述每组训练数据包括至少一对训练数据，所述至少一对训练数据包括第一高分辨率图像和第一低分辨率图像，所述第一低分辨率图像由所述第一高分辨率图像根据所述模糊核和噪声块进行下采样操作获得；采用所述多组训练数据对初始超分模型进行泛化训练，获得基础超分模型。4.根据权利要求3所述的方法，其特征在于，所述获取超分数据集包括：获取片源数据集，所述片源数据集由多个训练片源组成；对所述多个训练片源进行模糊核和噪声块提取，获得多个模糊核和多个噪声块；获取所述多个模糊核和多个噪声块中的任意一个模糊核和任意一个噪声块作为第二模糊核和第二噪声块，并根据所述第二模糊核和第二噪声块对所述多个训练片源进行下采样操作，获得至少一对第一高分辨率图像和第一低分辨率图像，所述多个训练片源中每两个训练片源对应的第二模糊核和第二噪声块可以相同，也可以不同；所述至少一对所述第一高分辨率图像和所述第一低分辨率图像组成所述第二模糊核和第二噪声块对应的一组训练数据，多组训练数据组成所述超分数据集。5.根据权利要求3或4所述的方法，其特征在于，所述采用所述多组训练数据对初始超分模型进行泛化训练，获得基础超分模型，包括：获取目标组训练数据，所述目标组训练数据为所述多组训练数据中的任一组训练数据；将所述目标组训练数据中的m个数据作为训练数据集，将所述目标组训练数据中的剩余的n个数据作为测试数据集；采用所述训练数据集对所述初始超分模型的网络参数θ进行m次迭代，获得中间网络参数θ
m
；采用所述测试训练集和所述θ
m
对所述初始超分模型的网络参数θ进行n次迭代，获得最终网络参数θ
n
；
确定根据所述θ
n
更新后的初始超分模型为基础超分模型。6.根据权利要求5所述的方法，其特征在于，所述采用所述训练数据集对所述初始超分模型的网络参数θ进行m次迭代，获得中间网络参数θ
m
，包括：将所述训练数据集中的第i个训练数据中的第一低分辨率图像输入所述初始超分模型，获得所述第一低分辨率图像对应的预设高分辨率图像；根据所述预设高分辨率图像与所述第一高分辨率图像的差值确定第一梯度值；根据所述第一梯度值对所述初始超分模型的网络参数θ
i
‑1进行第i次更新，获得更新后的网络参数θ
i
，当i＝1时，所述θ
i
‑1为所述初始超分模型的网络参数θ；令i＝i+1，重复上述步骤，直到i＝m，获得更新后的网络参数θ
m
作为中间网络参数。7.根据权利要求5所述的方法，其特征在于，所述采用所述测试训练集和所述θ
m
对所述初始超分模型的网络参数θ进行n次迭代，获得最终网络参数θ
n
，包括：将所述测试数据集中的第j个训练数据中的第一低分辨率图像输入所述中间网络参数θ
m
更新后的中间超分模型，获得所述第一低分辨率图像对应的预设高分辨率图像；根据所述预设高分辨率图像与所述第一高分辨率图像的差值确定第二梯度值；根据所述第二梯度值更新网络参数θ
j
‑1，获得更新网络参数θ
j
，当j＝1时，所述θ
j
‑1为所述初始超分模型的网路参数θ；令j＝j+1，重复上述步骤，直到j＝n，获得更新后的网络参数θ
n
作为最终网络参数。8.根据权利要求1
‑
7任一项所述的方法，其特征在于，所述模糊核和噪声估计为单帧图像的模糊核和噪声估计。9.一种视频传输方法，其特征在于，所述方法包括：接收初始片源，以及第一模糊核和第一噪声块，所述第一模糊核和所述第一噪声块为初始片源进行模糊核和噪声估计获得；获取基础超分模型，所述基础超分模型由多组训练数据对初始超分模型进行泛化训练获得，所述多组训练数据中的每组训练数据对应一对模糊核和噪声块，且所述每组训练数据包括至少一对训练数据，所述至少一对训练数据包括第一高分辨率图像和第一低分辨率图像；采用所述第一模糊核和所述第一噪声块对所述基础超分模型进行训练，获得最终超分模型；根据所述最终超分模型对所述初始片源进行超分，获取目标片源，所述目标片源的分辨率高于所述初始片源。10.根据权利要求9所述的方法，其特征在于，获取基础超分模型包括：从其他任意设备获取所述基础超分模型，所述其他任意设备通过对初始超分模型进行训练获得所述基础超分模型。11.根据权利要求9所述的方法，其特征在于，获取基础超分模型包括：根据权利要求3
‑
7任一项所述的方法获取所述基础超分模型。12.一种发送装置，其特征在于，所述装置包括收发单元和处理单元，其中，所述收发单元，用于获取初始片源；所述处理单元，用于对所述初始片源进行模糊核和噪声估计，获得所述初始片源对应的第一模糊核和第一噪声块；
所述处理单元，还用于结合所述收发单元获取基础超分模型，所述基础超分模型由多组训练数据对初始超分模型进行泛化训练获得，所述多组训练数据中的每组训练数据对应一对模糊核和噪声块，且所述每组训练数据包括至少一对训练数据，所述至少一对训练数据包括第一高分辨率图像和第一低...

【专利技术属性】
技术研发人员：姜卫邦，周琛晖，林焕，胡康康，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：