一种基于机器学习的超分辨率方法、介质及设备技术

本发明专利技术提供一种基于机器学习的超分辨率方法、介质及系统，所述基于机器学习的超分辨率方法包括：获取视频图像的内容统计特性；根据所述视频图像的内容统计特性对所述视频图像进行分类，获得至少一个分组；根据各视频图像所属的分组，结合视频图像的噪声统计特性，选择相应的机器学习模型进行超分辨率重建，获得对应的高分辨率图像。根据本发明专利技术所述基于机器学习的超分辨率方法，能够将压缩噪声去除和图像超分辨率重建通过一步实现，从而提升超分辨率获得的图像质量。

【技术实现步骤摘要】
一种基于机器学习的超分辨率方法、介质及设备
本专利技术属于图像的增强领域，涉及一种超分辨率方法，特别是涉及一种基于机器学习的超分辨率方法、介质及系统。
技术介绍
受到传输带宽的限制，常见的互联网视频一般具有较小的分辨率和较低的码率。当这些互联网视频显示在大屏幕上时，对小分辨率画面进行普通的差值放大会导致边缘锯齿、细节模糊等问题，通常需要超分辨率来减少放大导致的高频丢失。图像超分辨率(superresolution,SR)是指由低分辨率图像(lowresolution,LR)或图像序列恢复出高分辨率图像(highresolution，HR)。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。传统的超分辨率算法通常包括基于差值和基于学习的方式，例如SRCNN(Super-ResolutionConvolutionalNeuralNetwork，超分辨率卷积神经网络)、DRRN(DeepRecursiveResidualNetwork，深递归残差网络)、SRGAN(SingleImageSuper-ResolutionUsingaGenerativeAdversarialNetwork，基于生成性对抗网络的单图像超分辨率)。然而，低分辨率的压缩视频一般存在细节模糊、块效应、振铃噪声、蚊虫噪声等画质问题。如果对画面直接进行超分辨率和细节增强，在补充因放大导致丢失的高频细节的同时，噪声也可能被当作细节而补充，致使无法通过后续的去噪声模块理想滤除。如果先进行去噪则部分细节被当作噪声被滤除，致使后续超分辨率很难恢复更多细节。因此，无论先去噪后进行超分辨率还是先进行超分辨率再去噪都会导致超分辨率的效果不理想。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于机器学习的超分辨率方法、介质及系统，用于解决现有技术中无论先去噪后进行超分辨率还是先进行超分辨率再去噪都会导致超分辨率效果较差的问题。为实现上述目的及其他相关目的，本专利技术提供一种基于机器学习的超分辨率方法，所述基于机器学习的超分辨率方法包括：获取视频图像的内容统计特性；根据所述视频图像的内容统计特性对所述视频图像进行分类，获得至少一个分组；根据各视频图像所属的分组，结合视频图像的噪声统计特性选择相应的机器学习模型进行超分辨率重建，获得对应的高分辨率图像。于本专利技术的一实施例中，根据各视频图像所属的分组，结合视频图像的噪声统计特性，选择相应的机器学习模型进行超分辨率重建，获得对应的高分辨率图像的一种实现方法包括：对所述视频图像进行噪声估计，获取对应的噪声等级分布图；将所述视频图像与对应的噪声等级分布图进行通道拼接，获得对应的高维拼接图像；将所述高维拼接图像作为所述相应的机器学习模型的输入，所述相应的机器学习模型的输出即为所述对应的高分辨率图像。于本专利技术的一实施例中，各分组相应的机器学习模型经训练得来；所述机器学习模型的训练方法包括：获取多组数据作为第一训练数据；各组数据包括属于所述分组的带压缩噪声的低分辨率图像对应的高维拼接图像以及对应的无压缩噪声的高分辨率图像；利用所述第一训练数据对一机器学习模型进行训练，获得所述分组相应的机器学习模型。于本专利技术的一实施例中，根据所述视频图像的内容统计特性和噪声水平对所述视频图像进行分类，获得至少一个分组的一种实现方法包括：获取所述视频图像的信号特征以及噪声水平；根据内容统计特性对所述视频图像进行分类，获得至少一类图像；根据噪声水平对各类图像进行二次分类，获得至少一个子类；根据信号特征对各子类进行再次分类，获得至少一个分组。于本专利技术的一实施例中，根据各视频图像所属的分组，结合视频图像的噪声统计特性，选择相应的机器学习模型进行超分辨率重建，获得对应的高分辨率图像的一种实现方法包括：将所述视频图像作为所述相应的机器学习模型的输入，所述相应的机器学习模型的输出即为所述对应的高分辨率图像。于本专利技术的一实施例中，各分组相应的机器学习模型经训练得来；所述机器学习模型的训练方法包括：获取多组数据作为第二训练数据；各组数据包括属于所述分组的带压缩噪声的低分辨率图像以及对应的无压缩噪声的高分辨率图像；利用所述第二训练数据对一机器学习模型进行训练，获得所述分组相应的机器学习模型。于本专利技术的一实施例中，所述机器学习模型为神经网络模型。于本专利技术的一实施例中，所述机器学习模型为多个滤波器组。本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本专利技术所述的基于机器学习的超分辨率方法。本专利技术还提供一种基于机器学习的超分辨率系统，所述基于机器学习的超分辨率系统包括：噪声估计模块，用于获取视频图像的噪声等级分布图；图像拼接模块，与所述噪声估计模块相连，用于将所述视频图像与所述噪声等级分布图进行通道拼接，获得对应的高维拼接图像；内容统计特性获取模块，用于获取所述视频图像的内容统计特性；分类模块，与所述内容统计特性获取模块相连，用于根据所述视频图像的内容统计特性对所述视频图像进行分类，获得至少一个分组；模型切换模块，与所述分类模块相连，用于根据所述视频图像所属的分组并结合视频图像的噪声统计特性选择相应的机器学习模型；机器学习模块，与所述图像拼接模块、所述模型切换模块分别相连，用于调用所述相应的机器学习模型对所述视频图像进行超分辨率重建，获得对应的高分辨率图像。本专利技术还提供一种基于机器学习的超分辨率系统，其特征在于，所述基于机器学习的超分辨率系统包括：噪声估计模块，用于获取所述视频图像的噪声水平；内容统计特性获取模块，用于获取所述视频图像的内容统计特性；信号特征获取模块，用于获取所述视频图像的信号特征；分类模块，与所述噪声估计模块、所述内容统计特性获取模块和所述信号特征获取模块分别相连，用于根据所述视频图像的噪声水平、内容统计特性和/或信号特征对所述视频图像进行分类，获得至少一个分组；模型切换模块，与所述分类模块相连，用于根据所述视频图像所属的分组并结合视频图像的噪声统计特性选择相应的机器学习模型；机器学习模块，与所述模型切换模块相连，用于调用所述相应的机器学习模型对所述视频图像进行超分辨率重建，获得对应的高分辨率图像。如上所述，本专利技术所述的基于机器学习的超分辨率方法、介质及系统，具有以下有益效果：所述基于机器学习的超分辨率方法中，通过机器学习模型同时实现去噪和超分辨率，有效避免了现有技术中无论先去噪后进行超分辨率还是先进行超分辨率再去噪都会导致超分辨率效果不理想的问题；此外，本专利技术将去噪和超分辨率两步操作合为一步，能够实现机器学习模型的复用，无需对去噪和超分辨率分别进行机器学习模型的训练和测试，减少了运算量；同时能够在添加高频细节的超分辨率重建和滤除高频振铃噪声之间进行自适应的平衡；所述基于机器学习的超分辨率方法包括对压缩噪声水平的估计，并将压缩噪声等级分布作为机器学习模型的输入以及分类依据，不仅提高了各种画质下视频本文档来自技高网...

【技术保护点】
1.一种基于机器学习的超分辨率方法，其特征在于，所述基于机器学习的超分辨率方法包括：/n获取视频图像的内容统计特性；/n根据所述视频图像的内容统计特性对所述视频图像进行分类，获得至少一个分组；/n根据各视频图像所属的分组，结合视频图像的噪声统计特性，选择相应的机器学习模型进行超分辨率重建，获得对应的高分辨率图像。/n

【技术特征摘要】
1.一种基于机器学习的超分辨率方法，其特征在于，所述基于机器学习的超分辨率方法包括：
获取视频图像的内容统计特性；
根据所述视频图像的内容统计特性对所述视频图像进行分类，获得至少一个分组；
根据各视频图像所属的分组，结合视频图像的噪声统计特性，选择相应的机器学习模型进行超分辨率重建，获得对应的高分辨率图像。


2.根据权利要求1所述的基于机器学习的超分辨率方法，其特征在于，根据各视频图像所属的分组，结合视频图像的噪声统计特性，选择相应的机器学习模型进行超分辨率重建，获得对应的高分辨率图像的一种实现方法包括：
对所述视频图像进行噪声估计，获取对应的噪声等级分布图；
将所述视频图像与对应的噪声等级分布图进行通道拼接，获得对应的高维拼接图像；
将所述高维拼接图像作为所述相应的机器学习模型的输入，所述相应的机器学习模型的输出即为所述对应的高分辨率图像。


3.根据权利要求2所述的基于机器学习的超分辨率方法，其特征在于：
各分组相应的机器学习模型经训练得来；所述机器学习模型的训练方法包括：
获取多组数据作为第一训练数据；各组数据包括属于所述分组的带压缩噪声的低分辨率图像对应的高维拼接图像以及对应的无压缩噪声的高分辨率图像；
利用所述第一训练数据对一机器学习模型进行训练，获得所述分组相应的机器学习模型。


4.根据权利要求1所述的基于机器学习的超分辨率方法，其特征在于，根据所述视频图像的内容统计特性对所述视频图像进行分类，获得至少一个分组的一种实现方法包括：
获取所述视频图像的信号特征以及噪声水平；
根据内容统计特性对所述视频图像进行分类，获得至少一类图像；
根据噪声水平对各类图像进行二次分类，获得至少一个子类；
根据信号特征对各子类进行再次分类，获得至少一个分组。


5.根据权利要求4所述的基于机器学习的超分辨率方法，其特征在于，根据各视频图像所属的分组，结合视频图像的噪声统计特性，选择相应的机器学习模型进行超分辨率重建，获得对应的高分辨率图像的一种实现方法包括：
将所述视频图像作为所述相应的机器学习模型的输入，所述相应的机器学习模型的输出即为所述对应的高分辨率图像。


6.根据权利要求5所述的基于机器学习的超分辨率方法，其特征在于：
各分组相应的机器学习模型经训练得来；所述机器学习模型的训练方法包括：
获...

【专利技术属性】
技术研发人员：何平征，林金发，
申请(专利权)人：福州瑞芯微电子股份有限公司，
类型：发明
国别省市：福建;35