一种非整数倍超分方法及超分装置，所述非整数倍超分方法，包括以下步骤：S101：输入待处理图像；S102：对所述待处理图像进行超分处理获得超分图像；S103：输出所述超分图像；所述超分处理的方式为：对所述待处理图像进行m倍降采样，进行图像特征提取、第一通道调整，再进行n倍上采样获得所述超分图像。一种非整数倍超分装置，用于实现上述的方法，包括：降采样模块：对图像进行降采样；上采样模块：对图像进行上采样；特征提取模块：对图像进行特征提取；通道调整模块：将图像通道数调整为目标通道数。通过使用本发明专利技术的方法，在满足超分效果的前提下，可以有效的降低模型计算量以及内存访问次数，适用于不同放大倍数的超分处理场景。适用于不同放大倍数的超分处理场景。适用于不同放大倍数的超分处理场景。
【技术实现步骤摘要】
一种非整数倍超分方法及超分装置
[0001]本专利技术涉及图像处理领域。
技术介绍
[0002]端侧超分网络由于超分模型计算量比较高，超分处理受到端侧设备算力的限制。当前市场上较常见的通用的超分模型大多采用2倍、3倍或者4倍超分方案，在实际应用时可能存在超分后的画面的分辨率高于实际显示设备的分辨率，从而导致算力以及内存访问的浪费。由待处理图像的分辨率和目标显示设备的分辨率共同决定的放大倍数，常常为非整数倍，例如1.5、2.5倍等，因此常出现需要将画面超分至非整数倍分辨率的情况。
[0003]相关技术中，一些支持特殊倍数超分的超分方案如图1所示。首先将输入低分辨率图像（LR）直接通过插值的方法进行放大到需要的尺寸，然后经过卷积网络（CNN），得到最终的超分后的输出高分辨率图像（HR）。例如要实现1.5倍的超分，就先将LR直接放大到1.5倍，再经过卷积网络得到最终的超分结果。该方案超分效果往往不够好，而且由于先插值再超分处理需要更多的内存访问和计算量。
[0004]公开号为CN103500436A专利申请公布文件中公开了一种图像超分辨率处理方法，包括：将待放大的图像序列进行小波变换得到子带图像，分别为低频子带、水平高频子带、垂直高频子带和对角线高频子带；将所述待放大的图像序列进行超分辨率重建处理得到超分图像；分别对所述水平高频子带、垂直高频子带和对角线高频子带分量进行插值后得到对应的插值图像；将所述超分图像和所述插值图像进行小波逆变换，得到放大的图像。在上述方案中，使用了插值法，也存在内存访问多计算量大的问题。
技术实现思路
[0005]本专利技术要解决相关技术中存在的问题，以模型结构简单、计算量较小的方式实现不同放大倍数的超分处理。
[0006]针对上述存在的局限性，本专利技术提出了一种非整数倍超分方法及超分装置。
[0007]一种非整数倍超分方法，包括以下步骤：S101：输入待处理图像；S102：对所述待处理图像进行超分处理获得超分图像；S103：输出所述超分图像；所述超分处理的方式为：对所述待处理图像进行m倍降采样，进行图像特征提取、第一通道调整，再进行n倍上采样获得所述超分图像；m、n为正整数。
[0008]进一步地：所述降采样使用卷积网络进行卷积运算或使用反向清洗。
[0009]进一步地：所述特征提取使用卷积网络或者Transformer网络。
[0010]进一步地：所述卷积网络为重参数卷积模块；所述重参数卷积模块为RepVGG模块
或EBCSR模块。
[0011]进一步地：所述上采样的方式为像素清洗；所述第一通道调整的方式为使用卷积网络进行卷积运算。
[0012]进一步地：所述第一通道调整的目标通道数为进行图像特征提取后的通道数和n2的最小公倍数。
[0013]进一步地：在所述图像特征提取、第一通道调整之后，加入由所述待处理图像获得的残差，再进行n倍上采样获得所述超分图像；所述残差的加入方式为通道合并；由所述待处理图像获得残差的方式为：将所述待处理图像进行m倍降采样及第二通道调整；所述m倍降采样及第二通道调整通过使用卷积网络进行卷积运算而实现。
[0014]进一步地：所述第一通道调整的目标通道数为进行图像特征提取后的通道数和n2的最小公倍数；所述第二通道调整的目标通道数为m2倍待处理图像通道数和n2的最小公倍数。
[0015]一种非整数倍超分装置，用于实现上述的方法，包括：降采样模块：对图像进行降采样；上采样模块：对图像进行上采样；特征提取模块：对图像进行特征提取；通道调整模块：将图像通道数调整为目标通道数。
[0016]进一步地：所述降采样模块使用卷积运算进行降采样，或使用反向清洗进行降采样；所述上采样模块使用像素清洗进行上采样；所述特征提取模块使用重参数卷积模块进行图像特征提取，所述重参数卷积模块为RepVGG模块或EBCSR模块；所述通道调整模块使用卷积网络进行卷积运算将图像通道数调整为目标通道数。
[0017]与相关技术相对比，本专利技术具有以下优点：本专利技术一个专利技术点的非整数倍的超分方法，通过对所述待处理图像进行m倍降采样，进行图像特征提取、第一通道调整，再进行n倍上采样获得所述超分图像；可以通过调整n和m的比值实现不同放大倍数的处理。由于上述超分过程中采用降采样、上采样对非整数倍的超分倍数进行调整，其总体计算量小于先插值再超分的总体计算量，计算量下降20%以上，同时能保证较好的超分质量。
[0018]本专利技术一个专利技术点的非整数倍的超分装置，通过设置降采样模块、上采样模块、特征提取模块、通道调整模块，可以实现上述的方法，有效降低处理过程中的计算量，同时能保证较好的超分质量，适应非整数倍的超分需求。
附图说明
[0019]图1为相关技术中特殊倍数超分的原理示意图；图2为本专利技术的一个实施方式的非整数倍的超分方法的流程图；图3为本专利技术的另一实施方式的非整数倍的超分装置的原理框图；
图4为本专利技术的又一实施方式的非整数倍的超分方法的原理图；图5为本专利技术的又一实施方式的非整数倍的超分方法的原理图。
具体实施方式
[0020]为使本专利技术的目的、技术方案和优点更加清楚明了，下面对本专利技术进行进一步详细说明。但是应该理解，此处所描述仅仅用以解释本专利技术，并不用于限制本专利技术的范围。
[0021]除非另有定义，本文所使用的所有的技术术语和科学术语与属于本专利技术的
的技术人员通常理解的含义相同，本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本专利技术。本文中所涉及的表征手段均可参阅现有技术中的相关描述，本文中不再赘述。
[0022]为了进一步了解本专利技术，下面结合最佳实施例对本专利技术作进一步的详细说明。
[0023]实施例1如图2
‑
5所示，一种非整数倍超分方法，包括以下步骤：S101：输入待处理图像；S102：对所述待处理图像进行超分处理获得超分图像；S103：输出所述超分图像；所述超分处理的方式为：对所述待处理图像进行m倍降采样，进行图像特征提取、第一通道调整，再进行n倍上采样获得所述超分图像；n、n为正整数。
[0024]通过调整n/m的数值，可以实现不同倍数的超分，n/m取值范围为（0，10]，优选为[0.5，5]。具体的，n/m的值可以为1.5、2.5、3.5、4.5。
[0025]进一步地：n、m的选择为实现目标放大倍数的最小值，例如要放大1.5倍，则n=3，m=2。因为如果选择n=6，m=4，则增加了不必要的计算量。
[0026]图像超分（SuperResolution）是通过超分辨率技术增加图像的空间分辨率，提供更多语义信息以弥补成像质量不足的处理方式。
[0027]图像超分模型，可以使用CNN、Real
‑
ESRGAN、RepVGG、EBCSR等，不限于上述模型，可以根据需要选取使用。本专利技术的方法不依赖于具体的超分模型，对所有超分模型均可适用。
[00本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种非整数倍超分方法，其特征在于：包括以下步骤：S101：输入待处理图像；S102：对所述待处理图像进行超分处理获得超分图像；S103：输出所述超分图像；所述超分处理的方式为：对所述待处理图像进行m倍降采样，进行图像特征提取、第一通道调整，再进行n倍上采样获得所述超分图像；m、n为正整数。2.如权利要求1所述的超分方法，其特征在于：所述降采样使用卷积网络进行卷积运算或使用反向清洗。3.如权利要求1所述的超分方法，其特征在于：所述特征提取使用卷积网络或者Transformer网络。4.如权利要求3所述的超分方法，其特征在于：所述卷积网络为重参数卷积模块；所述重参数卷积模块为RepVGG模块或EBCSR模块。5.如权利要求1所述的超分方法，其特征在于：所述上采样的方式为像素清洗；所述第一通道调整的方式为使用卷积网络进行卷积运算。6.如权利要求5所述的超分方法，其特征在于：所述第一通道调整的目标通道数为进行图像特征提取后的通道数和n2的最小公倍数。7.如权利要求1所述的超分方法，其特征在于：在所述图像特征提取、第一通道调整之后，加入由所述待处理图像获得的残差，再进行n倍上采样获得所...
【专利技术属性】
技术研发人员：郭建君，
申请(专利权)人：北京蔚领时代科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。