用于基于切片图像升级分辨率的装置和方法制造方法及图纸

本申请涉及用于基于切片图像升级分辨率的装置和方法。本公开提供了用于基于切片图像升级分辨率的装置，其中将低分辨率图像划分成多个切片图像以使得生成高分辨率的图像。装置包括：卷积运算单元，其被配置为使用卷积神经网络将低分辨率的输入切片图像转换为高分辨率的输出切片图像。卷积神经网络包括：级联块，其被配置为对从低分辨率的输入切片图像生成的输入特征图执行使用具有预定大小的卷积过滤器的卷积运算和残差运算以生成输出特征图；以及升级块，其被配置为升级输出特征图以生成高分辨率的输出切片图像。高分辨率的输出切片图像。高分辨率的输出切片图像。

【技术实现步骤摘要】
用于基于切片图像升级分辨率的装置和方法


[0001]本公开涉及图像处理，并且更具体地涉及用于增加图像的分辨率的技术。

技术介绍

[0002]近来，发布了能够输出高达超出4K分辨率(其是超高清(UHD)分辨率)的8K分辨率的图像的显示装置。然而，与显示装置的分辨率相比，常规的广播内容和视频内容仅以2K或4K分辨率产生，因此正在开发用于将低分辨率(LR)图像转换为高分辨率(HR)图像的技术。
[0003]作为图像转换技术的示例，已经提出了单图像超分辨率(SISR)技术。SISR是指用于生成与单个LR图像相对应的HR图像的技术。具体地，近来，随着深度学习技术的发展，使用卷积神经网络(CNN)的SISR技术是常见的。
[0004]然而，常规的基于CNN的SISR算法具有许多层和过滤器，因此存在常规的基于CNN的SISR算法不适用于片上系统(SoC)实现的局限性，因为存储器的数量和计算量不可避免地增加。

技术实现思路

[0005]本公开被设计以解决上述问题并且用于提供用于基于切片图像来升级(upscaling)分辨率的装置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于基于切片图像来升级分辨率的装置，所述装置包括：卷积运算单元，所述卷积运算单元被配置为使用卷积神经网络将低分辨率的输入切片图像转换为高分辨率的输出切片图像，其中，所述卷积神经网络包括：级联块，所述级联块被配置为对从所述低分辨率的输入切片图像生成的输入特征图执行使用具有预定大小的卷积过滤器的卷积运算和残差运算以生成输出特征图；以及升级块，所述升级块被配置为升级所述输出特征图以生成所述高分辨率的输出切片图像。2.根据权利要求1所述的装置，其中，所述级联块包括:第一残差块，所述第一残差块被配置为对所述输入特征图依次执行使用第一类型卷积过滤器的组卷积运算和使用具有正方形大小的第二类型卷积过滤器的逐点卷积运算并且基于运算的结果执行所述残差运算以生成第一残差特征图，在所述第一类型卷积过滤器中垂直感受野的大小小于水平感受野的大小；以及第一尺寸缩减层，所述第一尺寸缩减层被配置为将所述输入特征图与所述第一残差特征图连结，并且将所述连结的结果的尺寸缩减到与所述输入特征图相同的尺寸以生成第一尺寸缩减特征图。3.根据权利要求2所述的装置，其中，所述第一类型卷积过滤器是大小为1
×
5的过滤器，并且所述第二类型卷积过滤器是大小为1
×
1的过滤器。4.根据权利要求2所述的装置，所述装置还包括：第二残差块，所述第二残差块串联连接到所述第一尺寸缩减层，对所述第一尺寸缩减特征图依次执行使用具有正方形大小的第三类型卷积过滤器的组卷积运算和使用所述第二类型卷积过滤器的逐点卷积运算，并且基于运算的结果执行所述残差运算以生成第二残差特征图；以及第二尺寸缩减层，所述第二尺寸缩减层被配置为将所述输入特征图、所述第一残差特征图和所述第二残差特征图连结，并且将所述连结的结果的尺寸缩减到与所述输入特征图相同的尺寸以生成所述输出特征图。5.根据权利要求4所述的装置，其中，所述第三类型卷积过滤器是大小为3
×
3的过滤器，并且当所述第二残差块使用所述第三类型卷积过滤器执行所述组卷积运算时，所述第二残差块对所述第一尺寸缩减特征图执行水平填充并且不执行垂直填充。6.根据权利要求4所述的装置，其中，所述第一残差块和所述第二残差块重复地执行所述组卷积运算多次，并且使用激活函数对每次通过执行所述组卷积运算获得的结果进行非线性化。7.根据权利要求1所述的装置，其中，所述卷积神经网络包括n个级联块，并且所述n个级联块串联连接，使得第(n
‑
1)个级联块的输出特征图成为第n个级联块的输入特征图。8.根据权利要求7所述的装置，所述装置还包括：线存储器，所述线存储器设置在每个级联块的输入端和输出端中的至少一个处，并且以线为单位存储输入到所述级联块的输入
特征图和从所述级联块输出的输出特征图中的至少一者。9.根据权利要求1所述的装置，其中，所述升级块包括：第一升级块，所述第一升级块被配置为对所述输出特征图执行使用第一类型卷积过滤器的第一卷积运算和第一置乱操作以将所述输出特征图升级以因数p，在所述第一类型卷积过滤器中垂直感受野的大小小于水平感受野的大小；以及第二升级块，所述第二升级块被配置为对所述输出特征图执行使用所述第一类型卷积过滤器的第二卷积操作和第二置乱操作以将所述输出特征图升级以因数q。10.根据权利要求9所述的装置，其中，所述升级块还包括第三升级块，所述第三升级块通过串联连接多个升级块来将所述输出特征图升级以因数r，并且其中，所述多个升级块包括所述第一升级块和所述第二升级块的至少一个。11.根据权利要求1所述的装置，所述装置还包括：图像划分单元，所述图像划分单元被配置为以多条水平线为单位划分低分辨率的输入图像以获取由所述多条水平线组成的多个低分辨率的输入切片图像；以及图像连结单元，所述图像连结单元被配置为将从所述卷积运...

【专利技术属性】
技术研发人员：宋秉哲，崔东玧，朴志胤，
申请(专利权)人：硅工厂股份有限公司，
类型：发明
国别省市：