【技术实现步骤摘要】
图像升频系统及其训练方法、以及图像升频方法
本专利技术涉及图像处理和显示技术,更具体地,涉及图像升频系统、其训练方法、显示装置以及图像升频方法。
技术介绍
一般地,图像升频是指通过图像处理的方式提高原有图像的分辨率。当前,图像的升频方法可以是基于插值的,例如双三次(bicubic)插值,也可以是基于学习的,例如构建基于神经网络的机器学习模型以用于图像升频。目前,卷积神经网络已被大量应用于图像处理领域,以实现图像识别、图像分类和图像升频等。卷积神经网络是一种常见的深度学习架构,通常包括卷积层和池化层。卷积层主要用于提取输入数据的特征,而池化层可采用平均池化或最大值池化来降低特征的维度。由于低分辨率图像相较于高分辨率图像,丢失了高频信息,因此,在将低分辨率图像升频成高分辨率图像的过程中,需要补充这些信息。然而,现有的图像升频技术并不能重建这些高频信息。典型的用于参数优化的成本函数使用均方差或类似的平均误差,容易造成基于低分辨率图像而重建的高分辨率图像不真实。
技术实现思路
本专利技术的实施例提供了一种图像升频系统、该图像升频系统的训练方法、包括该图像升频系统的显示装置以及使用该图像升频系统对图像进行升频的方法。根据本专利技术的第一个方面,提供了一种图像升频系统。该图像升频系统包括至少两个卷积神经网络模块以及至少一个复合器,其中,卷积神经网络模块与复合器彼此交替地连接。至少两个卷积神经网络模块中的第一卷积神经网络模块被配置为接收输入图像和与输入图像的分辨率相同的补充图像,并基于输入图像和与输入图像的分辨率相同的补充图像,生成第一数量的特征图像,并向与其连接的下一个复 ...
【技术保护点】
一种图像升频系统,包括:至少两个卷积神经网络模块;以及至少一个复合器;其中,所述至少两个卷积神经网络模块与所述至少一个复合器彼此交替地连接;所述至少两个卷积神经网络模块中的第一卷积神经网络模块被配置为接收输入图像和与所述输入图像的分辨率相同的补充图像,并基于所述输入图像和与所述输入图像的分辨率相同的补充图像,生成第一数量的特征图像,并向与其连接的下一个所述复合器输出;所述至少两个卷积神经网络模块中的其它卷积神经网络模块被配置为接收来自前一个所述复合器的输出图像和与所接收的所述输出图像的分辨率相同的补充图像,并基于所述输出图像和与所述输出图像的分辨率相同的补充图像,生成第二数量的特征图像,并向与其连接的下一个所述复合器输出,或者作为所述图像升频系统的输出;所述复合器被配置为将所接收的特征图像中的每n*n个特征图像合成为一个特征图像,并将所合成的第三数量的特征图像输出到与其连接的下一个所述卷积神经网络模块,或者作为所述图像升频系统的输出;其中,n表示所述复合器的升频倍率,是大于1的整数,所述复合器所接收的特征图像的数量是n*n的倍数。
【技术特征摘要】
1.一种图像升频系统,包括:至少两个卷积神经网络模块;以及至少一个复合器;其中,所述至少两个卷积神经网络模块与所述至少一个复合器彼此交替地连接;所述至少两个卷积神经网络模块中的第一卷积神经网络模块被配置为接收输入图像和与所述输入图像的分辨率相同的补充图像,并基于所述输入图像和与所述输入图像的分辨率相同的补充图像,生成第一数量的特征图像,并向与其连接的下一个所述复合器输出;所述至少两个卷积神经网络模块中的其它卷积神经网络模块被配置为接收来自前一个所述复合器的输出图像和与所接收的所述输出图像的分辨率相同的补充图像,并基于所述输出图像和与所述输出图像的分辨率相同的补充图像,生成第二数量的特征图像,并向与其连接的下一个所述复合器输出,或者作为所述图像升频系统的输出;所述复合器被配置为将所接收的特征图像中的每n*n个特征图像合成为一个特征图像,并将所合成的第三数量的特征图像输出到与其连接的下一个所述卷积神经网络模块,或者作为所述图像升频系统的输出;其中,n表示所述复合器的升频倍率,是大于1的整数,所述复合器所接收的特征图像的数量是n*n的倍数。2.根据权利要求1所述的图像升频系统,其中,所述补充图像是具有固定分布和白噪声的图像。3.根据权利要求1或2所述的图像升频系统,其中,所述复合器的升频倍率是相同的。4.根据权利要求1至3任意一项所述的图像升频系统,其中,所述复合器的升频倍率是2的倍数。5.根据权利要求1至4任意一项所述的图像升频系统,其中,所述复合器是自适应插值滤波器。6.一种显示装置,包括如权利要求1至5任意一项所述的图像升频系统。7.一种用于训练如权利要求1至5任意一项所述的图像升频系统的方法,包括:构建第一训练集合,其包括原始图像和所述原始图像的至少一个降频图像,其中所述降频图像的分辨率低于所述原始图像的分辨率;构建第二训练集合,其包括所述原始图像、倍率因子和基于所述倍率因子的所述原始图像的第一降质图像,所述第一降质图像的分辨率与所述原始图像的分辨率相同;利用所述第二训练集合,以所述原始图像和所述第一降质图像作为输入,以所述倍率因子作为输出,训练卷积神经网络系统;使用所训练的所述卷积神经网络系统并使用所述第一训练集合,获取所述图像升频系统的参数;基于具有所获取的参数的图像升频系统,构建新的训练集合,其包括所述原始图像、所述倍率因子以及基于所述倍率因子的所述原始图像的第二降质图像,其中所述第二降质图像的分辨率与所述原始图像的分辨率相同;利用所述新的训练集合,以所述原始图像和所述第二降质图像作为输入,以所述倍率因子作为输出,训练所述卷积神经网络系统;使用所训练的所述卷积神经网络系统并使用所述第一训练集合,再次获取所述图像升频系统的参数;以及重复执行所述新的训练集合的构建、所述卷积神经网络系统的训练和所述图像升频系统的参数的获取。8.根据权利要求7所述的方法,还包括:检查所述图像...
【专利技术属性】
技术研发人员:那彦波,张丽杰,李晓宇,
申请(专利权)人:京东方科技集团股份有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。