基于K均值驱动卷积神经网络的分布式图像超分辨方法技术

本发明专利技术提供了一种基于K均值驱动卷积神经网络的分布式图像超分辨方法，该方法包括：按位置裁剪待超分辨的低分辨率图像，得到多个低分辨率小图像块；提取多个低分辨率小图像块的内容结构特征；根据内容结构特征、利用训练模型的K个聚类中心对多个低分辨率小图像块进行分类；对多个低分辨率小图像块进行上采样，得到高分辨率无细节小图像块；将低分辨率小图像块对应的高分辨率无细节小图像块输入到其所属聚类中心对应的卷积神经网络模型中，得到该模型的输出，通过将该输出与高分辨率无细节小图像相加得到高分辨率小图像块；将多个高分辨率小图像块按位置拼接，得到最终的高分辨率图像。本发明专利技术的分布式图像超分辨方法的超分辨效果较高。

【技术实现步骤摘要】

本专利技术涉及图像超分辨技术，尤其涉及一种基于K均值驱动卷积神经网络的分布式图像超分辨方法。
技术介绍
单张图像超分辨是计算机视觉领域的经典课题，其目的是从单张低分辨率图像中恢复出含有更多细节的高分辨率图像。单张图像超分辨被广泛地用于计算机视觉领域的各种应用中，比如安保监控成像、医疗成像等需要更多图像细节的领域。单张图像超分辨的出现弥补了图像采集设备的硬件分辨率低、远距离拍摄导致的成像目标分辨率低等缺陷，形成高质量图像。在图像采集设备没有采集到高分辨率图像的情况下，采用单张图像超分辨来提高图像的分辨率是一个“从无到有”的过程，是基于机器学习模型根据以往经验和当前状况来做预测的过程。采用单张图像超分辨考验的是模型对以往经验的学习能力，也就是考验模型对训练数据集的学习能力。除此之外，单张图像分辨率也会考验训练数据集的包容性，即考验训练数据集的丰富程度——训练数据集中包含的样本图像种类越丰富，模型的学习也就更全面。因为标准训练数据集的存在，大多数模型并不需要考虑训练数据集丰富与否的问题。然而，诸如Bicubic、SC、ANR、SRCNN等现有的单张图像超分辨算法，由于自身算法的学习能力有限，其超分辨效果并没有达到最优。
技术实现思路
在下文中给出了关于本专利技术的简要概述，以便提供关于本专利技术的某些方面的基本理解。应当理解，这个概述并不是关于本专利技术的穷举性概述。它并不是意图确定本专利技术的关键或重要部分，也不是意图限定本专利技术的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。鉴于此，本专利技术提供了一种基于K均值驱动卷积神经网络的分布式图像超分辨方法，以至少解决现有的单张图像超分辨算法由于自身算法的学习能力有限而导致其超分辨效果没有达到最优的问题。根据本专利技术的一个方面，提供了一种基于K均值驱动卷积神经网络的分布式图像超分辨方法，分布式图像超分辨方法包括：按位置裁剪待超分辨的低分辨率图像，以得到低分辨率图像对应的多个低分辨率小图像块；提取多个低分辨率小图像块各自的内容结构特征；根据多个低分辨率小图像块各自的内容结构特征、利用训练模型的K个聚类中心对多个低分辨率小图像块进行分类，分别得到多个低分辨率小图像块各自所属的聚类中心，其中，训练模型包括K个聚类中心，以及每个聚类中心对应的卷积神经网络模型，其中K为正整数；对多个低分辨率小图像块进行上采样处理，以得到其中每个低分辨率小图像块对应的高分辨率无细节小图像块；针对多个低分辨率小图像块中的每一个，将该低分辨率小图像块对应的高分辨率无细节小图像块输入到该低分辨率小图像块所属聚类中心对应的卷积神经网络模型中，得到该卷积神经网络模型的输出结果，通过将该输出结果与该低分辨率小图像块对应的高分辨率无细节小图像相加而得到该低分辨率小图像块对应的高分辨率小图像块；将多个低分辨率小图像块各自对应的高分辨率小图像块按其在低分辨率图像中的位置关系进行拼接处理，以得到低分辨率图像对应的高分辨率图像。进一步地，训练模型通过如下方式预先获得：将标准训练数据集中的所有高分辨率训练图像以重叠的方式裁剪成多个训练高分辨率小图像块，由多个训练高分辨率小图像块构成新训练集；提取新训练集中每个训练高分辨率小图像块的内容结构特征；根据新训练集中每个训练高分辨率小图像块的内容结构特征，利用K均值聚类方式对新训练集中所有训练高分辨率小图像块进行分类，得到K个聚类中心以及新训练集中每个训练高分辨率小图像块的聚类标签；针对K个聚类中心中的每一个，利用卷积神经网络方法对该聚类中心对应的所有训练高分辨率小图像块进行超分辨训练，得到该聚类中心对应的卷积神经网络模型；由K个聚类中心以及其中每个聚类中心对应的卷积神经网络模型构成训练模型。进一步地，每个聚类中心对应的卷积神经网络模型包括该模型对应的第一卷积层、第二卷积层和第三卷积层；其中，第一卷积层采用128个9*9的卷积核矩阵以及128个偏置值B1，该层的输出结果为Z1＝D*W1+B1，表示输入数据，表示输出结果，该层输出结果经过第一激活函数F1(Z1)＝max(Z1,0)处理后输入到第二卷积层；第二卷积层采用64个5*5的卷积核矩阵以及64个偏置值B2，该层的输出结果为Z2＝F1(Z1)*W2+B2,该层输出结果经过第二激活函数F2(Z2)＝max(Z2,0)处理后输入到第三卷积层；第三卷积层采用1个5*5的卷积核矩阵以及1个偏置值B3，该层输的出结果为Z3＝F2(Z2)*W3+B3,该层输出结果与标签L同时输入到损失层；损失层用于计算第三层输出结果与对应标签之间的均方差将该均方差值作为损失输出。通过以上描述可知，本专利技术的基于K均值驱动卷积神经网络的分布式图像超分辨方法，其一方面采取了“分而治之”的思想，将待超分辨的低分辨率图像裁剪成小图像块并提取小图像块的内容结构特征，基于训练模型中的K个聚类中心对小图像块进行分类，以此来对内容结构复杂程度不同的小图像块分别进行处理，能够适用于处理内容结构复杂度较高的图像；而另一方面，该方法还采用了学习能力强的模型——卷积神经网络模型对各类小图像块分别进行处理以获得对应的高分辨率小图像块，进而通过拼接最终获得对应的高分辨率图像，从而能够提高算法本身的学习能力，使得超分辨效果相对现有技术大大改善。此外，在训练阶段，也即训练模型预先构建的过程中，和超分辨过程类似地也采用了“分而治之”的思想，即将标准训练数据集中的图像以重叠的方式裁剪成小图像块，提取小图像块的内容结构特征并采用K均值聚类的方式对小图像块进行聚类，对内容结构复杂程度不同的小图像块分别进行处理，由此能够适用于处理内容结构复杂度较高的图像；而且也采用了学习能力强的模型——卷积神经网络模型来对K均值聚类所得的各类小图像块分别进行训练得到每类小图像块对应的卷积神经网络模型，提高了算法本身的学习能力，进而能够改善超分辨效果。此外，采用三层卷积层的卷积神经网络模型，可进一步提高本专利技术的基于K均值驱动卷积神经网络的分布式图像超分辨方法的处理能力，使得算法本身的学习能力更强，能够处理更加复杂的图像，而且超分辨效果较好。通过以下结合附图对本专利技术的最佳实施例的详细说明，本专利技术的这些以及其他优点将更加明显。附图说明本专利技术可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本专利技术的优选实施例和解释本专利技术的原理和优点。在附图中：图1是示出本专利技术的基于K均值驱动卷积神经网络的分布式图像超分辨方法的一种示例性处理的流程图；图2是示出本专利技术的训练模型的构建过程的一个示例的流程图；图3A是示出本专利技术的分布式图像超分辨方法的优选实施例中训练阶段的聚类预处理操作示意图的流程图；图3B是示出本专利技术的分布式图像超分辨方法的优选实施例中训练阶段的模型训练操作示意图的流程图；图3C是示出本专利技术的分布式图像超分辨方法的优选实施例中超分辨阶段示意图的流程图；图3D是示出本专利技术的分布式图像超分辨方法的优选实施例中采用的卷积神经网络模型示意图的流程图。本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘本文档来自技高网...

【技术保护点】
基于K均值驱动卷积神经网络的分布式图像超分辨方法，其特征在于，所述分布式图像超分辨方法包括：按位置裁剪待超分辨的低分辨率图像，以得到所述低分辨率图像对应的多个低分辨率小图像块；提取所述多个低分辨率小图像块各自的内容结构特征；根据所述多个低分辨率小图像块各自的内容结构特征、利用训练模型的K个聚类中心对所述多个低分辨率小图像块进行分类，分别得到所述多个低分辨率小图像块各自所属的聚类中心，其中，所述训练模型包括K个聚类中心，以及每个聚类中心对应的卷积神经网络模型，其中K为正整数；对所述多个低分辨率小图像块进行上采样处理，以得到其中每个低分辨率小图像块对应的高分辨率无细节小图像块；针对所述多个低分辨率小图像块中的每一个，将该低分辨率小图像块对应的高分辨率无细节小图像块输入到该低分辨率小图像块所属聚类中心对应的卷积神经网络模型中，得到该卷积神经网络模型的输出结果，通过将该输出结果与该低分辨率小图像块对应的高分辨率无细节小图像相加而得到该低分辨率小图像块对应的高分辨率小图像块；将所述多个低分辨率小图像块各自对应的高分辨率小图像块按其在所述低分辨率图像中的位置关系进行拼接处理，以得到所述低分辨率图像对应的高分辨率图像。...

【技术特征摘要】
1.基于K均值驱动卷积神经网络的分布式图像超分辨方法，其特征在于，所述分布式图像超分辨方法包括：按位置裁剪待超分辨的低分辨率图像，以得到所述低分辨率图像对应的多个低分辨率小图像块；提取所述多个低分辨率小图像块各自的内容结构特征；根据所述多个低分辨率小图像块各自的内容结构特征、利用训练模型的K个聚类中心对所述多个低分辨率小图像块进行分类，分别得到所述多个低分辨率小图像块各自所属的聚类中心，其中，所述训练模型包括K个聚类中心，以及每个聚类中心对应的卷积神经网络模型，其中K为正整数；对所述多个低分辨率小图像块进行上采样处理，以得到其中每个低分辨率小图像块对应的高分辨率无细节小图像块；针对所述多个低分辨率小图像块中的每一个，将该低分辨率小图像块对应的高分辨率无细节小图像块输入到该低分辨率小图像块所属聚类中心对应的卷积神经网络模型中，得到该卷积神经网络模型的输出结果，通过将该输出结果与该低分辨率小图像块对应的高分辨率无细节小图像相加而得到该低分辨率小图像块对应的高分辨率小图像块；将所述多个低分辨率小图像块各自对应的高分辨率小图像块按其在所述低分辨率图像中的位置关系进行拼接处理，以得到所述低分辨率图像对应的高分辨率图像。2.根据权利要求1所述的分布式图像超分辨方法，其特征在于，所述训练模型通过如下方式预先获得：将标准训练数据集中的所有高分辨率训练图像以重叠的方式裁剪成多个训练高分辨率小图像块，由所述多个训练高分辨率小图像块构成新训练集；提取所...

【专利技术属性】
技术研发人员：任鹏，孙文健，高彬，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：山东;37