一种基于分类字典库的超分辨率图像重构方法及装置制造方法及图纸

本申请提供一种基于分类字典库的超分辨率图像重构装置，该装置可以从训练图像中选取第一局部块以及降采样后对应的第二局部块，提取相应特征，组合得到一组字典组，再对多组字典组按照LBS和SES的计算值作为分类标记进行分类并进行预训练，得到包含多个带分类标记的字典组的分类字典库。在重构图像时，同样提取待重构图像上局部块的局部特征，并将局部块的LBS和SES分类与分类字典库中各字典的LBS和SES分类相匹对，即可以快速获取到匹对的字典，最后利用匹对的字典对该待重构图像进行图像重构。从而，可以在恢复图像的高频信息的同时，提升图像的超分辨率重构的效率。

【技术实现步骤摘要】
一种基于分类字典库的超分辨率图像重构方法及装置
本专利技术涉及图像超分辨率
，具体涉及一种基于分类字典库的超分辨率图像重构方法及装置。
技术介绍
超分辨率也被称为上采样、图像放大，是一种通过低分辨率的图像来恢复高分辨率的清晰图像的处理技术。超分辨率是图像和视频处理领域的基础问题之一，在医学图像处理、图像识别、数码照片处理、高清电视等领域有着非常广泛的应用前景。早期的超分辨率技术主要分为基于重建的方法和基于插值的方法。基于核的插值是其中一类经典的超分辨方法，例如：双线性插值、样条曲线插值和曲线插值等。但是这类算法是通过已知的离散数据生成连续的数据，通过这类算法处理后的图片仍然会出现模糊、锯齿等效应，无法恢复在低分辨率图像中所丢失的高频细节信息。近年来，大量的基于边缘的超分辨率算法被提出，改善了传统插值算法的不自然效应，同时提高了边缘的视觉质量。但是，这一类聚焦于改善边缘的算法仍然不能恢复高频纹理细节。为了解决纹理模糊问题，一些字典学习类方法也被相继提出，通过训练低分辨率对应的高分辨率字典，来恢复低分辨率图像中丢失的细节信息。但是该类方法中，将低分辨率图像的中各个局部块逐个在字典中进行匹配，非常耗时，图像重构效率低下。
技术实现思路
本专利技术实施例提供一种基于分类字典库的超分辨率图像重构方法，包括：从训练图像中选取若干个第一局部块，以及，从降采样后的所述训练图像上提取与所述第一局部块一一对应的第二局部块，所述第二局部块由其所在训练图像上的至少四个相邻像素点组成；提取所述第一局部块的局部特征，作为第一字典，以及提取所述与所述第一局部块一一对应的第二局部块的局部特征，作为第二字典，所述第一字典与所述第二字典一一映射构成一组字典组；计算所述第二局部块的局部二值结构和锐利边缘结构，得到的计算结果作为所述第二局部块对应的字典组的分类标记；对若干组所述字典组进行预训练，得到分类字典库，所述分类字典库中的每一字典组携带有对应的分类标记；计算待重构图像上的第三局部块的局部二值结构和锐利边缘结构，得到所述第三局部块的分类标记，所述第三局部块由其所在的待重构图像上的至少四个相邻像素点组成；将所述待重构图像中的第三局部块的分类标记与所述分类字典库中的各个字典组的分类标记进行比较，提取分类标记相同的字典组作为所述第三局部块的匹对字典组；利用所述匹对字典组对所述第三局部块进行图像重构，得到重构的第四局部块，将所述待重构图像中的所有第四局部块组合得到重构的图像。本专利技术实施例提供一种基于分类字典库的超分辨率图像重构装置，包括：选取单元，用于从训练图像中选取若干个第一局部块，以及，从降采样后的所述训练图像上提取与所述第一局部块一一对应的第二局部块，所述第二局部块由其所在训练图像上的至少四个相邻像素点组成；第一提取单元，用于提取所述选取单元选取的所述第一局部块的局部特征，作为第一字典；第二提取单元，用于提取所述选取单元选取的所述与所述第一局部块一一对应的第二局部块的局部特征，作为第二字典，所述第一字典与所述第二字典一一映射构成一组字典组；第一计算单元，用于计算所述选取单元选取的所述第二局部块的局部二值结构和锐利边缘结构，作为所述第二局部块对应的字典组的分类标记；预训练单元，用于对对经过所述第一提取单元和所述第二提取单元提取的若干组所述字典组进行预训练，得到分类字典库，所述分类字典库中的每一字典组携带有所述第一计算单元计算所得的对应的分类标记；第二计算单元，用于计算待重构图像上的第三局部块的局部二值结构和锐利边缘结构，得到所述第三局部块的分类标记，所述第三局部块由其所在的待重构图像上的至少四个相邻像素点组成；匹对单元，用于将所述第二计算单元计算得到的所述待重构图像中的第三局部块的分类标记与经过所述预训练单元训练得到的所述分类字典库中的各个字典组的分类标记进行比较，提取分类标记相同的字典组作为所述第三局部块的匹对字典组；重构单元，用于利用所述匹对单元匹对得到的所述匹对字典组对所述第三局部块进行图像重构，得到重构的第四局部块，将所述待重构图像中的所有第四局部块组合得到重构的图像。从以上技术方案可以看出，本专利技术实施例具有以下优点：本申请提供的基于分类字典库的超分辨率图像重构方法及装置，可以从训练图像中选取第一局部块以及降采样后对应的第二局部块，提取相应特征，组合得到一组字典组，再对多组字典组按照LBS和SES的计算值作为分类标记进行分类并进行预训练，得到包含多个带分类标记的字典组的分类字典库。在重构图像时，同样提取待重构图像上局部块的局部特征，并将局部块的LBS和SES分类与分类字典库中各字典的LBS和SES分类相匹对，即可以快速获取到匹对的字典，最后利用匹对的字典对该待重构图像进行图像重构。从而，可以在恢复图像的高频信息的同时，提升图像的超分辨率重构的效率。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：图1是依据本专利技术实施例一的方法流程图；图2a-2c为本申请一种实施例中局部块分类示意图；图3是依据本专利技术实施例二的装置结构示意图。具体实施方式实施例一：依据本专利技术的一种实施方式，提供一种基于分类字典库的超分辨率图像重构方法，参考图1，该方法可以包括以下步骤：101、从训练图像中选取第一局部块以及降采样后对应的第二局部块。其中，值得指出的是，本领域技术人员应该知道，可以为后续训练分类字典库预先准备图像集合，图像集合中可以包括多张训练图像。在选取训练图像时，应当选择高分辨率的图像，所述高分辨率的图像指的是清晰的带有高频信息的图像。本实施例步骤具体可以是：从包含若干个训练图像的训练图像集中选取若干个第一局部块，以及，从降采样后的所述训练图像上提取与所述第一局部块对应的第二局部块。每个局部块的选取举例如下：选取一个训练图像上任意3×3大小的第一局部块。其中，多个不同的第一局部块可以从一张训练图像上选取得到，也可以从几张不同的训练图像上选取得到，本申请实施例对此不作具体限定。第一局部块是从清晰的高分辨率图像上选取的局部块，由于经过欠采样处理，第二局部块是从第一局部块所在的高分辨率图像所对应的低分辨率图像上选取的局部块。102、提取第一局部块的局部特征以及第二局部块的局部特征，分别得到第一字典和第二字典。其中，值得指出的是，提取第一局部块的局部特征和提取第二局部块的局部特征的执行顺序可以是同时，也可以是任一先后顺序，本申请实施例对此不作限定。将所述第一字典与所述第二字典一一映射构成一字典组，以便后续用于重构低分辨率的局部块。一个优选的实施例中，第一字典的具体获取过程可以是：将第一局部块中每个像素点的灰度值与该第一局部块的灰度值的均值相减，得到该第一局部块的残差值，将该残差值作为第一局部块对应的第一字典。一个优选的实施例中，第二字典的具体获取过程可以是：计算所述第二局部块的局部灰度差异值、一阶梯度值以及二阶梯度值，计算所得的结果作为所述第二局部块对应的第二字典。103、计算第二局部结构的局部二值结构和锐利边缘结构。其中，计算第二局部结构的局部二值结构和锐利边缘结构，得到的计算结果作为第局部结构对应的字典组的分类标记。第一字典及第二字典构成一一映射关系，组成一字典组。通过使用局部二值结构（LBS，本文档来自技高网...

【技术保护点】
一种基于分类字典库的超分辨率图像重构方法，其特征在于，包括：从训练图像中选取若干个第一局部块，以及，从降采样后的所述训练图像上提取与所述第一局部块一一对应的第二局部块，所述第二局部块由其所在训练图像上的至少四个相邻像素点组成； 提取所述第一局部块的局部特征，作为第一字典，以及提取所述与所述第一局部块一一对应的第二局部块的局部特征，作为第二字典，所述第一字典与所述第二字典一一映射构成一组字典组；计算所述第二局部块的局部二值结构和锐利边缘结构，得到的计算结果作为所述第二局部块对应的字典组的分类标记；对若干组所述字典组进行预训练，得到分类字典库，所述分类字典库中的每一字典组携带有对应的分类标记；计算待重构图像上的第三局部块的局部二值结构和锐利边缘结构，得到所述第三局部块的分类标记，所述第三局部块由其所在的待重构图像上的至少四个相邻像素点组成；将所述待重构图像中的第三局部块的分类标记与所述分类字典库中的各个字典组的分类标记进行比较，提取分类标记相同的字典组作为所述第三局部块的匹对字典组；利用所述匹对字典组对所述第三局部块进行图像重构，得到重构的第四局部块，将所述待重构图像中的所有第四局部块组合得到重构的图像。...

【技术特征摘要】
1.一种基于分类字典库的超分辨率图像重构方法，其特征在于，包括：从训练图像中选取若干个第一局部块，以及，从降采样后的所述训练图像上提取与所述第一局部块一一对应的第二局部块，所述第二局部块由其所在训练图像上的至少四个相邻像素点组成；提取所述第一局部块的局部特征，作为第一字典，以及提取所述与所述第一局部块一一对应的第二局部块的局部特征，作为第二字典，所述第一字典与所述第二字典一一映射构成一组字典组；计算所述第二局部块的局部二值结构和锐利边缘结构，得到的计算结果作为所述第二局部块对应的字典组的分类标记；对若干组所述字典组进行预训练，得到分类字典库，所述分类字典库中的每一字典组携带有对应的分类标记；计算待重构图像上的第三局部块的局部二值结构和锐利边缘结构，得到所述第三局部块的分类标记，所述第三局部块由其所在的待重构图像上的至少四个相邻像素点组成；将所述待重构图像中的第三局部块的分类标记与所述分类字典库中的各个字典组的分类标记进行比较，提取分类标记相同的字典组作为所述第三局部块的匹对字典组；利用所述匹对字典组对所述第三局部块进行图像重构，得到重构的第四局部块，将所述待重构图像中的所有第四局部块组合得到重构的图像。2.如权利要求1所述的基于分类字典库的超分辨率图像重构方法，其特征在于，所述提取所述第一局部块的局部特征，作为第一字典包括：将所述第一局部块中每个像素点的灰度值与所述第一局部块的灰度值的均值相减，得到所述第一局部块的残差值，作为所述第一局部块对应的第一字典。3.如权利要求1所述的基于分类字典库的超分辨率图像重构方法，其特征在于，所述提取所述与所述第一局部块一一对应的第二局部块的局部特征，作为第二字典包括：计算所述第二局部块的局部灰度差异值、一阶梯度值以及二阶梯度值，计算所得的结果作为所述第二局部块对应的第二字典。4.如权利要求1-3中任意一项所述的基于分类字典库的超分辨率图像重构方法，其特征在于，所述利用所述匹对字典组对所述第三局部块进行图像重构，得到重构的第四局部块包括：利用以下公式计算得到所述第三局部块重构后的第四局部块x：x≈Dh(y)α其中，y为待重构的所述第三局部块，Dh(y)为和所述第三局部块有相同的分类标记的字典组的第一字典，α为表达系数。5.如权利要求4所述的基于分类字典库的超分辨率图像重构方法，其特征在于，所述对若干组所述字典组进行预训练，得到分类字典库包括：利用稀疏编码算法对若干组所述字典组进行预训练，得到过完备的分类字典库。6.如权利要求4所述的基于分类字典库的超分辨率图像重构方法，其特征在于，所述对若干组所述字典组进行预训练，得到分类字典库包括：利用K均值聚类算法对若干组所述字典组进行预训练，得到欠完备的分类字典库。7.如权利要求5所述的基于分类字典库的超分辨率图像重构方法，其特征在于，在使用过完备字典库对所述第三局部块y进行重构时，所述表达系数α满足稀疏性，α由以下公式计算得到：min||α||0其中，D1(y)为与y有相同的分类标记的第二字典，ε为趋于0的极小值，F是局部特征提取操作。8.如权利要求6所述的基于分类字典库的超分辨率图像重构方法，其特征在于，在使用欠完备字典库对所述第三局部块y进行重构时，所述表达系数α不满足稀疏性，由以下方式得到：使用k近邻算法提取最接近y的k个第二字典D1(y)；获取对应的k个第一字典Dh(y)；利用所述k个第一字典Dh(y)...

【专利技术属性】
技术研发人员：赵洋，王荣刚，王振宇，高文，王文敏，董胜富，黄铁军，马思伟，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：广东;44