图像处理设备和图像处理方法技术

本发明专利技术提供了一种图像处理设备，由此提高了输出与在低质量输入的图像中包括的原始图像准确地对应的恢复的图像的概率。这一图像处理设备包括：图像组生成装置，该图像组生成装置用于使用存储多个补丁对的字典来从输入的图像生成多个恢复的图像候选，其中劣化补丁与恢复补丁关联，该劣化补丁是劣化的图像的补丁，在该劣化的图像中，规定的图像被劣化，该恢复补丁是这一规定的图像的补丁，该多个恢复的图像候选包括多个不同内容实例，该多个不同内容实例具有是输入的图像的原始内容的可能性；以及图像选择呈现装置，该图像选择呈现装置用于对生成的多个恢复的图像候选进行聚类，并且基于这一聚类的结果选择和输出图像候选。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术设及一种用于从劣化的图像生成恢复的图像的图像处理设备、图像处理方 法和图像处理程序。
技术介绍
一种用于从劣化的图像生成恢复的图像的技术的已知示例包括超分辨率技术。在 超分辨率技术中，一种使用字典的方法特别地被称为学习型超分辨率技术。该一字典是通 过学习范例而生成的字典，在该些范例中，低分辨率图像和高分辨率图像相互关联。 在NPL 1中描述了一种学习型超分辨率技术的示例。在NPL 1中描述的学习型超 分辨率技术中，执行W下方案（下文被称为超分辨率过程）。 首先，在超分辨率过程中，接收输入图像，该输入图像是低分辨率图像。 随后，在超分辨率过程中，从输入图像生成低频率分量。 随后，在超分辨率过程中，从生成的低频率分量切除低频率补了，并且从低频率补 了计算低频率特征量。 随后，在超分辨率过程中，按照从计算的低频率特征量的距离的升序从字典捜索 多条低频率特征量学习数据。然后，在超分辨率过程中，读出与捜索的低频率特征量学习数 据形成对的高频率特征量。[000引随后，在超分辨率过程中，基于在捜索期间的距离、与相邻高频率块的不一致、在 学习阶段中分离地学习的低频率特征量和高频率特征量的同现概率等选择单个高频率特 征量。 例如，P化1公开了图像处理设备的示例。 在PTL 1的图像处理设备中，参数选择单元基于从输入图像标识的对象的属性选 择多个不同图像处理参数的组合。随后，图像生成单元使用该些选择的图像处理参数W提 高在输入图像中包括的对象的图像质量。然后，图像生成单元基于与输入图像的比较从获 得自图像质量改进的多个图像之中选择至少单个图像，并且使选择的图像变成高图像质量 图像。 日本专利公开号2010-273328 Taguchi, Ono, Mita, Ida, "A Learning Method of Representative Examples for Image Super-民esolution by Closed-Loop Training", The Transactions of the Institute of Electronics，Information and Communication. D，information and systems J92-D巧），pp. 831-842, 2009-06-01
技术实现思路
然而，在W上说明的PTL1和NPL1中描述的技术中，存在可能未输出与作为低质 量图像的输入图像准确地对应的恢复的图像的问题。该一问题更具体地是W下问题。在输 入图像中包括的内容例如是数"7"时，可能向恢复的图像输出与其原始内容不同的数"9"， 而可能未输出作为其原始内容的数"7"。该一问题在输入图像的劣化（图像质量的劣化） 更大时变得更显著。 该是因为在PTL1和NPL1中描述的技术中的任何技术未预计其中"与输入图像 对应的生成的恢复的图像可能不正确"的情况。换而言之，在PTL1和NPL1中描述的技术 中的任何技术没有用于选择可W有可能指示原始内容的多个恢复的图像的装置。 更具体地，该是因为在NPL1中描述的技术中，从仅按照更大地增加与任何给定 的输入图像的不一致而选择的高频率分量生成与输入图像对应的超分辨率图像（恢复的 图像）。 在另一方面，该是因为在W上说明的PTL1中描述的技术中，与输入图像对应的 高图像质量图像（恢复的图像）基于与其输入图像的比较而从变成高图像质量的多个图像 之中选择和输出。 本专利技术的目的是提供一种解决W上问题的图像处理设备、图像处理方法和图像处 理程序。 根据本专利技术的一个方面的第一图像处理设备包括： 图像组生成单元，该图像组生成单元使用存储按照劣化的补了和恢复的补了相互 关联的方式包括退化的补了和恢复的补了的多个补了对的字典，W生成包括多个不同内容 的多个恢复的图像候选，劣化的补了是通过使预定图像劣化而获得的劣化的图像的补了， 恢复的补了是预定图像的补了，多个不同内容可W是来自所述单个输入图像的输入图像的 原始内容；W及 图像选择呈现单元，该图像选择呈现单元对所述恢复的图像候选聚类，并且基于 所述聚类的结果选择和输出所述恢复的图像候选。 根据本专利技术的一个方面的第二图像处理设备包括： 图像组生成单元，该图像组生成单元生成包括与输入图像相似的不同内容的多个 恢复的图像候选；W及[002引图像选择呈现单元，该图像选择呈现单元对所述恢复的图像候选聚类，并且从至 少两个或者更多个类选择和输出恢复的图像候选。 根据本专利技术的一个方面的由计算机执行的第一图像处理方法包括： 使用按照劣化的补了和恢复的补了相互关联的方式包括退化的补了和恢复的补 了的多个补了对的字典，W生成包括多个不同内容的多个恢复的图像候选，劣化的补了是 通过使预定图像劣化而获得的劣化的图像的补了，恢复的补了是预定图像的补了，多个不 同内容可W是来自单个输入图像的输入图像的原始内容；化及 对所述恢复的图像候选聚类，并且基于所述聚类的结果选择和输出所述恢复的图 像候选。 根据本专利技术的一个方面的由计算机执行的第二图像处理方法包括： 生成包括与输入图像相似的不同内容的多个恢复的图像候选拟及 对所述恢复的图像候选聚类，并且从至少两个或者更多个类选择和输出恢复的图 像候选。 根据本专利技术的一个方面的记录有图像处理程序的第一非瞬态计算机可读记录介 质，该图像处理程序使得计算机执行： 使用按照劣化的补了和恢复的补了相互关联的方式包括退化的补了和恢复的补 了的多个补了对的字典，W生成包括多个不同内容的多个恢复的图像候选，劣化的补了是 通过使预定图像劣化而获得的劣化的图像的补了，恢复的补了是预定图像的补了，多个不 同内容可W是来自单个输入图像的输入图像的原始内容；化及 对所述恢复的图像候选聚类并且基于所述聚类的结果选择和输出所述恢复的图 像候选的处理。[003引根据本专利技术的一个方面的记录有图像处理程序的第二非瞬态计算机可读记录介 质，该图像处理程序使得计算机执行： 生成包括与输入图像相似的不同内容的多个恢复的图像候选的处理拟及 对所述恢复的图像候选聚类、并且从至少两个或者更多个类选择和输出恢复的图 像候选的处理。 本专利技术具有可W提高输出与在输入图像（即，低质量图像）中包括的原始图像准 确地对应的恢复的图像的概率的优点。【附图说明】 图1是图示了根据本专利技术的第一示例性实施例的图像处理系统的配置的框图。 图2是图示了根据第一示例性实施例的学习设备的配置的框图。 图3是用于说明根据第一示例性实施例的学习阶段的示意图。 图4是用于说明根据第一示例性实施例字典如何存储补了对的示意图。 图5是图示了根据第一示例性实施例的学习设备的操作的流程图。 图6是图示了根据第一示例性实施例的恢复设备的配置的框图。 图7是图示了根据第一示例性实施例的图像处理设备的配置的框图。 图8是图示了根据第一示例性实施例的超参数集合的示例的附图。 图9是示意性地图示了概率分布函数及其最大值的图像的附图。 图10是用于说明根据第一示例性实施例的恢复阶段的示意图。 图11是用于说明根据第一示例性实施例的恢复阶段的示意图。 图12是图示了根据第一示例性实施例的补了的示例的附图。 图13是示意性地图示了聚类的图像的附图。本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：图像组生成装置，所述图像组生成装置用于使用存储按照劣化的补丁和恢复的补丁相互关联的方式包括所述退化的补丁和所述恢复的补丁的多个补丁对的字典，以生成包括多个不同内容的多个恢复的图像候选，所述劣化的补丁是通过使预定图像劣化而获得的劣化的图像的补丁，所述恢复的补丁是所述预定图像的补丁，所述多个不同内容可以是来自所述单个输入图像的输入图像的原始内容；以及图像选择呈现装置，所述图像选择呈现装置用于对所述多个恢复的图像候选聚类，并且基于所述聚类的结果选择和输出所述恢复的图像候选。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：柴田刚志，池谷彰彦，仙田修司，
申请(专利权)人：日本电气株式会社，
类型：发明
国别省市：日本;JP