图像处理装置和方法、数据处理装置和方法、程序和记录介质制造方法及图纸

在本发明专利技术的图像处理装置和方法、程序以及记录介质中，提取在学习图像集中包括的低质量图像和高质量图像的高频分量(#11)，并且在学习步骤中产生(#12)高频分量的固有投影矩阵和投影核心张量。在恢复步骤中，基于高频分量的固有投影矩阵和投影核心张量来产生第一子核心张量和第二子核心张量(#24，#26)，并且向输入图像的高频分量应用张量投影处理(#30，#34)，以产生高频分量的高质量图像。高频分量的高质量图像被加到通过将输入图像放大到与输出图像相同的大小而获得的放大图像。结果，产生优选的高质量图像(#36)，其中，抑制了由于在低频区域中包括的照明改变导致的图像质量变差。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及图像处理装置和方法、数据处理装置和方法、程序与记录介质，并且具体地说涉及适合于恢复、内插、放大和编码在处理之前图像数据(低图像质量信息)中不存在的高图像质量信息的图像处理技术。
技术介绍
提出了一种作为从低分辨率输入图像产生高分辨率输出图像的方法的技术，其中，预先学习多个图像内容的成对的低分辨率图像和高分辨率图像，获得从低分辨率信息向高分辨率信息的转换(投影)关系，并且，使用该投影关系来从低分辨率输入图像产生 (恢复)包括高分辨率信息的图像(非专利文献1)。常规方法可以被划分为学习步骤和恢复步骤。在前一个学习步骤中，使用张量奇异值分解(TSVD)来预先学习在低分辨率图像和高分辨率图像的对群(将被称为“学习图像集”)的低分辨率信息和高分辨率信息之间的投影关系。例如，获得张量，该张量指示在模态固有空间之间的投影关系，诸如从低分辨率像素的实空间向像素固有空间的转换和向人的个人差异固有空间的转换，以及向高分辨率像素固有空间的转换，并且该张量还指示从高分辨率像素固有空间向实空间的转换。同时，在恢复步骤中，所学习的张量用于向高分辨率信息的图像上投影包括学习图像集的任意低分辨率信息的输入图像。根据该技术，可以通过张量的阶来表达投影转换的模态(诸如在人之间的个体差另O、面部表情、图像的分辨率、面部方向、照明改变和种族)的变化的数目(可以相应地设计学习模型)，并且，满足输入条件的投影允许高度精确的恢复。{引用列表}{非专利文献}{NPL 1}JIA Kui, GONG Shaogang “ Generalized Face Super-Resolution “ , IEEE Transactions of Image Processing,Vol. 17,No. 6,June 2008 Page.873-886 (2008) (2008 年 6 月干丨J IEEE Transactions of Image Processing,第 17 卷 No. 6,873 页-886 页，JIA Kui, GONG Shaogang 的 “Generalized Face Super-Resolution (广义面部超分辨率))”。
技术实现思路
{技术问题}然而，在常规技术中，因为投影转换的输入条件是严格的，并且具体地说，照明改变的允许范围较窄，所以存在下述问题当输入不满足条件的图像时，投影后的恢复的图像质量变差。解决该问题的方法的示例包括加上照明改变作为投影转换的模态。然而，如果加上该模态，则限定投影关系的投影函数增加，并且投影转换的处理时间增加。该问题不仅涉及图像处理，而且涉及使用类似的投影转换的各种数据处理，诸如语音识别、语言数据处理、活体信息处理和自然/物理信息处理。例如，在对于语音识别的应用中，语音数据的采样频率、量化比特的数目(比特的数目)等可以是模态，并且，需要对于诸如48kHz、44. IkHz和32kHz的每一个采样频率与诸如16比特和8比特的量化比特的每一个数目准备用于语音识别的学习固有空间。在对于语言处理的应用中，需要对于诸如日语和英语的每种语言准备用于语言识别的学习固有空间。在对于活体信息处理、自然/物理信息处理等的应用中，需要对于采样频率准备或需要对于量化比特的每一个数目准备用于信息处理的学习固有空间。已经鉴于所述情况做出本专利技术，并且本专利技术的一个目的是提供高度稳健(稳固) 的图像处理装置和方法与程序，该图像处理装置和方法与程序可以减轻作为转换源的图像的输入条件，并且可以对于具有照明改变的图像获得极好的转换图像。本专利技术的另一个目的是提供一种图像处理技术，该技术可以减少要使用的存储器的容量，并且减少处理负荷以加速处理。本专利技术的另一个目的是提供一种数据处理装置和方法、程序与记录介质，它们扩展一般的数据处理技术并向一般的数据处理技术应用该图像处理技术。{对于问题的解决方案}提供本专利技术的以下方面来实现所述目的。本专利技术的第一方面提供了一种图像处理装置，其特征在于包括信息获取组件，用于从学习图像群获取通过投影计算产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的高频分量和中频分量形成的图像对的至少一个，并且所述信息获取组件获取从所述学习图像群和所述固有投影矩阵产生的投影核心张量；第一子核心张量产生组件，用于从所述获取的投影核心张量产生与由第一设定指定的条件对应的第一子核心张量；第二子核心张量产生组件，用于从所述获取的投影核心张量产生与由第二设定指定的条件对应的第二子核心张量；滤波组件，用于产生低频分量控制图像，其中，提取要处理的输入图像的高频分量或高频分量和中频分量；第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述第一投影计算使用所述固有投影矩阵和所述第一子核心张量；第二子张量投影组件，用于通过第二投影计算来投影计算出的系数向量，以从所述低频分量控制图像产生投影图像， 所述第二投影计算使用所述第二子核心张量和所述固有投影矩阵；图像转换组件，用于产生转换图像，所述转换图像具有与所述输入图像不同的图像质量；以及，相加组件，用于使所述投影图像和所述转换图像相加。根据第一方面，从低质量输入图像获取高质量输出图像的所述图像处理装置抑制所述输入图像的低频分量，以通过张量投影来执行高图像质量形成处理。结果，可以在通过所述张量投影的所述高图像质量形成处理中从输出图像去除由于在低频分量中包括的诸如照明改变的干扰或噪声导致的图像变差的影响，并且可以在恢复的高质量图像中提高对于低频分量(诸如干扰和噪声)的稳健性(强度)。将投影转换的目标限制到高频分量或中频分量和高频分量而不是全部频率分量可以向高频分量或中频分量和高频分量分配可以用于产生学习图像群的整个固有空间。优选的是，包括用于存储所述获取的固有投影矩阵和所述投影核心张量的存储组件。所述存储组件可以是诸如硬盘、光盘和存储卡的非易失性存储组件，可以是诸如RAM的用于暂时存储的存储组件，或可以是这些存储组件的组合。所述第一设定可以指明用于在所述中间固有空间上投影所述第一质量图像的投影关系，并且所述第二设定可以指明用于在所述中间固有空间上投影所述第二质量图像的投影关系。本专利技术的第二方面提供了一种图像处理装置，其特征在于包括信息获取组件，用于从学习图像群获取通过投影计算产生的固有投影矩阵，所述学习图像群包括由具有不同图像质量的第一质量图像和第二质量图像的高频分量形成的图像对以及由所述第一质量图像和所述第二质量图像的高频分量和中频分量形成的图像对的至少一个，所述信息获取组件获取与由第一设定指定的条件对应的第一子核心张量，所述第一子核心张量是使用从所述学习图像群和所述投影矩阵产生的投影核心张量而产生的，并且所述信息获取组件获取与由第二设定指定的条件对应的第二子核心张量，所述第二子核心张量是使用所述投影核心张量而产生的；滤波组件，用于产生低频分量控制图像，其中，提取要处理的输入图像的高频分量或高频分量和中频分量；第一子张量投影组件，用于通过第一投影计算来投影所述低频分量控制图像，以计算在所述中间固有空间中的系数向量，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：龟山祐和，
申请(专利权)人：富士胶片株式会社，
类型：发明
国别省市：