图像处理装置、图像处理方法和程序制造方法及图纸

本发明专利技术涉及图像处理装置、图像处理方法和程序。一种图像处理装置，包括：纹理提取单元，用于提取G校正图像的纹理分量，在G校正图像中，对包括输入图像的G分量的G图像的结构分量的模糊或者散焦进行了校正；掩模生成单元，用于生成掩模图像，在掩模图像中，对于G分量的变化和R分量的变化之间的相关性或者G分量的变化和B分量的变化之间的相关性中的至少一个相关性弱的区域，减小G校正图像的纹理分量到R校正图像和B校正图像的合成量；以及合成单元，用于使用掩模图像，将G校正图像的纹理分量合成到R校正图像和B校正图像。

【技术实现步骤摘要】

本专利技术涉及一种图像处理装置、图像处理方法和程序，更具体地，涉及一种适合在 校正出现模糊或者散焦的图像时使用的图像处理装置、图像处理方法和程序。
技术介绍
在相关技术中，存在校正在拍摄的图像中出现的手抖或者失焦(下文中简称为散 焦)的校正技术。例如，L. B. Lucy 禾口 William Hardley Richardson 提出了 Richardson-Lucy 方法。 然而，在这种方法中，当使用落在点扩展函数(PSF)的频率轴上的零点的频谱解决逆问题 时，可能在零点处发现噪声放大、振铃产生等。另外，如果没有准确地获得PSF，则在零点处 噪声放大、振铃产生等可能更加增大。如果通过引入增益图来准确地获得PSF，则存在能够抑制振铃的余差去卷积技术 (例如，参见 Lu Yuan，Jian Sun，Long Quan, Heung-YeungShum, Image deblurring with blurred/noisy image pairs，ACMTransactions on Graphics(TOG), v. 26n. 3,July 2007)。然而，在相关技术的余差去卷积技术中，如果在PSF中存在误差，则不能很好地恢 复图像的结构分量和残差(余差部分)，可能产生更多振铃。为此，考虑应用基于Richardson-Lucy方法将用于分离图像的结构分量和纹理分 量的结构/纹理分离滤波器组合为静止图像手抖校正算法的技术(下文中称为结构去卷积 技术)。在结构去卷积技术中，例如，通过作为一种类型的结构/纹理分离滤波器的全变 差滤波器来分离出现模糊的图像(下文中称为模糊图像)的结构分量和纹理分量，仅针对 结构分量校正模糊，由此抑制噪声或者振铃产生。这里，结构分量表示构成图像的构架的分量，例如图像几乎不改变的平坦部分、图 像缓慢改变的倾斜部分和主体的轮廓或者边缘。另外，纹理分量表示构成图像的细节的部 分，例如主体的详细形状。因此，大多数结构分量被包含在空间频率的低频分量中，而大多 数纹理分量被包含在空间频率的高频分量中。
技术实现思路
然而，在上述结构去卷积技术中，优选减小计算量以进一步提高处理速度。希望以更高的速度校正图像的模糊和散焦，同时抑制图像质量的劣化。根据本专利技术的一个实施例，提供了一种图像处理装置，包括纹理提取单元，被配 置为提取G校正图像的纹理分量，在G校正图像中，对包括输入图像的G分量的G图像的 结构分量的模糊或者散焦进行了校正；掩模生成单元，被配置为生成掩模图像，在掩模图像 中，对于输入图像的G分量的变化和R分量的变化之间的相关性或者输入图像的G分量的 变化和B分量的变化之间的相关性中的至少一个相关性弱的区域，减小G校正图像的纹理 分量到R校正图像和B校正图像的合成量，其中在对通过缩小包括输入图像的R分量的R图像而获得的图像的结构分量的模糊或者散焦进行校正之后R校正图像还原到缩小之前 的大小，在对通过缩小包括输入图像的B分量的B图像而获得的图像的结构分量的模糊或 者散焦进行校正之后B校正图像还原到缩小之前的大小；以及合成单元，被配置为使用掩 模图像，将G校正图像的纹理分量合成到R校正图像和B校正图像。掩模生成单元可以生成第一掩模图像，在第一掩模图像中，对于R图像的高频分 量和G图像的高频分量之间的相关性弱的区域，减小G校正图像的纹理分量到R校正图像 的合成量；掩模生成单元生成第二掩模图像，在第二掩模图像中，对于B图像的高频分量和 G图像的高频分量之间的相关性弱的区域，减小G校正图像的纹理分量到B校正图像的合成 量，合成单元使用第一掩模图像，将G校正图像的纹理分量合成到R校正图像，并且使用第 二掩模图像，将G校正图像的纹理分量合成到B校正图像。掩模生成单元可以包括高频提取单元，被配置为提取R图像、G图像和B图像的 高频分量；检测单元，被配置为检测R图像的高频分量和G图像的高频分量之间的差以及 B图像的高频分量和G图像的高频分量之间的差；以及生成单元，被配置为生成第一掩模图 像，在第一掩模图像中，对于R图像的高频分量和G图像的高频分量之间的差为大的区域， 减小G校正图像的纹理分量到R校正图像的合成量；并且生成第二掩模图像，在第二掩模图 像中，对于B图像的高频分量和G图像的高频分量之间的差为大的区域，减小G校正图像的 纹理分量到B校正图像的合成量。图像处理装置还可以包括缩小单元，被配置为缩小R图像和B图像；校正单元， 被配置为对通过缩小R图像而获得的R缩小图像的结构分量、通过缩小B图像而获得的B 缩小图像的结构分量和G图像的结构分量的模糊或者散焦进行校正；以及放大单元，被配 置为将模糊或者散焦经过校正之后的R缩小图像和B缩小图像还原到原始大小。根据本专利技术的另一实施例，提供了一种图像处理方法，包括如下步骤在图像处理 装置处，提取G校正图像的纹理分量，在G校正图像中，对包括输入图像的G分量的G图像 的结构分量的模糊或者散焦进行了校正；生成掩模图像，在掩模图像中，对于输入图像的G 分量的变化和输入图像的R分量的变化之间的相关性或者输入图像的G分量的变化和输 入图像的B分量的变化之间的相关性中的至少一个相关性弱的区域，减小G校正图像的纹 理分量到R校正图像和B校正图像的合成量，其中在对通过缩小包括输入图像的R分量的 R图像而获得的图像的结构分量的模糊或者散焦进行校正之后R校正图像还原到缩小之前 的大小，在对通过缩小包括输入图像的B分量的B图像而获得的图像的结构分量的模糊或 者散焦进行校正之后B校正图像还原到缩小之前的大小；以及使用掩模图像，将G校正图像 的纹理分量合成到R校正图像和B校正图像。根据本专利技术的另一实施例，提供了一种用于在计算机上执行包括如下步骤的处理 的程序提取G校正图像的纹理分量，在G校正图像中，对包括输入图像的G分量的G图像 的结构分量的模糊或者散焦进行了校正；生成掩模图像，在掩模图像中，对于输入图像的G 分量的变化和输入图像的R分量的变化之间的相关性或者输入图像的G分量的变化和输 入图像的B分量的变化之间的相关性中的至少一个相关性弱的区域，减小G校正图像的纹 理分量到R校正图像和B校正图像的合成量，其中在对通过缩小包括输入图像的R分量的 R图像而获得的图像的结构分量的模糊或者散焦进行校正之后R校正图像还原到缩小之前 的大小，在对通过缩小包括输入图像的B分量的B图像而获得的图像的结构分量的模糊或者散焦进行校正之后B校正图像还原到缩小之前的大小；以及使用掩模图像，将G校正图像 的纹理分量合成到R校正图像和B校正图像。根据本专利技术的一个实施例，提取G校正图像的纹理分量，在G校正图像中，对包括 输入图像的G分量的G图像的结构分量的模糊或者散焦进行了校正；生成掩模图像，在掩模 图像中，对于输入图像的G分量的变化和输入图像的R分量的变化之间的相关性或者输入 图像的G分量的变化和输入图像的B分量的变化之间的相关性中的至少一个弱的区域，减 小G校正图像的纹理分量到R校正图像和B校正图像的合成量，其中在对通过缩小包括输 入图像的R分量的R图像而获得的图像的结构分量的模糊或者散焦进行校正之后R校正图 像还原到缩小之前的大小，在对通过缩小包括输入图像的B分量的B图像而获得的图像的 结构分量的模糊或者散本文档来自技高网...

【技术保护点】
１．一种图像处理装置，包括：纹理提取单元，提取Ｇ校正图像的纹理分量，在所述Ｇ校正图像中，对包括输入图像的Ｇ分量的Ｇ图像的结构分量的模糊或者散焦进行了校正；掩模生成单元，生成掩模图像，在所述掩模图像中，对于所述输入图像的Ｇ分量的变化和所述输入图像的Ｒ分量的变化之间的相关性或者所述输入图像的Ｇ分量的变化和所述输入图像的Ｂ分量的变化之间的相关性中的至少一个相关性弱的区域，减小所述Ｇ校正图像的所述纹理分量到Ｒ校正图像和Ｂ校正图像的合成量，其中在对通过缩小包括所述输入图像的Ｒ分量的Ｒ图像而获得的图像的结构分量的模糊或者散焦进行校正之后所述Ｒ校正图像还原到缩小之前的大小，在对通过缩小包括所述输入图像的Ｂ分量的Ｂ图像而获得的图像的结构分量的模糊或者散焦进行校正之后所述Ｂ校正图像还原到缩小之前的大小；以及合成单元，使用所述掩模图像，将所述Ｇ校正图像的所述纹理分量合成到所述Ｒ校正图像和所述Ｂ校正图像。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：渡边真司，
申请(专利权)人：索尼公司，
类型：发明
国别省市：JP