图像处理设备及其控制方法技术

本发明专利技术提供一种图像处理设备及其控制方法，该设备用于对由包括具有二维排列的像素的图像传感器的摄像设备拍摄的多个、并拍摄到附着到置于图像传感器前面的光学元件上的异物的影像的图像进行校正，以降低异物的影像的影响，该设备包括：插值单元，用于根据异物的影像外的相邻像素的信号，对拍摄的图像上的与异物的影像相对应的像素的信号进行插值；指定单元，用于输入使插值单元进行插值的指令；以及控制单元，用于根据从指定单元输入的指令控制插值单元进行插值，如果插值单元不能进行插值，则接受从指定单元输入的再执行指令，以及通过改变插值的参数或插值的算法来使插值单元再执行插值。

【技术实现步骤摘要】

本专利技术涉及 一 种用于对由使用CCD或CMOS传感器等图像 传感器的摄像设备所拍摄的图像的部分进行校正的技术，该部 分的图像质量由于附着到置于图像传感器前面的光学元件上的 异物而下降。
技术介绍
近年来，市场上出现了例如数字照相机和数字摄像机等许 多摄像设备，它们通过使用CCD等图像传感器生成图像信号并 记录图像信号作为数据。数字照相机不需要传统上用作记录介 质的感光胶片，将图像作为数据记录在取代这种胶片的半导体 存储卡或硬盘驱动器等数据记录介质上。与胶片不同，这些数 据记录介质允许重复擦写操作，因此可以降低消耗品支出。因 此这种介质非常有用。通常，数字照相机装配有能够在需要时显示所拍摄的图像 的LCD(液晶显示器)监视器和可拆卸的大容量存储装置。使用包括这两种装置的数字照相机可以使不再需要胶片-这种记录介质传统上作为消耗品使用，并且通过将图像显示在 LCD监视器装置上，从而允许用户当场立即检查该图像。因此 可以当场擦除任何不满意的图像数据或者根据需要进行重新拍 摄。也就是说，与使用胶片的卣化银照相机(silver halide cameras)相比，数字照相机显著提高了拍摄照片的效率。由于这种便利性和图像传感器的分辨率的增高等的技术 创新，数字照相机的应用范围得以扩展。近年来，已出现了单 镜头反光照相机(single-lens reflex camera)等许多镜头可更换的数字照相才几。然而，在数字照相机中，灰尘或微尘等小颗粒(以下简称之 为灰尘)有时附着到固定于图像传感器的图像传感器保护玻璃 或置于图像传感器前面的光学滤波器等(以下统称之为图像传 感器光学组件)的表面上。当灰尘如此附着到图像传感器光学组 件上时，灰尘遮挡了光。结果，例如，不能拍摄场景的相应部 分。也就是说，所拍摄的图像的质量下降。与在数字照相机中一样，在使用卣化银胶片的照相机中， 胶片上的灰尘也被拍摄到图像上。然而，胶片逐帧移动，因此 很少在所有帧上都拍摄到类似灰尘。相反，数字照相机的图像传感器不移动，数字照相机使用 同一图像传感器进行拍摄。因为这个原因，一旦灰尘附着到图 像传感器光学组件上，则以相同方式在许多帧(所拍摄的图像) 上都拍摄到该灰尘。尤其，镜头可更换的数字照相机存在以下问题当更换镜头时，灰尘会进入照相机。因此，照相机的用户必须始终小心灰尘附着到图像传感器 光学组件上，并花费很大的精力检查灰尘并对灰尘进行清除。 由于图像传感器尤其位于照相机内部比较深，因而不容易对灰 尘进行清除或检查。当安装/拆卸镜头时，灰尘容易进入镜头可更换的数字照相 机。此外，在许多镜头可更换的数字照相机中，将焦平面快门 置于紧挨图像传感器之前，因此灰尘容易附着到图像传感器光 学组件上。由于图像传感器光学组件上的这种灰尘通常附着在保护 玻璃或光学滤波器上而不是图像传感器的表面，因而根据拍摄 镜头的光圏值或与镜头瞳孔位置(pupil position)的距离，在不同 状态下对灰尘进行成像。也就是说，当光圏值接近开放F值时，拍摄的灰尘图像变得模糊，因此，即使附着小的灰尘也对图像 几乎没有影响。相反，当光圏值增大时，清晰地对这种灰尘进 行成像，因此影响图像。为了解决该问题，例如，用户使用图像编辑程序读取拍摄 了灰尘的图像，指定包括灰尘的区域，在指定区域中判断有无 灰尘，并且执行插值处理(以下称之为修复处理)，从而去除灰尘部分。然而，对于用户指定的区域，当没有检测到灰尘，或者当 灰尘与指定区域相接触时，上述修复处理不执行插值处理。这是因为在没有适当检测到灰尘区域的情况下执行插值常常导 致不自然的图像。在这种情况下，即使用户重复指定用以修复 的同一区域，也不进行任何处理。另外，已知这样一种方法通过预先准备图像传感器上的 仅包含灰尘的图像，并且与普通拍摄的图像结合使用该图像， 从而使得灰尘不明显(参考日本特开2004-222231号公报)，该 图像是在将镜头设置在大光圏值的同时通过拍摄白色墙等所获 得。然而，由于用户必须始终意识到用于灰尘检测所拍摄的图 像和与该图像相关联的拍摄图像之间的对应关系，因而该方法不方便。因此可以想到保持通过拍摄白色墙等所获取的表示灰 尘位置的信息，并将表示灰尘的位置或大小的信息附加给通过 普通拍摄操作所获得的图像数据。例如，有这样一种方法(自动 修复处理)，该方法使用单独准备的图像处理设备，根据所附加 的灰尘位置的信息，分析图像数据上的灰尘位置，并通过利用 周围像素对所分析的区域进行插值，从而使得灰尘的图像不明曰，o然而，在上述自动修复处理中，当判断为不存在灰尘时， 或者当灰尘与指定区域相接触时，不执行自动修复处理的插值处理。这是因为如在修复处理中一样，在没有适当检测灰尘 区域的情况下执行插值常常导致不自然的图像。也就是说，在 这种情况下，不能对于该区域进行自动修复处理。
技术实现思路
考虑到以上问题做出了本专利技术。本专利技术的第一方面提供一种图像处理设备，用于对由包括 具有二维排列的多个像素的图像传感器的摄像设备所拍摄的、并拍摄到附着到置于所述图像传感器前面的光学元件上的异物的影像的图像进行校正，以降低所述异物的影像的影响，所述图像处理设备包括插值单元，用于根据所述异物的影像外的 相邻像素的信号，对所拍摄的图像上的与所述异物的影像相对 应的像素的信号进行插值；指定单元，用于输入使所述插值单 元进行所述插值的指令；以及控制单元，用于根据从所述指定 单元输入的指令控制所述插值单元进行所述插值，如果所述插 值单元不能进行所述插值，则接受从所述指定单元输入的再执 行指令，以及通过改变所述插值的参数或所述插值的算法来使 所述插值单元再执行所述插值。本专利技术的第二方面提供 一 种用于控制图像处理设备的方 法，所述图像处理设备对由包括具有二维排列的多个像素的图 像传感器的摄像设备所拍摄的、并且拍摄到附着到置于所述图 像传感器前面的光学元件上的异物的影像的图像进行校正，以 降低所述异物的影像的影响，所述图像处理设备包括插值单 元，用于根据所述异物的影像外的相邻像素的信号，对所拍摄 图像上的与所述异物的影像相对应的像素的信号进行插值；以 及指定单元，用于输入用以使所述插值单元进行所述插值的指 令；所述方法包括使所述插值单元根据从所述指定单元输入的指令进行所述 插值，如果所述插值单元不能进行所述插值时，从所述指定单 元接受再执行指令，并且在接受了再执行指令时，使所述插值 单元通过改变所述插值的参数或所述插值的算法来再#1行所述插值。通过以下参考附图对典型实施例的说明，本专利技术的其它特 性将显而易见。附图说明图l是示意性示出图像处理设备的系统结构的框图；图2是示出图像处理设备中的GUI的例子的图；图3是示出图像编辑程序的内部结构的图；图4是示出图像编辑程序的编辑历史的数据结构的图；图5是用于详细解释插值程序的流程图；图6是示出第 一实施例中当没有检测到灰尘时要执行的再 处理序列的流程图；图7是示出第 一 实施例中用于改变灰尘检测半径的大小的 处理序列的流程图；图8是示出第 一 实施例中用于改变灰尘检测半径的中心位 置的处理序列的流程图；图9是示出第 一实施例中用于改变灰尘检测算法的处理序 列的流程图；图IO是示出第一实施例中表示修复处理之后的再处理的本文档来自技高网...

【技术保护点】
一种图像处理设备，用于对由包括具有二维排列的多个像素的图像传感器的摄像设备所拍摄的、并拍摄到附着到置于所述图像传感器前面的光学元件上的异物的影像的图像进行校正，以降低所述异物的影像的影响，所述图像处理设备包括：插值单元，用于根据所述异物的影像外的相邻像素的信号，对所拍摄的图像上的与所述异物的影像相对应的像素的信号进行插值；指定单元，用于输入使所述插值单元进行所述插值的指令；以及控制单元，用于根据从所述指定单元输入的指令控制所述插值单元进行所述插值，如果所述插值单元不能进行所述插值则接受从所述指定单元输入的再执行指令，以及通过改变所述插值的参数或所述插值的算法来使所述插值单元再执行所述插值。

【技术特征摘要】
JP 2007-4-5 2007-0997461. 一种图像处理设备，用于对由包括具有二维排列的多个像素的图像传感器的摄像设备所拍摄的、并拍摄到附着到置于所述图像传感器前面的光学元件上的异物的影像的图像进行校正，以降低所述异物的影像的影响，所述图像处理设备包括插值单元，用于根据所述异物的影像外的相邻像素的信号，对所拍摄的图像上的与所述异物的影像相对应的像素的信号进行插值；指定单元，用于输入使所述插值单元进行所述插值的指令；以及控制单元，用于根据从所述指定单元输入的指令控制所述插值单元进行所述插值，如果所述插值单元不能进行所述插值则接受从所述指定单元输入的再执行指令，以及通过改变所述插值的参数或所述插值的算法来使所述插值单元再执行所述插值。2. 根据权利要求l所述的图像处理设备，其特征在于，所 述指定单元在首次输入用以进行所述插值的指令的情况和输入 所述再执行指令的情况间提供不同的指示。3. 根据权利要求l所述的图像处理设备，其特征在于，所 述指定单元包括第一指定单元，用于首次输入用以进行所述 插值的指令；以及第二指定单元，用于输入所述再执行指令。4. 根据权利要求l所述的图像处理设备，其特征在于，还 包括位置指定单元，用于指定所述所拍摄图像上的任意位置；以及大小指定单元，用于指定用于所述插值的区域的大小； 其中，所述控制单元基于由所述位置指定单元和所述大小 指定单元所指...

【专利技术属性】
技术研发人员：草间澄，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：JP[日本]