本发明专利技术涉及一种图像处理装置及其控制方法。图像处理装置基于附着在设置在摄像装置中的图像传感器前面的光学元件上的异物的信息，对通过参考不同输入帧的图像数据执行预测编码而生成的运动图像数据中的异物的阴影执行校正，所述图像处理装置包括：运动图像解压缩单元，其通过从所述运动图像数据获得表示帧之间的差的信息来对各帧的图像进行解压缩；以及校正单元，其在表示与包含由异物信息表示的异物的阴影的区域对应的、由运动图像解压缩单元获得的、帧之间的差的信息被确定为大于预定阈值时，校正表示帧之间的差的信息。
【技术实现步骤摘要】
本专利技术涉及一种抑制由附着到设置在摄像装置中的例如CCD或 CMOS传感器的图像传感器前面的例如光学低通滤波器的光学元件的表面 的异物引起的图像质量的劣化的技术。
技术介绍
在将镜头从镜头交换式数字照相机的照相机体卸下时，空气中的浮尘 可能会进入照相机体。照相机包含例如快门机构的机械地工作的各种机械 单元。这些机械单元工作时，可能在照相机体中产生例如金属粉末的灰尘。在例如灰尘或尘埃的异物附着到作为设置在图像传感器前面的光学元 件并且形成数字照相机的摄像单元的光学低通滤波器的表面时，在拍摄的 图像中包含异物的阴影，从而使图像质量劣化。使用卤化银胶片的照相机在每次拍摄时进给胶片。因此，图像不会连 续在相同的位置包含相同的异物。但是，数字照相机在每次拍摄时不需要 进给胶片帧的操作，因此拍摄的图像连续在相同的位置包含相同的异物。为了解决该问题，提出了使用相邻像素的信号等校正拍摄了异物的阴 影的像素的方法。作为校正这种像素的技术，例如日本特开平6-105241号 公报提出了一种校正图像传感器的像素缺陷的像素缺陷校正方法。日本特 开2004-242158号公报提出了一种简化像素缺陷的位置信息的设置的方 法。根据该方法，使在灰尘获得模式中记录的图像文件的扩展名与普通图 像的文件扩展名不同。PC (个人计算机)自动区分灰尘信息图像，并根据 该信息校正目标图像。近来，提出了一种将运动图像信息作为数字数据进行处理并用高图像 质量以高压縮率对其进行编码以累积和发送运动图像信息的技术。该技术 正在普及。4Motion JPEG (联合图像专家组，Joint Photographic Experts Group)通过对各个帧应用静止图像编码(例如JPEG编码)来对运动图像进行编码。 虽然JPEG编码主要以静止图像为目标，但是通过高速处理对甚至运动图 像应用JPEG编码的产品己经进入实际应用。简要说明JPEG编码的概要。将图像数据分割为预定大小的块(例如 各自具有8像素x8像素的块)，对各个块进行二维离散余弦变换。线性或 非线性地量化变换系数。对量化的变换系数进行霍夫曼编码(可变长度编 码)。更具体而言，对变换系数的直流分量与相邻块的直流分量之间的差值 进行霍夫曼编码。通过Z形(zig-zag)扫描将变换系数的交流分量从低频 分量变换为高频序列(serial)分量。对一组无效分量O行程(run)和后 续的有效分量行程进行霍夫曼编码。相反，作为以更高压縮率和更高图像质量为目标的编码方法，提出了 H.264 (MPEG-PartlO AVC)。己知与例如MPEG2和MPEG4的传统编码方 法相比，H.264需要更大的计算量来进行编码和解码，但是能够获得更高 的编码效率(参见ISO/IEC 14496-10， Advanced Video Coding)。图14是示出用H.264压縮图像数据的图像处理装置的配置的图。在图 14中，输入图像数据被分割为宏块(macroblock)，发送到减法器401。减 法器401计算图像数据与预测值之间的差，将其输出到整数DCT (离散余 弦变换，Discrete Cosine Transform)变换单元402。整数DCT变换单元402 对输入数据执行整数DCT变换，将变换后的数据输出到量化单元403。量 化单元403量化输入数据。将量化数据作为差分图像数据发送到熵编码器 415，同时逆量化单元404对量化数据进行逆量化，并且逆整数DCT变换 单元405进行逆整数DCT变换。加法器406将预测值与逆变换后的数据相 加，以重构图像。将重构的图像发送到进行帧内(intra-frame)预测的帧存储器407,同 时解块滤波器409对重构的图像进行解块(deblock)滤波处理，然后将其 发送到用于进行帧间(inter-frame)预测的帧存储器410。帧内预测单元408 使用帧内预测帧存储器407中的图像进行帧内预测。帧内预测使用单个图 片中与编码的块邻接的像素的值作为预测值。如稍后将描述的，帧间预测帧存储器410中的图像由多个图片构成。多个图片分类为ListO和Listl两个列表。帧间预测单元411使用分类为 两个列表的多个图片来进行帧间预测。在帧间预测后，存储器控制器413 更新内部图像。帧间预测单元411执行帧间预测，以使用基于运动检测单 元412执行的不同帧的图像数据之间的运动检测的结果的最佳运动矢量来 确定预测图像。作为帧内预测和帧间预测的结果，选择器414选择最佳预测结果。将 运动矢量发送到熵编码器415，与差分图像数据一起进行编码，形成输出 位流。将参考图15至图18具体说明H.264帧间预测。H.264帧间预测可以使用多个图片来进行预测。为了指定参考图片， 准备了两个列表ListO和List 1。各个列表最多能够保持五个参考图片。仅ListO用于P图片，以主要执行前向预测。ListO和Listl用于B 图片，以执行双向预测(或仅前向或后向预测)。也就是说，ListO保持主 要用于前向预测的图片，Listl保持主要用于后向预测的图片。图15例示了在编码时使用的参考列表。该示例假定I、 P和B图片的 比率是标准比率。也就是说，I图片以15帧的间隔排列，P图片以三帧的 间隔排列，I与P图片间的B图片以两帧的间隔排列。在图15中，通过以 显示顺序排列图片来获得图像数据1001。图像数据1001中的各方块描述 了图片的类型和表示显示顺序的编号。例如，图片115是显示顺序为15的 I图片，仅用于帧内预测。图片P18是显示顺序为18的P图片，仅用于前 向预测。图片B16是显示顺序为16的B图片，用于双向预测。编码顺序与显示顺序不同，以预测顺序对数据进行编码。在图15中， 以115、 P18、 B16、 B17、 P21、 B19、 B20、...'，的顺序对数据进行编码。在图15中，参考列表(ListO) 1002保持临时编码/解码的图片。例如， 使用图片P21(显示顺序为21的P图片)的帧间预测参考在参考列表(ListO) 1002中已经编码并解码的图片。在图15所示的示例中，参考列表1002包 含图片P06、 P09、 P12、 115和P18。在帧间预测中，根据参考列表(ListO) 1002中的参考图片针对各个宏块获得具有最佳预测值的运动矢量，并进行编码。对参考列表(List0) 1002 中的图片依次赋予参考图片编号，并进行区分(与图15所示的编号分开)。在结束对图片P21的编码后，重新对图片P21进行解码，并将其添加 到参考列表(List0) 1002中。从参考列表(List0) 1002中删除最早的参 考图片(在这种情况下为图片P06)。以图片B19、 B20和P24的顺序进行 编码。图16示出了此时参考列表(ListO) 1002的状态。图17示出了针对各图片的参考列表的变化。在图17中，从上部开始依次对图片进行编码。图17示出了编码期间 的图片和针对该图片的参考列表ListO和Listl的内容。在如图17所示对P 图片(或I图片)进行编码时，更新参考列表ListO和Listl以从参考列表 ListO和Listl中删除最早的图片。在该示例中，参考列表Listl仅保持一个本文档来自技高网...
【技术保护点】
一种图像处理装置，其用于基于异物信息对通过执行预测编码而生成的运动图像数据中的异物的阴影进行校正，所述异物信息包含附着在设置于摄像装置中的图像传感器前面的光学元件上的所述异物的位置和大小的信息，所述摄像装置拍摄了由帧构成的所述运动图像数据，所述图像处理装置包括： 运动图像解压缩单元，其可操作以通过从所述运动图像数据获得表示帧之间的差的差信息来对各帧的图像进行解压缩；以及 校正单元，其可操作以在针对包含由所述异物信息表示的所述异物的阴影的区域获得的所述差信息被确定为大于预定阈值的情况下，校正所获得的差信息。
【技术特征摘要】
JP 2008-8-29 2008-2227911.一种图像处理装置，其用于基于异物信息对通过执行预测编码而生成的运动图像数据中的异物的阴影进行校正，所述异物信息包含附着在设置于摄像装置中的图像传感器前面的光学元件上的所述异物的位置和大小的信息，所述摄像装置拍摄了由帧构成的所述运动图像数据，所述图像处理装置包括运动图像解压缩单元，其可操作以通过从所述运动图像数据获得表示帧之间的差的差信息来对各帧的图像进行解压缩；以及校正单元，其可操作以在针对包含由所述异物信息表示的所述异物的阴影的区域获得的所述差信息被确定为大于预定阈值的情况下，校正所获得的差信息。2. 根据权利要求1所述的图像处理装置，其中，表示所述帧之间的差 的所述信息包括预测误差。3. 根据权利要求1所述的图像处理装置，所述图像处理装置还包括异 物去除单元，所述异物去除单元用于从所述运动图像解压縮单元获得的帧 图像中，去除包含在所述异物信息中的没有经过所述校正单元校正的异物 的阴影。4. 根据权利要求1所述的图像处理装置，其中，所述校正单元处理后 的帧包括通...
【专利技术属性】
技术研发人员：池田康之，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：JP[日本]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。