图像处理设备和图像处理方法技术

提供了一种具有降低跳跃和模糊来输出高质量视频图像为特征的视频图像处理装置和视频图像处理方法。在以固定帧频生成运动画面时，响应于以分割区域为单位的输出视频图像帧频，计算对象的运动速度，其中所述分割区域是将构成所述运动画面的帧图像分割所得。获取以分割区域为单位的最佳快门速度来降低输出视频图像的图像质量劣化，作为与以分割区域为单位的运动速度相对应的最佳拍摄快门速度。以分割区域为单位生成与所获得的最佳快门速度相对应的视频图像。输出与所生成的分割区域图像相结合的帧视频图像。根据上面所述的结构，可以输出跳跃和模糊两者均降低的高质量视频图像。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种图像处理设备、图像处理方法和计算机程 序。特别地，本专利技术涉及一种用于降低在所拍摄的运动对象的 图像中发生的由跳跃和模糊所引起的图像质量的下降，从而生 成高质量输出图像的图像处理设备、图像处理方法和计算机程
技术介绍
当通过使用如投影器或显示器等的显示装置显示以高快门 速度所拍摄的运动图像或动画时，常常可以看到图像劣化，其 中，断断续续显示图像中的运行物体的移动，并且图像的观看者感知到多重图像。该现象就是通常称为"跳跃(jerkiness)"的图像质量下降。另 一 方面，当显示以如开放快门等的低快门速度所拍摄的 运动图像时，由于移动模糊的影响，因而常常可以看到对象的 细节丢失或模糊边缘。该现象就是称为"模糊"的图像质量下降。以下参考图1 ~ 3说明跳跃和模糊发生的原理。作为人的感 知特征，已知人将进入眼睛的光感知为针对特定时间段所结合 的值。图1 ~ 3示出基于该感知特征模拟观察者如何观察物体。图l示出现实中如何观察静止物体和运动物体的例子。在图1中，(l)示出静止物体11和运动物体12的时间变化， 其中，水平轴表示位置(X)，而垂直轴表示时间(t)。在图l中， (2)示出对观察静止物体11和运动物体12的)f见察者的感知状态 的模拟。观察者通过跟踪运动物体12(跟踪视觉)来观察运动物体12或者通过固定视点而不跟踪物体(固定视觉)来观察运动物体12。因此，有两种不同观察模式的感知状态。示出这两种模 式(a)跟踪视觉和(b)固定视觉。如图1(2)中的(a)跟踪视觉所示，运动物体感知信息al2表示 在观察者通过跟踪运动物体12来观察它时是如何观察运动物体 12的。这与表示以图1(2)中的(b)固定视觉如何观察固定物体ll 的固定物体感知信息bll相同。以这种方式，当观察者通过跟踪 运动物体12来观察它时，对于观察者来说，如何观察运动物体 2与以固定视觉如何观察固定物体ll相同。另一方面，如图1(2)中的(b)固定^L觉所示，运动物体感知 信息bl2表示在观察者通过固定视点来观察运动物体12时是如 何观察运动物体12的。在这种情况下，观察者感知到持续运动 的运动物体的变化，并且观察者不会感觉不自然。图2示出在通过使用如投影器或显示器等的显示装置显示 以高快门速度所拍摄的运动图像或动画时观察者感知到的跳跃 的发生。也就是说，跳跃是这样一种现象断断续续地显示图 像中所包括的运动物体的移动，并且观察该图像的观察者感知 到多重图像。图2示出对在通过使用高快门速度拍摄图1所示的现实中的 运动物体并将该运动物体的图像显示在以6 0 H z刷新的显示装 置上的情况下观察者的观察的模拟。在图2中，(l)示出所显示 的静止物体21和所显示的运动物体22在显示装置上的显示位置 的变化。垂直轴表示以显示装置的刷新时间间隔(1/60 sec)标记 的时间(t)。水平轴表示显示位置(X)。在图2中，(2)示出对观察者观察显示在显示装置上的所显 示的静止物体21和所显示的运动物体22的感知状态的模拟。观察者通过跟踪所显示的运动物体22(跟踪视觉)对其进行观察、或者通过固定^f见点而不跟踪物体(固定— 见觉)对所显示的运动物体22进行观察。因此，有两种不同〗见察才莫式的感知状态。示出 这两种模式(a)跟踪视觉和(b)固定一见觉。如图2(2)(a)所示，在观察者利用跟踪视觉观察显示在显示 装置上的所显示的运动物体22的情况下的观察(a22)与图1 (2)(a) 所示的跟踪视觉的观察(al2)是相同的。也就是说，观察者的感 知与在利用固定视觉观察静止物体的情况下的相同。另一方面，当观察者利用固定视觉观察显示在显示装置上 的所显示的运动物体2 2时，观察者纟见觉所感知的所显示的运动 物体22与现实中的不同，而是观察到不连续的(间断的)运动， 如图2(2)(b)所示。结果，基于人类将进入眼睛的光感知为针对 特定时间段所结合的值这一感知特征，观察者将显示在显示装 置上的运动物体感知为多重图像。观察者不利地将单个物体识別为多个物体。这一现象被称 为"由于跳跃引起的劣化"。原则上，当物体的运动速度较高时， 更可能发生由于跳跃引起的劣化。同样，当显示装置上的帧频 较低时，更可能发生跳跃引起的劣化，而当帧频较高时，则较 少发生跳跃引起的劣化。此外，在空间亮度变化大的部分，换 句话说，在空间对比度高的部分中，通常更可能发生跳跃引起 的劣化。图3示出在通过使用投影器或显示器等显示装置显示以开 放快门等低快门速度所拍摄的运动图像或动画的情况下观察者 所感知的模糊的发生。模糊是这样一种现象由于移动模糊的 影响，因而发生对象的细节丟失或模糊边缘。图3示出对在通过使用低快门速度拍摄图l所示的现实中的运动物体并将该运动物体的图像显示在以60 Hz刷新的显示装 置上的情况下观察者的观察的模拟。在图3中，(l)示出所显示 的静止物体31和所显示的运动物体32在显示装置上的显示位置 的变化。垂直轴表示以显示装置的刷新时间间隔(1/60 sec)标记 的时间(t)。水平轴表示显示位置(X)。在图3中，(2)示出对于观察显示在显示装置上的所显示的 静止物体3 1和所显示的运动物体32的观察者的感知状态的模 拟。观察者通过跟踪所显示的运动物体3 2 (跟踪视觉)观察所显示的运动物体32 ,或通过固定一见点而不3艮踪物体(固定一见觉)来 观察所显示的运动物体32。因此，有两种不同观察模式的感知 状态。示出这两种模式(a)跟踪视觉和(b)固定视觉。如图3(2)(b)所示，在观察者利用固定视觉观察显示在显示 装置上的所显示的运动物体32的情况下(b32)，观察是与以上参 考图l所述的图1(2)(b)中所示的固定视觉中的观察(bl2)相同。 观察者感知到运动物体连续运动，并且不会感觉不自然。另 一方面，在观察者利用跟踪视觉观察所显示的运动物体 32的情况下，观察者感知到该物体为不同于静止物体的固定视 觉的模糊图像，如图3(2)(a)中的观察(a32)所示。这是因为，如 图3(1)中所显示的运动物体32所示，在成像过程中，将在基于 低快门速度的长曝光期间的运动物体的移动记录在 一 个帧中， 并且，在一个帧中以带状显示该运动物体。这一现象被称为"模 糊引起的劣化"。如上所述，在成像过程中，对于快门速度，跳跃引起的劣 化的发生和模糊引起的劣化的发生是相互对立的。因此，当进 行简单快门控制时，这两者中的任何 一 个引起的劣化都是显著 的。跳跃被认为是在通过将运动图像的帧频转换成与原始图像 的帧频不同的帧频来显示运动图像时可能发生的图像质量下 降。例如，作为用于将原始运动图像的高帧频转换成较低帧频以显示该图像的手段，通常使用根据要获得的帧数简单细化帧 的方法。然而，在这种情况下，因为以短曝光拍摄原始运动图 像，因而可能发生跳跃。据要获得的帧数简单平均原始运动图像的帧、而不是通过细化 帧来转换帧频的方法。该帧平均方法能够抑制跳跃。然而，该 方法对应于由于基于与高快门速度相对应的高帧频图像的平 均而生成低帧频或低快门速度的图像。结果，模糊引起的劣化 不利地显著。另 一方面，在将原始运动图像的低帧频转换成较高帧频的 情况下，最简单的方法是对于在时间上不存在的帧多次显示现 本文档来自技高网...

【技术保护点】
一种用于对运动图像进行图像处理的图像处理设备，所述图像处理设备包括：运动速度计算单元，用于以构成所述运动图像的各帧图像中的部分区域为单位，根据输出图像的帧频，计算对象的运动速度；以及　图像生成处理单元，用于接收各所述部分区域的所述运动速度信息，以所述部分区域为单位获得与所述运动速度相对应的且降低所述输出图像的劣化的最佳成像快门速度，以所述部分区域为单位生成与所获得的最佳快门速度相对应的图像，并输出通过组合所生成的部分区域图像而生成的各帧图像。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：伊藤厚史，小林诚司，
申请(专利权)人：索尼株式会社，
类型：发明
国别省市：JP[日本]