图像处理装置、图像显示装置以及程序制造方法及图纸

提供一种图像处理装置、图像显示装置以及程序，其即使是利用不具有振动抑制功能的摄像装置摄像得到的图像、或图像振动抑制不完全的情况下，也能够抑制在显示装置上显示出来的图像的振动。根据本发明专利技术提供一种图像处理装置，其具备：运动估计部，其估计在第1图像与该第1图像之后的第2图像之间的对象物的运动量；运动补偿部，其基于所述对象物的运动量，对第2图像实施转换处理，以抑制在第1与第2图像之间的所述对象物的振动；其中，所述运动估计部具备：第1估计模式，其在规定的搜索区域内估计所述对象物的运动量第1估计模式；第2估计模式，其基于比第1估计模式中的所述搜索区域大的区域，估计所述对象物的运动量。

Image Processing Device, Image Display Device and Program

An image processing device, an image display device and a program are provided, which can suppress the vibration of an image displayed on a display device even if the image captured by a camera device without vibration suppression function or the image vibration suppression is incomplete. According to the present invention, an image processing device is provided, which comprises: a motion estimation unit which estimates the amount of motion of the object between the first image and the second image after the first image; a motion compensation unit which performs conversion processing on the second image based on the amount of motion of the object to suppress the vibration of the object between the first and second images; and a motion estimation unit which estimates the motion of the object between the first and second images. The accounting department has: the first estimation mode, which estimates the first estimation mode of the object's motion in a specified search area; and the second estimation mode, which estimates the object's motion based on an area larger than the search area in the first estimation mode.

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、图像显示装置以及程序
本专利技术涉及一种抑制图像振动的图像处理装置，图像显示装置以及程序。
技术介绍
为了抑制图像振动已提出有各种图像处理方法。专利文献1提供了一种摄像装置，其可以防止模糊校正机构的性能低下，并且，即使是在被拍摄体移动到视角之外也能够容易地跟踪被拍摄体，该摄像装置具备：摄像元件，其介由摄像光学系统摄像被拍摄体并将该摄像图像输出；光学校正系统(例如，校正镜头)，其校正由施加到设备的振动而引起的图像模糊(例如，校正镜头)。根据规定条件的成功或失败，作为使用在跟踪所述摄影图像内的被拍摄体的跟踪方式有：介由所述光学校正系统的驱动来跟踪所述被拍摄体的光学式跟踪方式；通过从所述摄影图像中剪取所述被拍摄体的区域来跟踪所述被拍摄体的电子式跟踪方式。在专利文献1中所公开摄像装置选择上述跟踪方式中的任一来跟踪所述被拍摄体。现有技术文件专利文献专利文献1：日本特开2016－46580号公报
技术实现思路
专利技术所要解决的课题根据专利文献1的摄像装置，可以通过调整校正镜头的放大位置来抑制图像的振动(模糊)，然而把不具备该功能的摄像装置所拍摄得到的图像显示到显示装置上时，显示图像的振动依然没有得到抑制。此外，即使是具备了图像抑制功能的摄像装置，依旧有无法完全去除图像振动的情况，并且即使当该图像显示在显示装置时，该显示图像的振动仍然存在。鉴于上述情况，本专利技术提供一种图像处理装置、图像显示装置以及程序，即使是由不具有振动抑制功能的摄像装置所拍摄的图像、或者是振动抑制不彻底的图像，也可以将其振动去除后显示在显示装置上。用于解决课题的技术方案根据本专利技术提供一种图像处理装置，该图像处理装置具备：运动估计部，其估计在第1图像与该第1图像之后的第2图像之间的对象物的运动量；以及，运动补偿部，其基于所述对象物的运动量对第2图像实施转换处理，以抑制在第1与第2图像之间的所述对象物的振动；其中，所述运动估计部具备：第1估计模式，其在规定的搜索区域内估计所述对象物的运动量；第2估计模式，其基于比第1估计模式中的所述搜索区域大的区域估计所述对象物的运动量。根据本专利技术，估计在第1图像与该第1图像之后的第2图像之间的对象物的运动量的运动估计部具备：第1估计模式，其在规定的搜索区域内估计对象物的运动量；第2估计模式，其基于比第1估计模式中的所述搜索区域大的区域估计所述对象物的运动量。因此，通过以计算量小的第1估计模式显示图像，同时在第1估计模式无法对应的情况下切换成第2估计模式，从而可以不会大量消耗计算资源地在显示装置方有效抑制图像振动。由此，即使是利用不具有振动抑制功能的摄像装置拍摄得到的图像、或振动抑制不彻底的图像，也可以将其振动去除后显示在显示装置上。以下举例说明本专利技术的各种实施方式。以下所示的实施方式可以彼此组合。所述运动补偿部优选基于满足规定条件下由所述第2估计模式估计得到的运动量进行所述转换处理，而当不满足所述的规定条件时，基于由所述第1估计模式估计得到的运动量进行所述转换处理。所述运动估计部优选，在所述第1估计模式下，基于包含在所述第1图像的对象物与包含在所述第2图像中的规定范围的亮度差异算出的值作为估计误差，所述规定条件指的是满足所述估计误差超过规定的值的情况、或所述估计误差超过平均值的规定倍数的情况中的任意一者或两者。所述第2估计模式优选为从所述第1和第2图像的整体估计所述对象物的运动量的全局运动估计模式。所述第2估计模式优选为，在将所述第1估计模式中所述搜索区域的大小扩大后的新的搜索区域内，估计所述对象物的运动量。所述运动估计部优选介由模式匹配或特征矢量来估计所述对象物的运动量。优选在所述第1估计模式中具有设定与所述对象物对应的区域的区域设定部。优选所述运动补偿部对所述第2图像执行所述转换处理，以使由所述区域设定部设定的区域位于显示所述图像的显示面的大致中央。优选具备模式切换部，其切换所述第1估计模式和所述第2估计模式。优选所述模式切换部，在不满足所述规定条件时，从所述第2估计模式切换成所述第1估计模式。提供一种图像显示装置，其优选具备以上任一所述的图像处理装置的。提供一种图像处理程序，优选为使计算机作为运动估计部和运动补偿部发挥功能，所述运动估计部估计在第1图像与该第1图像之后的第2图像之间的对象物的运动量，所述运动补偿部基于所述对象物的运动量，对第2图像实施转换处理，以抑制在第1与第2图像之间的所述对象物的振动，其中，所述运动估计部具备：第1估计模式，其在规定的搜索区域内估计所述对象物的运动量；以及，第2估计模式，其基于比第1估计模式中的所述搜索区域大的区域，来估计所述对象物的运动量。附图说明图1是说明图像的振动的概念图。在图1中，假设按照图1A、1B、1C的顺序输入图像。应当指出，在图中的剪头表示时间t。下面的图也都相同。图2是表示本专利技术第1实施方式所涉及的图像处理装置1的功能构成、以及按照时间顺序表示在图像处理装置1输入的图像的图。图3是为了说明本专利技术第1实施方式所涉及的图像处理装置1的处理的一个例子的流程图。图4表示如何局部区域跟踪部4的局部区域LA的跟踪的概念图。图4A表示输入图像1，图4B表示如何在搜索区域SA内的跟踪搜索区域LA，图4C表示输入图像2。图5是为了说明规定条件的图。图6是本专利技术一个实施方式所涉及的局部运动估计模式(第1估计模式的一个例子)的基本概念的图。图7表示，在局部运动估计模式中，运动补偿部8补偿图像的位置，以使局部区域LA显示在显示面的大致中央处的概念图。图7中的阴影部分表示不显示图像的区域。图8表示本专利技术一个实施方式所涉及的全局运动估计模式(第2估计模式的一个例子)的基本概念的图。图9是为了说明全局运动估计模式的概念图。图中的箭头表示图像分割后的每个分割区域的移动方向。应当指出，在图9中，9个分割区域中的6个分割区域的移动方向为右上，估计整个图像向右上方向移动。图10表示，在全局运动估计模式中，运动补偿部8如何补偿图像的位置，以使对象物显示在显示面略中央处的概念图。图10中的阴影部分表示不显示图像的区域。图11是为了说明本专利技术第2实施方式所涉及的图像处理装置1的处理的一个例子的流程图。图12表示本专利技术第2实施方式所涉及的图像处理装置1在局部运动估计模式中如何扩大搜索区域SA的大小的概念图。由此，从第1估计模式切换为第2估计模式。应当指出，该处理相当于图11的S7。图13是为了说明本专利技术第3实施方式所涉及的图像处理装置1的处理的一个例子的流程图。具体实施方式以下使用附图对本专利技术的实施方式进行说明。在以下例示的实施方式中所示的各种特征事项能够互相组合。＜第1实施方式＞以下使用图1～图10说明本专利技术的第1实施方式所涉及的图像处理装置1。＜图像中的对象物的振动＞如图1所示，由于摄影者的手抖动等会有摄像图像振动的情况。其结果是图像内的对象物向上下左右发生位置偏移。这里所谓的图像指的是按照时间轴顺序排列的多个图像，特别是动画。例如，图1A所示图像的次级帧的图像，如图1B所示发生向下侧位置偏移。而在图1B所示图像的次级帧的图像，如图1C所示发生向右上位置偏移。由此，在第1图像与该第1图像之后的第2图像之间的对象物(图1中的虚线区域)发生振动。为了抑制该振动，使用第1实施方式所示的本文档来自技高网...

【技术保护点】
1.一种图像处理装置，其具备：运动估计部，其估计在第1图像与该第1图像之后的第2图像之间的对象物的运动量；以及运动补偿部，其基于所述对象物的运动量对第2图像实施转换处理，以抑制在第1与第2图像之间的所述对象物的振动；其中，所述运动估计部具备：第1估计模式，其在规定的搜索区域内估计所述对象物的运动量；以及第2估计模式，其基于比第1估计模式中的所述搜索区域大的区域估计所述对象物的运动量。

【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，其具备：运动估计部，其估计在第1图像与该第1图像之后的第2图像之间的对象物的运动量；以及运动补偿部，其基于所述对象物的运动量对第2图像实施转换处理，以抑制在第1与第2图像之间的所述对象物的振动；其中，所述运动估计部具备：第1估计模式，其在规定的搜索区域内估计所述对象物的运动量；以及第2估计模式，其基于比第1估计模式中的所述搜索区域大的区域估计所述对象物的运动量。2.根据权利要求1中所述的图像处理装置，所述运动补偿部在满足规定条件时，基于以所述第2估计模式估计得到的运动量进行所述转换处理，在不满足所述规定条件时，基于以所述第1估计模式估计得到的运动量进行所述转换处理。3.根据权利要求2中所述的图像处理装置，所述运动估计部在所述第1估计模式下，将基于包含在所述第1图像的对象物与包含在所述第2图像中的规定范围的亮度差算出的值作为估计误差，所述规定条件指的是满足所述估计误差超过规定值的情况，或所述估计误差超过平均值的规定倍数的情况中的任意一者或两者。4.根据权利要求1～3中任一项所述的图像处理装置，所述第2估计模式是全局运动估计模式，其从所述第1和第2图像的整体估计所述对象物的运动量。5.根据权利要求1～4中任一项所述的图像处理装置，所述第2估计模式是在将所述第1估计模式中的所述搜索区域的大小扩大后的新搜索区...

【专利技术属性】
技术研发人员：陈海峰，青木玲央，东正史，
申请(专利权)人：EIZO株式会社，
类型：发明
国别省市：日本,JP