图像处理装置、图像处理程序及图像处理方法制造方法及图纸

本发明专利技术的目的在于提供能够指定所希望的运动而进行修正的图像处理装置、图像处理程序以及图像处理方法。图像处理装置具备：全局运动推定单元，根据动态图像中所含的多个帧图像来推定动态图像中表示包含特定的被摄体的特定区域的运动的全局运动；局部运动推定单元，根据多个帧图像推定动态图像中表示特定的被摄体的运动的局部运动；图像修正单元，基于所推定的全局运动和局部运动来修正动态图像中的特定的被摄体或特定区域的运动。

Image processing device, image processing program and image processing method

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、图像处理程序及图像处理方法
本专利技术涉及图像处理装置、图像处理程序及图像处理方法。
技术介绍
通常，在动态图像中，已知存在表示由照相机等的运动引起的图像的特定区域(也可以是图像整体)的运动的全局运动、和表示特定的被摄体的运动的局部运动。以往，作为推定全局运动的方法，使用按各个块得到的运动矢量的平均值、中值、最频值的处理作为简易方法。另外，已知有将画面整体作为一个大的块来推定画面整体的运动矢量的图像处理装置。在下述专利文献1中，公开了进行基于影像处理的失真修正的方法，是使用图像特征点的方法，公开了分别推定因影像的摇晃而引起的平行移动分量和失真分量这两者的技术思想。现有技术文献专利文献专利文献1：日本特开2013-017155号公报。
技术实现思路
专利技术要解决的问题然而，在上述的现有技术中，产生了无法指定全局运动、局部运动中的所希望的运动而进行修正的问题。本专利技术是鉴于这样的情况而完成的，其目的在于提供能够指定所希望的运动而进行修正的图像处理装置、图像处理程序以及图像处理方法。用于解决问题的手段本专利技术的一个方面的图像处理装置具备：全局运动推定单元，根据动态图像中所含的多个帧图像来推定动态图像中表示包含特定的被摄体的特定区域(也可以是整个图像)的运动的全局运动；局部运动推定单元，根据多个帧图像推定动态图像中表示特定的被摄体的运动的局部运动；图像修正单元，基于所推定的全局运动和局部运动来修正动态图像中的特定的被摄体或特定区域的运动。另外，本专利技术的一个方面的图像处理程序，执行以下步骤：执行全局运动推定，该全局运动推定根据动态图像中所含的多个帧图像来推定动态图像中表示包含特定的被摄体的特定区域(也可以是整个图像)的运动的全局运动；执行局部运动推定，该局部运动推定根据多个帧图像推定动态图像中表示特定的被摄体的运动的局部运动；执行图像修正，该图像修正基于所推定的全局运动和局部运动来修正动态图像中的特定的被摄体或所述特定区域的运动。另外，本专利技术的一个方面的图像处理方法具有以下步骤：执行全局运动推定，该全局运动推定根据动态图像中所含的多个帧图像来推定动态图像中表示包含特定的被摄体的特定区域(也可以是整个图像)的运动的全局运动；执行局部运动推定，该局部运动推定根据多个帧图像推定动态图像中表示特定的被摄体的运动的局部运动；执行图像修正，该图像修正基于所推定的全局运动和局部运动来修正动态图像中的特定的被摄体或所述特定区域的运动。专利技术的效果根据本专利技术，通过对指定的运动进行修正，能够进行所希望的图像处理。附图说明图1是本专利技术的一个实施方式的图像处理系统1的概略图图2是本专利技术的一个实施方式的图像处理装置10的概念图图3是空间上的点与照相机运动所对应的图像内像素点的对应关系图4是空间中的三维运动所引起的二维图像运动的概要图图5是本专利技术的一个实施方式的全局运动推定部200的概念图图6是对应点序列存储的概要图图7是本专利技术的一个实施方式的对应点选择部230的处理的概要图图8是特定的被摄体的轮廓及重心点的提取的概要图图9是本专利技术的一个实施方式的局部运动推定部300的概念图图10是本专利技术的一个实施方式的图像修正部400的概念图图11是照相机运动造成的照相机轴变化的示意图图12是并行处理成为可能的图像处理装置10的概念图图13是图像处理装置10的图像处理所引起的黑色区域发生的情况下的概念图图14是组合了照相机动作调整装置的图像处理系统1的概念图图15是组合了被摄体位置调整装置的图像处理系统1的概念图图16是应用了图像处理装置10的医疗用影像处理系统2的概念图具体实施方式以下，参照附图对本专利技术的实施方式进行说明。图1是本专利技术的一个实施方式的图像处理系统1的概略图。图像处理系统1具备图像处理装置10、拍摄用照相机20以及显示装置30。拍摄用照相机20生成表示拍摄规定的拍摄对象得到的图像的输入图像数据，并发送到图像处理装置10。图像处理装置10对从拍摄用照相机20接收到的输入图像数据进行规定的处理，将输出图像数据发送到显示装置30。显示装置30基于从图像处理装置10接收到的输出图像数据，显示规定的图像。图2是本专利技术的一个实施方式的图像处理装置10的概念图。图像处理装置10包括图像缩小部100、全局运动推定部200、局部运动推定部300和图像修正部400。图像缩小部100将输入图像数据缩小为期望的处理图像数据，以实现后续阶段的全局运动推定处理以及局部运动推定处理的高速化。基于分辨率高的图像数据的图像处理有时难以在与规定的视频速率对应的处理时间内进行处理。因此，不直接使用输入图像数据，分离缩小为规定尺寸，作为用于计算投影变换矩阵等的计算处理用的图像数据，由此能够实现处理的效率化。在缩小图像尺寸的同时，可以将输入图像数据变换为规定的图像格式。另外，如后所述，作为由图像修正部400进行图像修正的对象的图像，利用输入图像数据本身。全局运动推定部200基于作为对象的帧的图像数据和比对象帧靠前的帧(例如1帧前的图像数据)来推定全局运动。关于全局运动推定部200所包含的各构成的详细情况，将在后面叙述。局部运动推定部300基于作为对象的帧的图像数据和比对象帧靠前的帧(例如1帧前的图像数据)来推定局部运动。关于局部运动推定部300所包含的各构成的详细情况，将在后面叙述。此外，在不需要进行局部运动的补偿的情况下，也可以关闭局部运动推定部300的功能。图像修正部400基于所推定的全局运动和局部运动创建投影变换矩阵，并且修正运动图像中的特定被摄体或特定区域(可以是整个图像)的运动。稍后将描述图像修正部400中包括的各构成的详细情况。作为说明图像处理装置10的图像处理的概要的前提，首先，对运动图像中的运动进行以下说明。图3示出了与3维空间上的点Pi对应的照相机位置b(也可以是第b帧的照相机位置)的图像的像素点pib、照相机位置n(也可以是第n帧的照相机位置)的图像的像素点pin以及照相机位置r(也可以是第r帧的照相机位置)的图像的像素点pir的关系。在此，i表示像素点的编号。将空间上的点Pi与屏幕上的点pin之间的关系使用齐次坐标以矢量式记述如下。[数式1]其中，MI以及ME分别表示照相机的内部参数以及外部参数。内部参数是依赖于照相机的镜头系统的信息，外部参数是表示空间内的照相机的位置和拍摄方向的信息。若将式(1)以要素展开，则如下所示。[数式2]其中，Xi、Yi和Zi表示被摄体的特定点的三维坐标，xin和yin表示与照相机位置n的上述被摄体的特定点对应的像素点。另外，fx及fy表示焦距，cx及cy表示距中心的光轴的偏离，Rn及tn分别表示照相机位置编号n的向照相机坐标系的旋转及平行移动。另外，为了像素位本文档来自技高网...

【技术保护点】
1.图像处理装置，具备：/n全局运动推定单元，根据动态图像中所含的多个帧图像来推定所述动态图像中表示包含特定的被摄体的特定区域的运动的全局运动；/n局部运动推定单元，根据所述多个帧图像推定所述动态图像中表示所述特定的被摄体的运动的局部运动；/n图像修正单元，基于所推定的全局运动和局部运动来修正所述动态图像中的所述特定的被摄体或所述特定区域的运动。/n

【技术特征摘要】
【国外来华专利技术】20170517 JP 2017-0984761.图像处理装置，具备：
全局运动推定单元，根据动态图像中所含的多个帧图像来推定所述动态图像中表示包含特定的被摄体的特定区域的运动的全局运动；
局部运动推定单元，根据所述多个帧图像推定所述动态图像中表示所述特定的被摄体的运动的局部运动；
图像修正单元，基于所推定的全局运动和局部运动来修正所述动态图像中的所述特定的被摄体或所述特定区域的运动。


2.如权利要求1所述的图像处理装置，其特征在于，所述局部运动推定单元使用包含所述特定的被摄体的区域中的特定点的移动量来推定局部运动。


3.如权利要求2所述的图像处理装置，其特征在于，所述特定点是所述被摄体的重心。


4.如权利要求1-3中任一项所述的图像处理装置，其特征在于，所述图像修正单元生成与所推定的所述全局运动对应的投影变换矩阵，基于所推定的所述局部运动来修正所述投影变换矩阵，基于所述修正的投影变换矩阵来修正所述动态图像中所述特定的被摄体或所述特定区域的运动。


5.如权利要求1-4中任一项所述的图像处理装置，其特征在于，所述全局运动推定单元和所述局部运动推定单元使用将输入图像缩小得到的图像来推定全局运动和局部运动。


6.图像处理程序，使计算机执行以下步骤：
执行全局运动推定，该全局运动推定根据动态图像中所含的多个帧图像来推定所述动态图像中表示包含特定的被摄体的特定区域的运动的全局运动；
执行局部运动推定，该局部运动推定根据所述多个帧图像推定所述动态图像中表示所述特...

【专利技术属性】
技术研发人员：滨田正久，绪方正人，
申请(专利权)人：株式会社克利普顿，
类型：发明
国别省市：日本;JP