本发明专利技术提供图像处理装置和图像处理方法。图像处理装置(100)的临时系数取得部(111)基于表示图像的特征的特征点来取得用于对该图像进行投影变换的临时系数。多边形变换部(112)使用临时系数取得部(111)取得的临时系数对以多个固定点为顶点的多边形进行投影变换。变形度取得部(113)根据投影变换前的多边形和投影变换后的多边形取得表示多边形的变形程度的大小的变形度。判定部(114)判定变形度取得部(113)取得的变形度是否超过变形容许度。在由判定部(114)判定为变形度未超过变形容许度的情况下，投影变换部(116)将临时系数取得部(111)取得的临时系数作为正式系数，来对图像进行投影变换。
【技术实现步骤摘要】
本申请主张以2015年5月21日申请的日本专利申请第2015-103977号为基础申请的优先权，将该基础申请的内容全部引入到本申请中。
本专利技术涉及图像处理装置和图像处理方法。
技术介绍
近来，通过数字技术来补正由多个图像(帧)构成的动态图像的模糊。作为动态图像的模糊补正的方法，例如在JP特开2011-97217号公报中公开了如下技术：提取图像的4个角的特征点，使用该4个角的特征点的移动量来进行图像的投影变换。但是，在进行动态图像的模糊补正的情况下，首先提取构成动态图像的图像的特征点。接下来，通过遍历各图像在时间上追踪提取到的特征点来生成特征点轨迹。接下来，对生成的特征点轨迹进行平滑化(smoothing)来生成平滑化轨迹。接下来，进行使各图像的特征点移动到与该特征点对应的平滑化轨迹上的平滑点的图像变形处理，例如进行投影变换。在此，一般，动态图像的模糊补正为了阻止映在动态图像上的背景的模糊而进行。但是，由于在动态图像中瞬间映入运动体、或者因特征点的追踪错误或手抖而产生的视差的影响等，即使作为图像变形处理来进行投影变换，动态图像中的图像也有时会突然失真地变形。若这样的图像包含在动态图像中，则动态图像看起来就会不自然。
技术实现思路
为此，本专利技术鉴于上述状况而完成，其目的在于，提供能在图像的变形处理中抑制图像不定形地发生变形的图像处理装置等。本专利技术的一个方面是一种图像处理装置，其特征在于，具备：临时系
数取得单元，其基于表示图像的特征的特征点来取得用于对该图像进行投影变换的临时系数；变换单元，其使用所述临时系数取得单元取得的临时系数对以多个固定点为顶点的多边形进行投影变换；变形度取得单元，其根据所述变换单元进行的投影变换前的多边形和该变换单元进行的投影变换后的多边形，取得表示多边形的变形程度的大小的变形度；判定单元，其判定所述变形度取得单元取得的变形度是否超过变形容许度；和投影变换单元，其在由所述判定单元判定为所述变形度未超过所述变形容许度的情况下，将所述临时系数取得单元取得的临时系数作为正式系数对所述图像进行投影变换。本专利技术的另一个方面是一种图像处理装置，其特征在于，具备：投影变换系数取得单元，其基于表示图像的特征的特征点来取得用于对该图像进行投影变换的投影变换系数；投影变换单元，其使用所述投影变换系数取得单元取得的投影变换系数对所述图像进行投影变换；变形度取得单元，其根据所述投影变换单元进行的投影变换前的所述图像和该投影变换单元进行的投影变换后的所述图像，取得表示所述图像的变形程度的大小的变形度；和判定单元，其判定所述变形度取得单元取得的变形度是否超过变形容许度，在由所述判定单元判定为所述变形度未超过所述变形容许度的情况下，将所述投影变换单元进行的投影变换后的所述图像作为正式的变换图像。附图说明图1是表示图像处理装置的构成的框图。图2是表示特征点轨迹和平滑化轨迹的一例的概念图。图3是表示投影变换前的图像的一例的图。图4是表示投影变换后的图像的一例的图。图5是表示变形度表的一例的图。图6是表示投影变换处理的流程的一例的流程图。具体实施方式以下基于附图来说明本专利技术的实施方式。如图1所示那样，图像处理装置100例如是PC(Personal Computer，个人计算机)，具备控制部110、显示部120以及存储部130。该图像处理装置100对构成动态图像131的各图像(各帧)进行图像处理。特别地，本实施方式中的图像处理装置100进行将图像变形的投影变换来作为图像处理。用于进行该投影变换的投影变换系数使用多对由表示图像的特征的特征点和将包含该图像的动态图像中的特征点轨迹平滑化后的平滑化轨迹上的平滑点构成的一对配对来取得。以下参考图2的概念图来说明先于该投影变换进行的求取特征点和平滑点的前处理。另外，由于该前处理是公知技术，因此作为与图1所示的实施方式所涉及的用于投影变换的构成不同的一般性理论在以下进行说明。另外，在图2中，为了容易理解而以由黑点表示的特征点为1个的情况为例进行说明，但构成实际的动态图像的图像(帧)包含多个特征点。首先，如图2的特征点追踪所示那样，在作为构成动态图像的帧的第1图像中提取特征点。该特征点是物体的角或线段的交叉那样的成为图像中的特征的点。该特征点例如使用Harris/Plessey法、KLT法、Hessian法等算法从图像中提取。接下来，遍历第2图像～第4图像对该提取出的特征点在时间上进行追踪。该特征点追踪例如使用利用了块匹配、浓度梯度的算法等进行。通过该特征点追踪，得到图2中央所示的第1图像～第4图像中的Z字形的特征点轨迹。通过对该特征点轨迹进行平滑化(smoothing)而得到以实线表示的第1图像～第4图像的平滑化轨迹。该平滑化例如使用低通滤波器进行。由此，如图2的特征点和平滑点所示那样，在各图像中得到特征点和对应的平滑化轨迹上的平滑点(圆叉)。该特征点和平滑点是一对配对，通过按每个图像进行使该特征点移动到平滑点的图像变形处理(在本实施方式中特别指投影变换)，来进行动态图像的模糊补正。另外，实际上，使图像中的多个特征点分别移动到对应的平滑点。以上是先于投影变换进行的前处理。在以下，以该前处理为前提，参考图1来说明投影变换所涉及的构成。首先，存储部130是HDD(Hard Disk Drive，硬盘驱动器)等非易失
性存储器。该存储部130存储动态图像131。该动态图像131是对例如通过摄影装置(摄像机)以规定的帧速率拍摄到的的动态图像完成前处理后得到的动态图像。由此，构成动态图像131的各图像包含多个特征点和与该多个特征点分别成对的多个平滑点。接下来，显示部120由液晶或有机EL(Electroluminescence，电致发光)等显示器和使该显示器均匀发光的背光灯等光源构成。显示部120具备显示动态图像、图像的显示画面(屏幕)121。接下来，控制部110由CPU(Central Processing Unit，中央处理器)、ROM(Read Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)等构成。控制部110的CPU通过读出并执行存储于ROM的投影变换用的程序，来实现各功能(临时系数取得部111、多边形变换部112、变形度取得部113、判定部114、选择部115以及投影变换部116)。临时系数取得部111基于表示图像的特征的特征点来取得用于对该图像进行投影变换的临时系数。具体来说，临时系数取得部111基于多对由图像所包含的特征点和平滑点构成的一对配对当中任意选择出的4个配对来取得临时系数该临时系数通过以下的式(1)取得。[数1]在此，(x1～x4，y1～y4)是4个特征点的坐标。另外，(X1～X4，Y1～Y4)是与该4个特征点分别成为配对的平滑点的坐标。另外，(a，b，c，d，e，f，g，h)是用于投影变换的临时系数。如从该式(1)所明确的那样，为了求取用于投影变换的投影变换系数，特征点和平滑点的1对配对需要是4对。接下来，多边形变换部112使用临时系数取得部111所取得的临时系数，对以多个固定点为顶点的多边形(三角形～n边形)进行投影变换。在本实施方式中，作为一例，将多边形是以图像4个角的4个本文档来自技高网...
【技术保护点】
一种图像处理装置，其特征在于，具备：临时系数取得单元，其基于表示图像的特征的特征点来取得用于对该图像进行投影变换的临时系数；变换单元，其使用所述临时系数取得单元取得的临时系数对以多个固定点为顶点的多边形进行投影变换；变形度取得单元，其根据所述变换单元进行的投影变换前的多边形和该变换单元进行的投影变换后的多边形，取得表示多边形的变形程度的大小的变形度；判定单元，其判定所述变形度取得单元取得的变形度是否超过变形容许度；和投影变换单元，其在由所述判定单元判定为所述变形度未超过所述变形容许度的情况下，将所述临时系数取得单元取得的临时系数作为正式系数对所述图像进行投影变换。
【技术特征摘要】
2015.05.21 JP 2015-1039771.一种图像处理装置，其特征在于，具备：临时系数取得单元，其基于表示图像的特征的特征点来取得用于对该图像进行投影变换的临时系数；变换单元，其使用所述临时系数取得单元取得的临时系数对以多个固定点为顶点的多边形进行投影变换；变形度取得单元，其根据所述变换单元进行的投影变换前的多边形和该变换单元进行的投影变换后的多边形，取得表示多边形的变形程度的大小的变形度；判定单元，其判定所述变形度取得单元取得的变形度是否超过变形容许度；和投影变换单元，其在由所述判定单元判定为所述变形度未超过所述变形容许度的情况下，将所述临时系数取得单元取得的临时系数作为正式系数对所述图像进行投影变换。2.根据权利要求1所述的图像处理装置，其特征在于，所述变换单元使用所述临时系数对以所述图像4个角的4个固定点为顶点的四边形进行投影变换，所述变形度取得单元根据投影变换前的四边形和投影变换后的四边形，取得所述变形度。3.根据权利要求1所述的图像处理装置，其特征在于，所述变换单元使用所述临时系数对与所述图像不同的二维平面上的以多个固定点为顶点的多边形进行投影变换。4.根据权利要求1～3中任一项所述的图像处理装置，其特征在于，所述图像至少包含4对以上由表示该图像的特征的特征点和将包含该图像作为帧的动态图像中的该特征点的特征点轨迹平滑化后的平滑化轨迹上的平滑点构成的一对配对，所述临时系数取得单元基于由所述图像包含的所述特征点和所述平滑点构成的多个配对当中任意选择出的4个配对来取得所述临时系数。5.根据权利要求4所述的图像处理装置，其特征在于，所述临时系数取得单元在每次由所述判定单元判定为所述变形度超过所述变形容许度时，将所述任意选择出的4个配对当中的至少1个配对改变成与该4个配对不同的配对来反复取得临时系数，所述变换单元在每次由所述临时系数取得单元取得临时系数时，使用该取得的临时系数对所述多边形反复进行投影变换，所述变形度取得单元在每次由所述变换单元对所述多边形进行投影变换时，基于该投影变换后的多边形反复取得变形度，所述判定单元在每次由所述变形度取得单元取得所述变形度时，反复判定该取得的变形度是否超过变形容许度。6.根据权利要求5所述的图像处理装置，...
【专利技术属性】
技术研发人员：松原正雄，
申请(专利权)人：卡西欧计算机株式会社，
类型：发明
国别省市：日本;JP
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。