图像处理装置、摄像系统、图像处理方法和图像处理程序制造方法及图纸

以生成抑制了由于位置偏移而引起的伪像的高精细的合成图像为目的，本发明专利技术的图像处理部(9)具有：位置对齐量计算部(29)，其计算参照图像的各像素相对于基准图像的位置偏移量；以及图像合成部(31)，其将根据计算出的位置偏移量进行变换后的参照图像与基准图像进行合成，位置对齐量计算部(29)具有：多平面射影变换矩阵计算部，其按照参照图像中的位置偏移量不同的每个平面计算射影变换矩阵；平面选择部，其根据基准图像与使用计算出的各射影变换矩阵对参照图像进行变换后的多个位置对齐图像的各差分值，生成选择了参照图像的各像素所属的平面和按照每个平面应用的射影变换矩阵的平面映射；选择错误降低处理部，其抑制射影变换矩阵的选择的错误；以及运算处理部，其根据抑制了射影变换矩阵的选择的错误的平面映射，按照每个平面进行位置偏移量的运算处理。

Image Processing Device, Camera System, Image Processing Method and Image Processing Program

For the purpose of generating high-precision synthetic images that suppress artifacts caused by position offset, the image processing unit (9) of the present invention has a position alignment calculation unit (29), which calculates the position offset of each pixel of the reference image relative to the reference image, and an image synthesis unit (31), which transforms the reference image and the reference image according to the calculated position offset. For image synthesis, the position alignment calculation unit (29) has: a multi-plane projective transformation matrix calculation unit, which calculates the projective transformation matrix according to each plane with different position offset in the reference image; and a plane selection unit, which generates the difference values of the multi-position alignment images transformed from the reference image according to the reference image and the projective transformation matrices computed with respect to the reference image. The plane mapping of the projective transformation matrix applied in each plane is selected for each pixel of the reference image; the error reduction processing unit is selected to suppress the error of the selection of the projective transformation matrix; and the operation processing unit, according to the plane mapping which suppresses the error of the selection of the projective transformation matrix, carries out the operation processing of the position offset according to each plane.

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、摄像系统、图像处理方法和图像处理程序
本专利技术涉及图像处理装置、摄像系统、图像处理方法和图像处理程序。
技术介绍
以往，作为对多张图像进行位置对齐的技术之一，存在利用射影变换矩阵对各像素位置的位置偏移量进行模型化的方法。这是如下方法：针对从多张摄像图像中任意设定的基准图像和参照图像，利用光流或特征点匹配等求出图像的特征性区域的位置偏移量后，根据该位置偏移量的信息估计画面整体的几何变化，由此求出各像素位置的位置偏移量。在使用射影变换矩阵求出各像素位置的位置偏移量的情况下，如果不包含存在进深的物体，则能够正确计算图像整体向哪个方向移动多少。但是，在混合存在多个平面这样的包含存在进深的物体的情况下，在不同平面的区域中，位置偏移量大幅不同，因此，需要考虑按照每个该区域而不同的位置偏移量。在无法针对适当的区域应用适当的位置偏移量的情况下，无法正确进行位置对齐，在合成后的图像中产生伪像(数据错误)。作为解决这种问题并生成合成图像的装置，公知有专利文献1所记载的图像处理装置。在专利文献1所记载的图像处理装置中，为了抑制伪像，首先，求出多个表示位置偏移量的射影变换矩阵。射影变换矩阵表示在混合存在多个平面的被摄体中、最适合某个平面的射影变换矩阵。一边切换射影变换矩阵，一边暂时生成多个应用了位置偏移量的图像(以后称为位置对齐图像。)，求出这些位置对齐图像与基准图像的差分值。判断为差分值较大的区域是位置偏移量不同的其他平面区域，选择在生成差分值最小的位置对齐图像时使用的射影变换矩阵作为该像素中的应该应用的射影变换矩阵。然后，使用全部像素的选择结果(平面映射(map))，对适当的区域应用适当的位置偏移量，抑制合成图像的伪像。现有技术文献专利文献专利文献1：日本特许第5499261号公报
技术实现思路
专利技术要解决的课题但是，在专利文献1所记载的图像处理装置中，除了平面不同的原因以外，特别地，可能由于位置对齐时的射影变换所导致的边缘等高频成分的变化而产生位置对齐图像与基准图像的差分。因此，仅简单地使用位置对齐图像与基准图像的差分值，无法正确选择平面，在存在进深的被摄体中产生位置偏移，存在在合成图像中产生伪像这样的问题。本专利技术是鉴于上述情况而完成的，其目的在于，提供如下的图像处理装置、摄像系统、图像处理方法和图像处理程序：针对存在进深且混合存在多个平面的被摄体，能够生成抑制了由于位置偏移而引起的伪像的高精细的合成图像。用于解决课题的手段为了实现上述目的，本专利技术提供以下手段。本专利技术的第1方式是一种图像处理装置，其具有：位置偏移量计算部，其使用射影变换矩阵计算基准图像以外的1张以上的参照图像的各像素相对于作为基准的该基准图像的各像素的位置偏移量，所述基准图像和所述参照图像是对被摄体进行拍摄而得到的多个图像中的图像；以及图像合成部，其将根据由该位置偏移量计算部计算出的所述位置偏移量进行变换后的所述参照图像与所述基准图像进行合成，生成合成图像，所述位置偏移量计算部具有：多平面射影变换矩阵计算部，其按照所述参照图像中的所述位置偏移量不同的每个平面计算所述射影变换矩阵；平面选择部，其使用按照每个所述平面计算出的各所述射影变换矩阵对所述参照图像进行变换而生成多个位置对齐图像，根据这些多个位置对齐图像与所述基准图像的各差分值，生成选择了所述参照图像的各像素所属的所述平面和按照这些平面中的每个平面应用的所述射影变换矩阵的平面映射；选择错误降低处理部，其抑制所述平面映射中的所述射影变换矩阵的选择的错误；以及运算处理部，其根据抑制了所述射影变换矩阵的选择的错误的所述平面映射，按照每个所述平面进行所述位置偏移量的运算处理。根据本方式，在位置偏移量计算部中，通过多平面射影变换矩阵计算部，按照参照图像中的与基准图像之间的位置偏移量不同的每个平面计算射影变换矩阵，通过平面选择部，生成通过各射影变换矩阵对参照图像进行变换后的多个位置对齐图像。然后，通过平面选择部，根据各位置对齐图像与基准图像的差分值，生成选择了参照图像的各像素所属的平面和按照这些平面中的每个平面应用的射影变换矩阵的平面映射，通过运算处理部，根据平面映射按照每个平面计算位置偏移量。由此，在图像合成部中，根据计算出的位置偏移量对参照图像进行变换，消除平面的每个区域的与基准图像之间的位置偏移，生成对参照图像和基准图像进行位置对齐后的合成图像。这里，除了平面的区域不同的原因以外，还由于其他原因而在位置对齐图像和基准图像中产生差分，有时在要应用的射影变换矩阵的选择中产生错误。该情况下，通过选择错误降低处理部抑制平面映射中的射影变换矩阵的选择的错误，由此，能够根据适当的平面映射在适当的区域应用适当的位置偏移量。由此，针对存在进深且混合存在多个平面的被摄体，也能够生成抑制了由于位置偏移而引起的伪像的高精细的合成图像。在上述方式中，也可以是，所述选择错误降低处理部具有变换误差降低处理部，该变换误差降低处理部抑制由于在所述平面选择部生成所述位置对齐图像时使用所述射影变换矩阵进行几何变换而引起的所述射影变换矩阵的选择的错误。在由平面选择部生成的位置对齐图像中，有时由于使用射影变换矩阵的几何变换而产生高频成分(边缘等)的图案变化，在产生了图案变化的位置对齐图像和基准图像中，出现较大的差分值，在要应用的射影变换矩阵的选择中产生错误。通过变换误差降低处理部抑制由于使用射影变换矩阵的几何变换而引起的射影变换矩阵的选择的错误，由此降低几何变换对高频成分的变化的影响，通过运算处理部，能够根据适当的平面映射按照每个平面计算适当的位置偏移量。在上述方式中，也可以是，所述变换误差降低处理部在对所述平面映射实施膨胀处理后，实施收缩处理。通过这样构成，能够在维持按照每个平面正确选择出的射影变换矩阵的状态下，改正错误选择出的射影变换矩阵。在上述方式中，也可以是，所述膨胀处理利用所述平面映射中的作为对象的多个所述像素中的最大的像素值置换作为所述对象的多个像素，所述收缩处理利用所述平面映射中的作为对象的所述多个像素中的最小的像素值置换作为所述对象的多个像素。通过这样构成，通过膨胀处理，利用周边的像素值对作为对象的多个像素内的边缘、孤立点进行置换，另一方面，通过收缩处理，能够在包含作为对象的多个像素的区域内对通过膨胀处理被切削的区域的射影变换矩阵进行复原。在上述方式中，也可以是，所述选择错误降低处理部具有映射滤波处理部，该映射滤波处理部抑制由于噪声而引起的所述射影变换矩阵的选择的错误。当由于噪声的影响而使位置对齐图像与基准图像的差分增大或缩小时，有时在要应用的射影变换矩阵的选择中产生错误。通过映射滤波处理部抑制由于噪声而引起的射影变换矩阵的选择的错误，由此，降低噪声的影响，通过运算处理部，能够根据适当的平面映射，按照每个平面计算适当的位置偏移量。在上述方式中，也可以是，所述映射滤波处理部对所述平面映射实施中值滤波处理。在由于噪声而引起的选择错误的情况下，存在如孤立点那样随机不同的平面，因此，通过实施中值滤波处理，能够高效地抑制未维持作为被摄体的连续性的如孤立点那样随机产生的选择的错误。在上述方式中，也可以是，所述选择错误降低处理部具有对所述平面映射进行缩小的映射缩小处理部、以及使由该映射缩小处理部缩小的所述平面映射返回缩小本文档来自技高网...

【技术保护点】
1.一种图像处理装置，其具有：位置偏移量计算部，其使用射影变换矩阵计算基准图像以外的1张以上的参照图像的各像素相对于作为基准的该基准图像的各像素的位置偏移量，所述基准图像和所述参照图像是对被摄体进行拍摄而得到的多个图像中的图像；以及图像合成部，其将根据由该位置偏移量计算部计算出的所述位置偏移量进行变换后的所述参照图像与所述基准图像进行合成，生成合成图像，所述位置偏移量计算部具有：多平面射影变换矩阵计算部，其按照所述参照图像中的所述位置偏移量不同的每个平面计算所述射影变换矩阵；平面选择部，其使用按照每个所述平面计算出的各所述射影变换矩阵对所述参照图像进行变换而生成多个位置对齐图像，根据这些多个位置对齐图像与所述基准图像的各差分值，生成选择了所述参照图像的各像素所属的所述平面和按照这些平面中的每个平面应用的所述射影变换矩阵的平面映射；选择错误降低处理部，其抑制所述平面映射中的所述射影变换矩阵的选择的错误；以及运算处理部，其根据抑制了所述射影变换矩阵的选择的错误的所述平面映射，按照每个所述平面进行所述位置偏移量的运算处理。

【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，其具有：位置偏移量计算部，其使用射影变换矩阵计算基准图像以外的1张以上的参照图像的各像素相对于作为基准的该基准图像的各像素的位置偏移量，所述基准图像和所述参照图像是对被摄体进行拍摄而得到的多个图像中的图像；以及图像合成部，其将根据由该位置偏移量计算部计算出的所述位置偏移量进行变换后的所述参照图像与所述基准图像进行合成，生成合成图像，所述位置偏移量计算部具有：多平面射影变换矩阵计算部，其按照所述参照图像中的所述位置偏移量不同的每个平面计算所述射影变换矩阵；平面选择部，其使用按照每个所述平面计算出的各所述射影变换矩阵对所述参照图像进行变换而生成多个位置对齐图像，根据这些多个位置对齐图像与所述基准图像的各差分值，生成选择了所述参照图像的各像素所属的所述平面和按照这些平面中的每个平面应用的所述射影变换矩阵的平面映射；选择错误降低处理部，其抑制所述平面映射中的所述射影变换矩阵的选择的错误；以及运算处理部，其根据抑制了所述射影变换矩阵的选择的错误的所述平面映射，按照每个所述平面进行所述位置偏移量的运算处理。2.根据权利要求1所述的图像处理装置，其中，所述选择错误降低处理部具有变换误差降低处理部，该变换误差降低处理部抑制由于在所述平面选择部生成所述位置对齐图像时使用所述射影变换矩阵进行几何变换而引起的所述射影变换矩阵的选择的错误。3.根据权利要求2所述的图像处理装置，其中，所述变换误差降低处理部在对所述平面映射实施膨胀处理后，实施收缩处理。4.根据权利要求3所述的图像处理装置，其中，所述膨胀处理利用所述平面映射中的作为对象的多个所述像素中的最大的像素值置换作为所述对象的多个像素，所述收缩处理利用所述平面映射中的作为对象的所述多个像素中的最小的像素值置换作为所述对象的多个像素。5.根据权利要求2～4中的任意一项所述的图像处理装置，其中，所述选择错误降低处理部具有映射滤波处理部，该映射滤波处理部抑制由于噪声而引起的所述射影变换矩阵的选择的错误。6.根据权利要求5所述的图像处理装置，其中，所述映射滤波处理部对所述平面映射实施中值滤波处理。7.根据权利要求1～6中的任意一项所述的图像处理装置，其中，所述选择错误降低处理部具有对所述平面映射进行缩小的映射缩小处理部、以及使由该映射缩小处理部缩小后的所述平面映射返回缩小前的分辨率的映射放大处理部。8.根据权利要求7所述的图像处理装置，其中，所述映射缩小处理部在由所述选择错误降低处理部抑制所述射影变换矩阵的选择的错误之前降低所述平面映射的分辨率，所述映射放大处理部...

【专利技术属性】
技术研发人员：冈泽淳郎，
申请(专利权)人：奥林巴斯株式会社，
类型：发明
国别省市：日本,JP