图像处理系统、成像设备、图像处理方法以及计算机可读记录介质技术方案

一种图像处理系统在包含作为重叠区域的重叠图像区域的多个图像上执行图像处理。所述系统包含被配置来使用每个所述重叠区域中的一个或多个像素的像素值计算用于评估所述多个图像的每一个的评估值的计算器；被配置来基于由所述计算器计算的所述评估值确定在所述多个图像中是否存在要被校正的图像确定控制器；被配置来当所述确定控制器确定存在要被校正的所述图像时，基于所述评估值，从所述多个图像当中，确定作为用于校正的参考的校正参考图像的图像确定部；以及被配置来基于由所述图像确定部确定的所述校正参考图像校正要被校正的所述图像的图像校正部。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及图像处理系统、成像设备、图像处理方法以及用于使得计算机执行所述方法的计算机可读记录介质。
技术介绍
作为能够360度成像的成像设备，已知存在全景成像相机被用作监视相机。所述全景成像相机通过多个成像元件，使用多个广角镜头或鱼眼镜头来拍摄图像，在多个拍摄的图像上做失真校正和投影变形，并且将它们合成以生成一个全景图像。由相邻的成像元件拍摄的图像具有图像重叠区域，在所述重叠区域中所述图像彼此部分地重叠。全景成像相机通过图像重叠区域合成图像。全景成像相机通过使用多个不同成像方向的成像元件来拍摄图像，并且由成像元件获得的图像的图像重叠区域在亮度和色彩上有差异，这引起了合成的图像的可视性劣化的问题。已提出借助于用于使得图像重叠区域的色调统一的初始增益以及用于降低与其他成像元件的差异的校正增益，通过校正映射重叠区域来用于降低在图像重叠区域之间色调的差异的技术(例如，参考日本专利No.4739122)。全景成像相机使用广角镜头和鱼眼镜头在宽广面积内拍摄图像，并且因此，来自诸如太阳或照明设备的光源的光很可能进入成像范围内。在这种情况下，已知有高可能性发生闪光以致图像白模糊以及呈现出具有光的扩散。所述闪光不均匀地发生在图像上，并且因此带闪光的图像和不带闪光的图像彼此在亮度和色彩上有差异。因此，存在合成的图像中的接缝突出的问题。根据前述的传统技术，能够降低在图像重叠区域之间的色调的差异来使所述接缝不太突出，但是不能校正其他图像区域。结果是，合成的图像在亮度和色彩上具有差异。因此，有必要提供允许在多个图像之间的亮度和色彩上差异降低的系统以及方法。
技术实现思路
本专利技术的目的是至少部分地解决传统技术中的问题。根据一个实施例，提供了用于在包含重叠图像区域作为重叠区域的多个图像上执行图像处理的图像处理系统。图像处理系统包含：计算器，配置来使用每个重叠区域中的一个或多个像素的像素值计算评估值，所述评估值用于评估多个图像中的每一个；确定控制器，配置来基于由计算器计算的评估值，确定在多个图像中是否存在要被校正的图像；图像确定部，配置来当确定控制器确定存在要被校正的图像时，基于评估值从多个图像当中确定用于校正的参考的校正参考图像；以及图像校正部，配置来基于由图像确定部确定的校正参考图像校正要被校正的图像。当联系附图考虑时，通过阅读本专利技术当前优选的实施例的以下具体描述，将会更好地理解本专利技术的上述和其他的目的、特征、优点以及以及技术和工业价值。附图说明图1是成像设备的外部视图。图2是示出成像设备的硬件配置的图。图3是描述用于在成像设备中使用的鱼眼镜头的图。图4是描述在由成像设备拍摄的多个图像中的重叠区域的图。图5是描述全景图像的格式的图。图6是描述用于鱼眼图像转换到全景图像的转换表格的图。图7是用于生成全景图像的处理的流程图。图8是示出失真校正的结果的图。图9描述用于检测连接位置的方法的图。图10是图像处理系统的功能框图。图11是由图像处理系统执行的整体处理的流程图。图12是描述在图11中描述的步骤S1110处评估值的获取的图。图13是在图11中描述的步骤S1120处用于确定的具体处理的流程图。图14是在图11中描述的步骤S1130处用于校正映射的创建的具体处理的流程图。图15是描述校正排除映射的创建的图。图16是描述用于计算对重叠区域校正量的方法的图。图17是描述用于从对重叠区域的校正量中计算对整体图像校正量的方法的图。图18是描述用于通过参考图15创建的校正排除映射修正参考图14创建的校正映射的方法的图。图19是用于在图13中描述的步骤S1310计算重叠区域中平均值的处理的流程图。图20是用于图13中描述的步骤S1310计算重叠区域中平均值的另一处理的流程图。图21是描述用于在图20中描述的步骤S2030计算匹配度的方法。图22是描述在图14中描述的步骤S1430在校正量之间插值的图。图23是描述在图14中描述的步骤S1430在校正量之间插值的图。图24是描述在图14中描述的步骤S1430在校正量之间插值的图。图25是描述在图14中描述的步骤S1430在校正量之间插值的图。图26是用于修正重叠区域中的校正量的处理的流程图。图27是用于限制重叠区域中的校正量的处理的流程图。图28是示出用于在图27中描述的处理中使用的阈值表格的示例图。具体实施方式图1是包含图像处理系统的成像设备的外部视图。在这个示例中，成像设备是全景成像相机但不限于此。所述成像设备可以是任何被配置来由多个成像元件拍摄重叠图像区域(重叠区域)并通过它们的重叠区域将多个拍摄的图像连接的成像设备。借助于图像处理IC或软件能够执行用于通过它们的重叠区域连接多个拍摄图像的处理。全景成像相机10包含用于在一个成像位置处全景成像的、具有大于180度的视角的两个鱼眼镜头11和12以及与鱼眼镜头11和12分别相对应的两个成像元件13和14。在这个示例中，所述全景成像相机10被配置来包含所述两个鱼眼镜头11、12以及所述两个成像元件13、14。然而，全景成像相机10不限于这个配置，还可包含三个或更多个的每个组件。视角参考由鱼眼镜头11和12成像的角度范围。鱼眼镜头11和12可以是等距投影类型，在此类型中，到拍摄图像中心的距离与光的入射角成比例。所述成像元件13和14可以是将入射光转换为电信号的电荷耦合设备(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。所述两个成像元件13和14全景地拍摄图像以使拍摄的图像包含作为重叠图像区域的重叠区域。通过摄影师按下成像SW15来引起成像元件13和14同时进行曝光而执行成像。成像元件13和14将接收的光转换为电信号以获取图像。获取的图像是通过利用鱼眼镜头11和12拍摄，并且因此被称为鱼眼图像。由两个成像元件13和14获取的两个鱼眼图像经历图像转换并在随后的图像处理中通过重叠区域被合成，由此生成全景图像。全景成像相机10可存储用于生成的全景图像的数据，并且，在接到请求时，将数据输出至包含显示装置的器材(诸如未示出的PC)以在显示装置上显示全景图像。所述全景成像相机10还可以将生成的全景图像输出至未示出的打印机或多功能外围设备(MFP)用于打印输出的生成。所述全景成像相机10可进一步将生成的全景图像输出至MDP或PC用于传真传输或邮件传输。图2是示出全景成像相机10的硬件配置的图。在图2的示例中，鱼眼镜头11和12未被示出。全景成像相机10包含控制器20、SDRAM21以及外部存储设备22，还包含两个成像元件13和14以及成像SW15。SDRAM21被用于与控制器20结合以存储用于实现预定的图像处理的程序。所述外部存储装置22存储被处理过的图像的数据，即前述的全景图像数据。所述控制器20包含CPU23、ROM24、SRAM25、图像处理模块26、SDRAMI/F27以及外部存储I/F28，它们各自被连接至总线29。所述CPU23控制整个全景成像相机10。所述ROM24存储用于激活全景成像相机10的程序、后文描述的转换表格以及其他。SRAM25提供用于CPU23的工作区。所述图像处理模块26协同CPU23、SRAM25以及SDRAM21等执行前述的预定的图像处理。图像处理模块26可以是作为专用集成电路的特定用途集成电路(AS本文档来自技高网...

【技术保护点】
一种图像处理系统，用于在包含重叠图像区域作为重叠区域的多个图像上执行图像处理，所述图像处理系统包括：计算器，其被配置来使用每个所述重叠区域中的一个或多个像素的像素值计算用于评估所述多个图像的每一个的评估值；确定控制器，其被配置来基于由所述计算器计算的所述评估值，确定在所述多个图像中是否存在要被校正的图像；图像确定部，其被配置来当所述确定控制器确定存在要被校正的所述图像时，基于所述评估值，从所述多个图像当中，确定作为用于校正的参考的校正参考图像；以及图像校正部，其被配置来基于由所述图像确定部确定的所述校正参考图像校正要被校正的所述图像。

【技术特征摘要】
【国外来华专利技术】2014.05.27 JP 2014-1091121.一种图像处理系统，用于在包含重叠图像区域作为重叠区域的多个图像上执行图像处理，所述图像处理系统包括：计算器，其被配置来使用每个所述重叠区域中的一个或多个像素的像素值计算用于评估所述多个图像的每一个的评估值；确定控制器，其被配置来基于由所述计算器计算的所述评估值，确定在所述多个图像中是否存在要被校正的图像；图像确定部，其被配置来当所述确定控制器确定存在要被校正的所述图像时，基于所述评估值，从所述多个图像当中，确定作为用于校正的参考的校正参考图像；以及图像校正部，其被配置来基于由所述图像确定部确定的所述校正参考图像校正要被校正的所述图像。2.根据权利要求1所述的图像处理系统，还包括被配置来使用组成要被校正的图像的多个像素的像素值确定校正排除分区的分区确定部，在要被校正的所述图像中对所述校正排除分区不做出校正，其中所述图像校正部校正除所述校正排除分区外要被校正的所述图像的分区。3.根据权利要求1所述的图像处理系统，其中，所述图像确定部确定具有最小评估值的图像作为所述校正参考图像，并且从除所述校正参考图像以外的多个图像当中，确定一个或多个图像作为要被校正的所述图像。4.根据权利要求1所述的图像处理系统，还包括：分区划分部，其被配置来将所述多个图像中的每一个划分为多个评估分区；平均计算器，其被配置来平均组成每个所述评估分区的多个像素的像素值以计算在每个所述评估分区中的平均值；以及分区检测部，其被配置来检测包含于所述重叠区域中的多个评估分区，其中，所述计算器，对于由所述分区检测部检测的所述多个评估分区，平均每个由所述平均计算器计算的所述平均值，以计算所述评估值。5.根据权利要求4所述的图像处理系统，还包括重合度计算器，其被配置来计算包含于所述校正参考图像的所述重叠区域中的每个所述评估分区的图像与包含于要被校正的所述图像的所述重叠区域中的每个所述评估分区的图像之间的重合的程度，其中，所述计算器计算排除评估分区中的所述平均值的所述评估值，所述评估分区具有小于预设重合度阈值的所述重合度。6.根据权利要求4所述的图像处理系统，其中，对于由所述分区检测部检测的所述评估分区，所述计算器拥有上限值和下限值，并且排除每个大于所述上限值或每个小于所述下限值的所述平均值，以计算所述评估值。7.根据权利要求4所述的图像处理系统，其中，所述图像校正部通过使用所述校正参考图像的所述评估值以及要被校正的所述图像的所述评估值，计算对包含于要被校正的所述图像的所述重叠区域中所述多个评估分区的校正量，所述图像校正部通过使用对所述多个评估分区的所述校正量，计算对不同于包含于所述重叠区域中的所述多个评估分区的评估分区的校正量，以及所述图像校正部通过使用所述计算的校正量来校正要被校正的所述图像。8.根据权利要求7所述的图像处理系统，其中，所述图像校正部拥有对于对包含于所述重叠区域中的所述多个评估分区的校正量的校正量阈值，以及当计算出所述多个评估分区当中的一个或多个评估部分的任何校正量超过所述校正量阈值时，所述图像校正部改变所述计算的校正量以使对所述一个或多个评估分区不做出校正。9.根据权利要求7所述的图像处理系统，其中，所述图像校正部参考在包含于所述校正参考图像的所述重叠区域中的每个所述评估分区...

【专利技术属性】
技术研发人员：吉川博美，吉田和弘，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP