控制系统、成像装置和程序制造方法及图纸

一种控制系统，用于控制基于使用第一鱼眼镜头获得的第一图像和使用第二鱼眼镜头获得的第二图像生成全向的成像装置，所述控制系统特征在于包括估计值计算单元，其：基于第一图像的亮度值计算用于估计与第一鱼眼镜头对应的第一成像元件的曝光的第一曝光估计值；和基于第二图像的亮度值计算用于估计与第二鱼眼镜头对应的第二成像元件的曝光的第二曝光估计值。所述控制系统进一步特征在于，该估计值计算单元不使用构成其中第一图像和第二图像之间的成像范围重叠的重叠区域的像素的像素值来计算第一图像的亮度值和第二图像的亮度值。

Control system, imaging device and program

A control system for controlling an omnidirectional imaging device based on a first image obtained using a first fish eye lens and a second image obtained using a second fish eye lens. The control system is characterized by an estimated value calculation unit, which is used to estimate the first fish eye lens based on the first image. The first exposure estimation value of the exposure of the corresponding first imaging element is calculated and the second exposure estimation value of the exposure of the second imaging element corresponding to the second fish eye lens is calculated by the luminance value based on the second image. The control system is further characterized by the calculation unit that calculates the brightness value of the first image and the brightness value of the second image without using the pixel values that constitute the pixels of the overlapping area overlapping the imaging range of the first image and the second image.

【技术实现步骤摘要】
【国外来华专利技术】控制系统、成像装置和程序
本专利技术涉及控制成像装置的控制系统；涉及包括该控制系统的成像装置；且涉及程序。
技术介绍
代表成像装置的相机包括比如CMOS(互补金属氧化物半导体)图像传感器的成像元件，且将已经由成像元件输入的光转换为图像信号。然后，基于从图像信号获得的亮度值，相机计算实现正确曝光的曝光值；并根据曝光值和基于程序图(programchart)调整比如快门速度和光圈值的设置值。通常，相机装备有用于自动地执行这种调整的自动曝光控制功能(AE)。在这里，亮度值代表图像的亮度的程度；曝光意味着将成像元件暴露给光；且正确曝光意味着当由人观看时使用自然亮度和自然颜色表示图像的曝光。曝光值表示成像元件暴露给光的程度；且快门速度表示成像元件暴露给光或者意在阻挡光的可打开可关闭快门打开从而将成像元件暴露给光的时间段(曝光时段)。光圈值表示在成像元件上出现的图像的亮度，且也被称为F比值。程序图是以与快门速度和光圈值对应的方式保存曝光值的对应表。在AE控制中，当被摄体的亮度上升时，执行控制以增大快门速度和减小光圈。存在不安装光圈机制的某些相机从而使得相机可以低成本可用。在这种情况下，通过改变快门速度来执行曝光控制(例如，参见专利文献1和2)。
技术实现思路
技术问题例如，在拍摄视频的情况下，因为重要的是具有连续链路，所以需要精密地执行曝光控制从而保证没有由于帧之间的曝光差异所导致的奇怪感觉。通常，关于CMOS图像传感器的快门速度分辨率，快门速度向高速侧移动得越多，快门速度分辨率就变得越粗糙。但是，在现有的技术中，在被摄体的高亮度的环境下，不能控制快门速度以匹配曝光，因此不能精确地执行曝光控制。此外，在包括与多个透镜光学系统对应的多个成像元件的成像装置中，基于从多个成像传感器获得的亮度值执行曝光的自动控制和白平衡。但是，在该方法中，如在使用一对鱼眼镜头在所有方向上拍摄图像的全向成像相机的情况下那样，当从两个成像传感器获得的图像的拍摄范围包括重叠区域时，专利技术人发现未进行稳定的控制。在这点上，存在能够精确地执行曝光控制的系统、装置、方法等的需求。技术方案考虑以上问题做出本专利技术，且本专利技术提供控制成像装置基于使用第一鱼眼镜头获得的第一图像和使用第二鱼眼镜头获得的第二图像生成全向图像的控制系统，该控制系统包括：估计值计算单元，配置为：基于构成第一图像的像素的像素值计算第一图像的亮度值，基于该亮度值计算用于估计与第一鱼眼镜头对应的第一图像元素的曝光的第一曝光估计值，基于构成第二图像的像素的像素值计算第二图像的亮度值，和基于该亮度值计算用于估计与第二鱼眼镜头对应的第二图像元素的曝光的第二曝光估计值，其中，估计值计算单元配置为在第一图像的亮度值的计算和第二图像的亮度值的计算期间，不使用构成重叠区域的像素的像素值，在该重叠区域中，存在第一图像的拍摄范围和第二图像的拍摄范围的重叠。技术效果根据本专利技术，可以精确地执行曝光控制。附图说明图1A是图示成像装置的外视图并图示由成像装置获得的图像的图。图1B是示意性地图示在全向成像相机中安装的相机锥体单元内部的结构的图。图2是图示成像装置的硬件配置的图。图3是图示在图2中图示的成像装置中执行的操作流程的流程图。图4是图示安装在成像装置中的控制系统的功能框图。图5是用于说明在预成像监控时执行的操作流程的流程图。图6是图示图像划分为多个块的图。图7是图示AE表的图。图8是图示程序图的图。图9是用于说明用于计算快门速度和ISO灵敏度的操作流程的流程图。图10是图示在图9中图示的操作期间参考的校正信息的图。图11是图示在WB增益操作期间参考的白色提取范围的图。具体实施方式图1A是图示根据本专利技术的实施例的成像装置10的外视图并图示由成像装置10获得的图像的图。如图1A所示，成像装置10包括彼此相对地放置的一对透镜窗11和12，且能够从成像位置拍摄所有方向上的图像。在下面的说明中，成像装置10被称为全向成像相机10。图1B是示意性地图示在全向成像相机10中安装的相机锥体单元20内部的结构的图。如图1B所示，相机椎体单元20包括由成像光学系统21和相应的成像元件23构成的第一成像光学系统，且包括由成像光学系统22和相应的成像元件24构成的第二成像光学系统。成像光学系统21和22例如使用六组的七个鱼眼镜头元件配置。以成像光学系统21和22的光轴分别与相应的成像元件23和24的光接收区域的中心部分正交的方式，且以光接收区域用作相应的鱼眼镜头的成像平面的方式决定两个成像光学系统21和22中的光学元件(透镜光学系统、棱镜、滤波器和孔径光阑)的位置以及成像元件23和24的位置。在这里，构成成像光学系统21和22中的每一个的透镜光学系统的一对鱼眼镜头具有设置为一致的各个光轴且以相互相反的方向放置。成像元件23和24是光接收区域用作维度的二维固态图像传感装置；并将由相应的成像光学系统21和22收集的光分别转换为图像数据并将图像输出到处理器(未示出)。处理器拼接从成像元件23和24输入的部分图像并执行图像合成，并生成具有4π弧度的立体角的图像(在下文中，称为“全向图像”)。在全向成像相机10中，在该对成像光学系统21和22中，由一个成像光学系统拍摄的第一图像映射在全向格式的上半球侧上，由另一成像光学系统拍摄的第二图像映射在全向格式的下半球侧上，然后拼接两个图像以生成全向图像。在那时，为了检测第一图像和第二图像的接合位置，变得需要具有其中在各图像之间拍摄范围重叠的区域(在下文中，称作重叠区域)。为此原因，构成成像光学系统21和22中的每一个的鱼眼镜头具有超过180°(＝360°/n；n＝2)的总视角。优选地，鱼眼镜头具有185°或更大的视角。更优选地，鱼眼镜头具有190°或更大的视角。同时，在下面的说明中，成像光学系统21和22分别简称为鱼眼镜头21和22。当拍摄者按压成像SW13时，通过成像SW13的按压用作触发器，两个成像元件同时曝光，且拍摄图像。两个成像元件将所接收的光转换为电信号并获得图像。所获得的图像使用鱼眼镜头21和22获得，因此被称作鱼眼图像。在后续图像处理中，由两个成像元件获得的两个鱼眼图像经历图像转换且耦合重叠区域，以使得生成全向图像。全向成像相机10存储所生成的全向图像的数据，且响应于用户请求，可以将数据输出到输出装置(未示出)，比如具有显示单元的PC，且可以在该显示单元上显示数据。此外，全向成像相机10可以将所生成的全向图像的数据输出到用于打印目的的比如打印机(未示出)或者MFP(多功能外围设备)(未示出)的输出装置。替代地，全向成像相机10可以将所生成的全向图像的数据输出到比如MFP或者打印机的输出装置，且也可以经FAX或者使用电子邮件发送。在图1中，也图示表示通过由全向成像相机10的成像而获得的拍摄图像的两个鱼眼图像。通过由传感器A和B的成像来获得鱼眼图像(参见图3)。在通过由传感器B的成像而获得的鱼眼图像中，形成称作耀斑的白色模糊图像，由此导致两个鱼眼图像中的不同亮度。基于在鱼眼图像的边界部分存在的适当物体的图像来接合两个鱼眼图像，并生成合成图像。取决于图像，有时耀斑扩散到以高强度物体为中心的整个成像元件上，或者有时在边界部分中不存在适当物体的图像。在此情况下，也可以根据已知方法执行图像校正本文档来自技高网...

【技术保护点】
一种控制系统，控制成像装置以基于使用第一鱼眼镜头获得的第一图像和使用第二鱼眼镜头获得的第二图像生成全向图像，所述控制系统包括估计值计算单元，配置为：基于构成所述第一图像的像素的像素值计算所述第一图像的亮度值，基于所述亮度值计算用于估计与所述第一鱼眼镜头对应的第一成像元件的曝光的第一曝光估计值，基于构成所述第二图像的像素的像素值计算所述第二图像的亮度值，和基于所述亮度值计算用于估计与所述第二鱼眼镜头对应的第二成像元件的曝光的第二曝光估计值，其中，所述估计值计算单元配置为在所述第一图像的亮度值的计算和所述第二图像的亮度值的计算期间，不使用构成重叠区域的像素的像素值，在所述重叠区域中，存在所述第一图像的拍摄范围和所述第二图像的拍摄范围的重叠。

【技术特征摘要】
【国外来华专利技术】2015.09.09 JP 2015-1776181.一种控制系统，控制成像装置以基于使用第一鱼眼镜头获得的第一图像和使用第二鱼眼镜头获得的第二图像生成全向图像，所述控制系统包括估计值计算单元，配置为：基于构成所述第一图像的像素的像素值计算所述第一图像的亮度值，基于所述亮度值计算用于估计与所述第一鱼眼镜头对应的第一成像元件的曝光的第一曝光估计值，基于构成所述第二图像的像素的像素值计算所述第二图像的亮度值，和基于所述亮度值计算用于估计与所述第二鱼眼镜头对应的第二成像元件的曝光的第二曝光估计值，其中，所述估计值计算单元配置为在所述第一图像的亮度值的计算和所述第二图像的亮度值的计算期间，不使用构成重叠区域的像素的像素值，在所述重叠区域中，存在所述第一图像的拍摄范围和所述第二图像的拍摄范围的重叠。2.如权利要求1所述的控制系统，进一步包括：光度值计算单元，配置为基于在所述成像装置中设置的设置值，计算指示被摄体的亮度的光度值；光度值调整单元，配置为基于由所述估计值计算单元计算的所述第一曝光估计值和所述第二曝光估计值，调整由所述光度值计算单元计算的所述光度值；曝光值计算单元，配置为从所计算的光度值计算指示所述第一成像元件和所述第二成像元件对光的曝光程度的曝光值；和设置值计算单元，配置为计算成像元件要暴露给光的曝光时段和指示所述成像元件对光的灵敏度的灵敏度值作为设置值，所述曝光时段和所述灵敏度值与所计算的曝光值对应。3.如权利要求1或者2所述的控制系统，其中，所述估计值计算单元配置为：基于所述第一图像的亮度值计算用于估计所述第一成像元件的白平衡的第一白平衡估计值；和基于所述第二图像的亮度值计算用于估计所述第二成像元件的白平衡的第二白平衡估计值。4.如权利要求1到...

【专利技术属性】
技术研发人员：野村健一郎，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本,JP