具有高动态范围渲染功能的成像装置制造方法及图纸

本申请涉及一种具有高动态范围渲染功能的成像装置(1)。成像装置(1)使用成像元件(12)执行成像。成像装置设置有成像单元(10)、控制单元(23)和合成单元(21)。成像单元执行具有预定曝光时间的曝光，从而执行图像拍摄。控制单元相继地执行成像处理N次。在每次成像处理中，以不同曝光时间拍摄多个图像。合成单元使用HDR渲染多次图像拍摄获取的多个图像进行生成。控制单元执行多次图像拍摄中的一次拍摄，使得曝光在相应的同步定时处完成，并且执行随后的其他拍摄，使得曝光在同步定时处开始。

An imaging device with high dynamic range rendering function

The present application relates to an imaging device (1) with a high dynamic range rendering function. The imaging device (1) performs imaging using an imaging element (12). The imaging device is provided with an imaging unit (10), a control unit (23) and a synthetic unit (21). The imaging unit performs an exposure with a predetermined exposure time, so as to perform image shooting. The control unit successively executes the imaging processing N times. In each image processing, multiple images are photographed at different exposure times. The synthesis unit is generated by using HDR to render multiple images captured by multiple images. The control unit performs multiple shots in the image shooting, so that exposure is completed at the corresponding synchronization timing, and the subsequent other shots are executed, so that the exposure starts at the synchronous timing.

【技术实现步骤摘要】
具有高动态范围渲染功能的成像装置
本公开内容涉及成像装置。更具体地，本公开内容涉及具有高动态范围渲染功能的成像装置。
技术介绍
设置在车辆中的成像处理系统是已知的。车辆中的成像处理系统通常用于各种驾驶辅助功能。例如，JP-A-2010-118767公开了一种用于车辆的成像处理系统，其中，与不同的驾驶辅助功能对应地连续拍摄多个图像。与各个驾驶辅助功能对应地使用不同的快门速度来执行这些成像操作，并且与各个驾驶辅助功能对应地从拍摄图像中获取用于驾驶辅助功能的各种参数。然而，上述专利文献所公开的使用成像处理系统的成像不可能获得具有足够动态范围的拍摄图像。在这方面，当执行高动态范围渲染(在下文中被称为HDR渲染)时，可以获得具有扩展的动态范围的拍摄图像。对于车辆的驾驶辅助，需要实时拍摄的图像。因此，当经HDR渲染的合成图像用于驾驶辅助时，必须在短时间段内拍摄多次具有不同曝光时间的图像拍摄。因此，在为了提供用于驾驶辅助的多个具有不同图像质量的合成图像而执行多个HDR渲染的情况下，各个图像拍摄的曝光时段可能交叠。然后，为了避免曝光时段交叠，必须限制曝光时间的长度，或者可以延迟合成图像的生成。
技术实现思路
本公开内容通过使用HDR渲染来提供用于适当且平滑地生成多个具有不同图像质量的合成图像的技术。成像装置(1)使用成像元件(12)执行成像。成像装置设置有成像单元(10)、控制单元(23)和合成单元(21)。成像单元执行具有预定曝光时间的曝光，从而执行成像。此外，控制单元相继地执行成像处理N次，从而执行多个成像处理，其中，N是整数且是2或更高，在成像处理中的每个成像处理中由成像单元执行多次具有不同曝光时间的图像拍摄。合成单元通过使用基于通过多次图像拍摄获取的多个图像的HDR渲染来生成合成图像，合成图像具有扩展的动态范围且针对N次成像处理中的每次成像处理生成。此外，针对N次成像处理中的每次成像处理生成的各个合成图像具有与所述各个合成图像对应地确定的图像质量。基于成像处理生成的合成图像来确定N次成像处理中的每次成像处理的相应拍摄中的作为最大值的最大曝光时间。N次成像处理中的每次成像处理与以规则的间隔周期性地执行N次的同步定时(50至53)中的每个同步定时对应。控制单元在N次成像处理中的每次成像处理中在相应的同步定时之前/之后相继地执行的多次图像拍摄。控制单元执行多次图像拍摄中的一次图像拍摄，使得曝光在同步定时处完成；并且执行随后的另一次拍摄，使得曝光在同步定时处开始。基于最大曝光时间在成像处理中的每次成像处理中确定曝光时间，使得N次成像处理中的曝光时间不交叠。根据这些配置，在N次成像处理中的每次成像处理中在同步定时之前/之后拍摄多个图像。因此，由于成像处理中的每次成像处理中的多次图像拍摄的总曝光时间，可以确保比同步定时之间的每个间隔更长的时段。此外，可以在先前的成像处理中的多次图像拍摄与随后的成像处理中的多次图像拍摄之间缩短间隔。因此，可以在N次成像处理的各次成像处理中确保适当的曝光时间。因此，利用基于各次成像处理中获取的拍摄图像的HDR合成渲染，可以生成具有适当图像质量的合成图像。此外，可以减少拍摄图像所需的时间。因此，可以平滑且适当地生成具有不同合成图像的多个合成图像。应当注意，该部分以及权利要求中的括在括号中的附图标记指示与稍后描述的实施方式中的特定装置的对应关系，并且不限制本公开内容的技术范围。附图说明在附图中：图1是示出了根据本公开内容的实施方式的成像装置的框图；以及图2是示出了通过根据实施方式的成像装置执行的成像处理的说明图。具体实施方式参照附图，下文将描述本公开内容的实施方式。[1.配置]如图1所示，本实施方式的成像装置被安装在车辆上。在下文中，安装有成像装置1的车辆也称为本车辆。成像装置1拍摄本车辆周围(例如，在本车辆前面)的图像。由成像装置1拍摄的图像用于本车辆的驾驶辅助，该驾驶辅助由安装在本车辆上的ECU2(电子控制单元2)执行。驾驶辅助可以是自动驾驶。在自动驾驶中，自动执行驾驶操作，这些驾驶操作包括本车辆的加速操作、制动操作和转向操作。作为自动驾驶的具体示例可以包括本车辆的如下控制：本车辆自动行驶至目的地；或者本车辆跟随在本车辆前面行驶的另一车辆即前车辆。此外，自动驾驶可以包括如下控制：本车辆在行驶速度被自动控制的情况下在自动加速或制动下行驶；或者本车辆在行驶路线被自动控制的情况下在自动转向下行驶。此外，驾驶辅助可以是碰撞避免、速度警告、追尾碰撞警告、车辆间距离警告和车道偏离警告等。应当注意，碰撞避免可以被称为如下避免操作：该避免操作在本车辆可能与物体碰撞时通过执行制动控制或转向控制来避免碰撞。成像装置1被配置为相机。具体地，成像装置1包括成像单元10和主控制单元20。成像单元10包括光学系统部11和多个成像元件12。光学系统部11包括透镜(未示出)、光圈单元和快门等。透镜使得入射的可见光能够在多个成像元件12上形成图像。光圈单元基于光圈值调节穿过透镜的可见光的量。穿过光圈单元的可见光入射在多个成像元件12上。快门被配置成在图像被拍摄时以预定快门速度被打开/关闭。因此，在由快门速度确定的曝光时间内执行曝光。换言之，可见光在曝光时间期间入射在多个成像元件12上。多个成像装置12包括多个CMOS(互补金属氧化物半导体)传感器或多个CCD(电荷耦合器件)传感器。这些成像元件12被布置成格子状(换言之，阵列状)。成像元件12中的每一个输出指示入射的可见光的强度的模拟信号。模拟信号以预定增益放大并且输出至主控制单元20。主控制单元20包括合成单元21、信号处理单元22和控制单元23。信号处理单元22基于从多个成像元件12发送的模拟信号生成RGB或YUV类型的图像数据(在下文中也称为原始(RAW)数据)。合成单元21基于由信号处理单元22生成的多个RAW数据执行高动态范围渲染(在下文中也称为HDR渲染)。在下文中，通过HDR渲染获得的拍摄图像也被称为合成图像。合成图像经由车辆LAN3等提供至ECU2。ECU2基于上述合成图像执行驾驶辅助。执行HDR渲染，从而生成与由多个RAW数据指示的拍摄图像数据相比具有扩展的动态范围的拍摄图像。更具体地，可以抑制所谓的白色曝光过度或黑色曝光不足的现象，使得生成具有更精确等级的拍摄图像。因此，在由ECU2的驾驶辅助中，可以基于合成图像执行高准确度图像识别。应当注意，稍后将描述用于HDR渲染的成像处理。控制单元23通过控制成像单元10来拍摄图像。控制单元23设置成像单元10中的图像参数。图像参数包括例如快门速度(即曝光时间)、光圈值和用于放大模拟信号的增益。成像单元10根据由控制单元23设置的图像参数来拍摄图像。合成单元21、信号处理单元22和控制单元23可以主要包括具有CPU、RAM、ROM和半导体存储器诸如闪存的已知微型计算机。换言之，这些部件通过用CPU执行存储在半导体存储器中的程序来实现上述功能。半导体存储器与非暂态实体记录介质对应。这些部件可以包括具有多个逻辑电路的数字电路。上述功能可以由硬件实现而不是由软件来实现。[2.成像]接下来，将详细描述用于HDR渲染的成像处理。成像单元1的主控制单元20中的控制单元23执行用于上述HDR渲染的成像处理。在成像处理中，本文档来自技高网...

【技术保护点】
一种使用成像元件(12)执行成像的成像装置(1)，包括：成像单元(10)，所述成像单元执行具有预定曝光时间的曝光，从而执行所述成像；控制单元(23)，所述控制单元相继地执行成像处理N次，从而执行多个成像处理，其中，N是整数并且是2或更大，在所述成像处理中的每个成像处理中由所述成像单元执行多次具有不同曝光时间的图像拍摄；以及合成单元(21)，所述合成单元通过使用基于通过所述多次图像拍摄获取的多个图像的高动态范围渲染来生成合成图像，所述合成图像具有扩展的动态范围并且针对N次成像处理中的每次成像处理生成，其中，针对所述N次成像处理中的每次成像处理生成的各个合成图像具有与所述各个合成图像对应地确定的预定图像质量；基于在相应的成像处理中生成的合成图像的图像质量来确定所述N次成像处理中的每次成像处理中的每次拍摄的最大曝光时间；根据相应的同步定时(50‑53)执行所述N次成像处理中的每次成像处理，N个同步定时具有规则的间隔；所述控制单元在所述N次成像处理中的每次成像处理中在所述相应的同步定时之前/之后相继地执行所述多次图像拍摄；所述控制单元执行所述多次图像拍摄中的一次拍摄，使得曝光在所述同步定时到来时完成，并且执行随后的另一次拍摄，使得曝光在所述同步定时到来时开始；并且基于所述最大曝光时间在所述成像处理中的每次成像处理中确定曝光定时，使得所述N次成像处理中的曝光时间不交叠。...

【技术特征摘要】
2016.10.03 JP 2016-1957231.一种使用成像元件(12)执行成像的成像装置(1)，包括：成像单元(10)，所述成像单元执行具有预定曝光时间的曝光，从而执行所述成像；控制单元(23)，所述控制单元相继地执行成像处理N次，从而执行多个成像处理，其中，N是整数并且是2或更大，在所述成像处理中的每个成像处理中由所述成像单元执行多次具有不同曝光时间的图像拍摄；以及合成单元(21)，所述合成单元通过使用基于通过所述多次图像拍摄获取的多个图像的高动态范围渲染来生成合成图像，所述合成图像具有扩展的动态范围并且针对N次成像处理中的每次成像处理生成，其中，针对所述N次成像处理中的每次成像处理生成的各个合成图像具有与所述各个合成图像对应地确定的预定图像质量；基于在相应的成像处理中生成的合成图像的图像质量来确定所述N次成像处理中的每次成像处理中的每次拍摄的最大曝光时间；根据相应的同步定时(50-53)执行所述N次成像处理中的每次成像处理，N个同步定时具有规则的间隔；所述控制单元在所述N次成像处理中的每次成像处理中在所述相应的同步定时之前/之后相继地执行所述多次图像拍摄；所述控制单元执行所述多次图像拍摄中的一次拍摄，使得曝光在所述同步定时到来时完成，并且执行随后的另一...

【专利技术属性】
技术研发人员：小林和彦，村尾俊和，西川雅人，
申请(专利权)人：株式会社电装，
类型：发明
国别省市：日本,JP