图像处理设备和方法、摄像系统、移动体及存储介质技术方案

本发明专利技术提供图像处理设备和方法、摄像系统、移动体及存储介质。图像处理设备包括：获取单元，其被构造为获取基于可见光而拍摄的第一图像数据和基于红外光而拍摄的第二图像数据；合成系数计算单元，其被构造为基于所述第二图像数据和第三图像数据来计算合成系数，所述第三图像数据包括从第一图像数据提取的辉度信息；以及合成单元，其被构造为通过使用所述合成系数对所述第二图像数据和所述辉度信息进行加权相加来计算第四图像数据。行加权相加来计算第四图像数据。行加权相加来计算第四图像数据。

【技术实现步骤摘要】
图像处理设备和方法、摄像系统、移动体及存储介质


[0001]本公开涉及一种图像处理设备、摄像系统、移动体和程序。

技术介绍

[0002]日本特开第2011
‑
239259号公报公开了一种图像处理设备，其用于合成仅具有可见光范围内的波长分量的彩色图像数据和仅具有可见光范围以外的波长分量的单色图像数据。日本特开第2011
‑
239259号公报中公开的图像处理设备从彩色图像数据中提取颜色信息，从单色图像数据中提取辉度信息，并通过对颜色信息和辉度信息进行合成来生成合成图像数据。因此，配设有日本特开第2011
‑
239259号公报中公开的图像处理设备的相机，即使在可能发生由于雾、霾等造成的光散射的拍摄条件下也可以清楚地拍摄感兴趣的被摄体，可以应对低照度的拍摄条件，并可以拍摄彩色图像。
[0003]在日本特开第2011
‑
239259号公报公开的图像处理设备中，由于合成了由不同波长的光拍摄的图像数据，因此根据被摄体的光学特性可能产生不自然的图像。

技术实现思路

[0004]因此，本公开旨在提供一种图像处理设备、摄像系统、移动体、图像处理方法和程序，其可以生成更自然的合成图像。
[0005]根据本公开的一方面，提供了一种图像处理设备，其包括：获取单元，其被构造为获取基于可见光拍摄的第一图像数据和基于红外光拍摄的第二图像数据；合成系数计算单元，其被构造为基于所述第二图像数据和第三图像数据计算合成系数，所述第三图像数据包括从第一图像数据提取的辉度信息；以及合成单元，其被构造为通过使用所述合成系数对所述第二图像数据和所述辉度信息进行加权相加来计算第四图像数据。
[0006]根据本公开的另一方面，提供了一种图像处理方法，该方法包括：获取基于可见光而拍摄的第一图像数据和基于红外光而拍摄的第二图像数据；基于第二图像数据和第三图像数据计算合成系数，所述第三图像数据包括从所述第一图像数据提取的辉度信息；以及通过使用所述合成系数对所述第二图像数据和所述辉度信息进行加权相加来计算第四图像数据。
[0007]根据本公开的又一方面，提供了一种使计算机执行图像处理方法的程序，所述图像处理方法包括：获取基于可见光而拍摄的第一图像数据和基于红外光而拍摄的第二图像数据；基于所述第二图像数据和第三图像数据计算合成系数，所述第三图像数据包括从所述第一图像数据提取的辉度信息；以及通过使用所述合成系数对所述第二图像数据和所述辉度信息进行加权相加来计算第四图像数据。
[0008]通过以下参照附图对示例性实施例的描述，本专利技术的其他特征将变得清楚。
附图说明
[0009]图1是示出根据第一实施例的摄像系统的示意性构造的框图。
[0010]图2是示出根据第一实施例的摄像设备的示意性构造的框图。
[0011]图3是根据第一实施例的像素的电路图。
[0012]图4是示出根据第一实施例的滤色器(color filter)的布置的示意图。
[0013]图5是示出根据第一实施例的信号处理单元的示意性构造的功能框图。
[0014]图6是示出在根据第一实施例的摄像系统中进行的图像合成处理的概述的流程图。
[0015]图7A、图7B、图7C和图7D是示出根据第一实施例的彩色图像数据和红外图像数据的示意图。
[0016]图8A、图8B和图8C是示出根据第一实施例的HSV数据的示意图。
[0017]图9A和图9B是示出根据第二实施例的摄像系统和移动体的构造示例的图。
具体实施方式
[0018]现在将根据附图详细描述本专利技术的优选实施例。附图中相同的部件或相应的部件采用相同的附图标记标明，其描述可以省略或简化。
[0019]第一实施例
[0020]在本实施例中，将描述应用本公开的图像处理设备和图像处理方法的摄像系统的示例。
[0021]图1是示出根据本实施例的摄像系统500的示意性构造的框图。根据本实施例的摄像系统500不限于但可以应用于数字静态相机、数字摄像机、摄像头、复印机、传真机、移动电话、车载相机、观测卫星等。
[0022]图1中示出的摄像系统500包括摄像设备1、信号处理单元2、镜头502、光圈504、屏障506、定时生成单元520、总控制/操作单元518、存储器单元510、存储介质控制I/F单元516和外部I/F单元512。
[0023]镜头502将被摄体的光学图像拍摄到摄像设备1的摄像区域上。光圈504改变通过镜头502的光量。屏障506保护镜头502。摄像设备1基于由镜头502拍摄的光学图像将信号输出到信号处理单元2。摄像设备1例如是互补金属氧化物半导体(CMOS)图像传感器。
[0024]信号处理单元2对从摄像设备1输出的信号进行所需的处理，诸如图像合成、校正、数据压缩。信号处理单元2例如是数字信号处理电路，该数字信号处理电路包括用于进行信号处理的算术处理的处理器、用于在算术处理期间临时存储数据的存储器等。
[0025]信号处理单元2可以安装在与摄像设备1相同的基板上，或者可以安装在另一基板上。此外，信号处理单元2的一部分功能可以安装在与摄像设备1相同的基板上，而信号处理单元2的另一部分功能可以安装在另一基板上。摄像设备1可以输出数字信号或输出模拟信号。在摄像设备1输出模拟信号的情况下，信号处理单元2可以进一步包括AD转换器。在下面的描述中，假定摄像设备1包括AD转换器并将数字信号输出到信号处理单元2。
[0026]定时生成单元520将各种定时信号输出到摄像设备1和信号处理单元2。总控制/操作单元518是控制整个摄像系统500的驱动和算术处理的控制单元。在此，诸如定时信号的控制信号可以从摄像系统500的外部输入，并且摄像系统500可以至少包括摄像设备1和信号处理单元2，该信号处理单元2用于处理从摄像设备1输出的信号。
[0027]存储器单元510是用于临时存储图像数据的帧存储器单元。存储介质控制I/F单元
516是用于在存储介质514上记录图像数据或从存储介质514读取图像数据的接口单元。外部I/F单元512是用于与外部计算机等进行通信的接口单元。存储介质514是可移动存储介质，诸如用于记录或读取图像数据的半导体存储器。
[0028]图2是示出根据本实施例的摄像设备1的示意性构造的框图。摄像设备1包括像素阵列20、垂直扫描电路30、列放大器电路40、水平扫描电路50、控制电路60和输出电路70。这些电路可以形成在一个或多个半导体基板上。像素阵列20包括布置成多行和多列的多个像素10。垂直扫描电路30是这样的扫描电路：其经由在像素10的各行中配设的控制信号线6，来提供用于控制包括在像素10中的晶体管的导通(导通状态)或截止(非导通状态)的控制信号。垂直扫描电路30可以包括移位寄存器或地址解码器。由于提供给各像素10的控制信号可以包括多种类型的控制信号，所以各行的控制信号线6可以被构造为多个驱动布线的集合。像素1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理设备，所述图像处理设备包括：获取单元，其被构造为获取基于可见光而拍摄的第一图像数据和基于红外光而拍摄的第二图像数据；合成系数计算单元，其被构造为基于所述第二图像数据和第三图像数据来计算合成系数，所述第三图像数据包括从所述第一图像数据提取的辉度信息；以及合成单元，其被构造为通过使用所述合成系数对所述第二图像数据和所述辉度信息进行加权相加来计算第四图像数据。2.根据权利要求1所述的图像处理设备，其中，所述合成系数计算单元通过从基于所述第二图像数据的值中减去基于所述辉度信息的值来计算所述合成系数。3.根据权利要求2所述的图像处理设备，其中，所述合成系数计算单元进行将所述合成系数转换为预定范围内的值的归一化。4.根据权利要求2或3所述的图像处理设备，其中，所述合成系数计算单元在调整所述第二图像数据与所述辉度信息之间的对比度差异之后进行所述合成系数的计算。5.根据权利要求1至3中任一项所述的图像处理设备，所述图像处理设备还包括：第一转换单元，其被构造为通过从所述第一图像数据中提取所述辉度信息和颜色信息来生成所述第三图像数据；以及第二转换单元，其被构造为通过向所述第四图像数据添加所述颜色信息来生成第五图像数据。6.根据权利要求1至3中任一项所述的图像处理设备，其中，所述合成单元基于以下等式来进行所述第四图像数据的计算：V
’
(x,y)＝IR(x,y)
·
(1
‑
map(x,y))+V(x,y)
·
map(x,y)其中，(x,y)表示像素的坐标，V(x,y)表示辉度信息的值，IR(x,y)表示第二图像数据的值，map(x,y)表示合成系数，并...

【专利技术属性】
技术研发人员：彦坂慎吾，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：