图像处理设备和图像处理方法技术

偏振图像处理单元30‑1的低灵敏度偏振特性模型计算单元31基于由低灵敏度成像单元21生成的多个偏振方向上的低灵敏度偏振图像来计算低灵敏度偏振特性模型。非饱和偏振图像提取单元32从由高灵敏度成像单元22生成的多个偏振方向上的高灵敏度偏振图像中提取在尚未发生饱和的偏振方向上的图像。高灵敏度分量获取单元33‑1根据高灵敏度偏振图像中尚未发生饱和的多个偏振方向上的图像，来计算高灵敏度偏振特性模型，该高灵敏度偏振特性模型具有与低灵敏度偏振特性模型相同的相位分量。此外，高灵敏度分量获取单元33‑1获取高灵敏度偏振特性模型的幅度作为拍摄对象的偏振分量，并且获取高灵敏度偏振特性模型的最小值作为拍摄对象的非偏振分量。可以从图像中以高灵敏度确定拍摄对象的偏振特性。

Image processing equipment and image processing methods

The low sensitivity polarization characteristic model calculation unit 31 of polarization image processing unit 30 1 calculates a low sensitivity polarization characteristic model based on a low sensitivity polarization image in a plurality of polarization directions generated by the low sensitivity imaging unit 21. The unsaturated polarization image extraction unit 32 extracts an image from a highly sensitive polarization image in a plurality of polarization directions generated by the high sensitivity imaging unit 22, which has not yet occurred in the direction of saturation polarization. The highly sensitive component acquisition unit 33 (1) calculates the high sensitivity polarization characteristic model based on the images in the multiple polarization direction of the highly sensitive polarization image, which has not yet been saturated. The high sensitivity polarization characteristic model has the same phase fraction as the low sensitivity polarization characteristic model. In addition, the high sensitivity component acquisition unit 33, 1 obtains the amplitude of the highly sensitive polarization characteristic model as the polarization component of the object, and obtains the minimum value of the high sensitivity polarization characteristic model as the non polarization component of the photographed object. The polarization characteristics of the object can be determined with high sensitivity from the image.

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备和图像处理方法
本技术涉及一种图像处理设备和图像处理方法，并且旨在从图像中以高灵敏度确定拍摄对象的偏振特性。
技术介绍
在现有技术中，偏振被用于分离反射分量等。在一个示例中，在专利文献1中，穿过偏振器单元(其中偏振器区域被分成多个偏振方向)的透射光的强度被拟合到作为偏振特性模型的余弦曲线，从而分离成非偏振分量和作为反射分量的偏振分量。引用列表专利文献专利文献1：JP4974543B
技术实现思路
技术问题同时，在将透射光的强度拟合到余弦曲线的情况下，如果来自拍摄对象的强反射光(例如，反射的日光)穿过上述偏振器单元并入射在图像传感器上，则从图像传感器输出的图像信号将是饱和信号，这是因为入射光较强。由于这个原因，难以将每个偏振分量的亮度与偏振特性模型进行拟合。另外，如果将入射光的量设置为受限制或者将曝光时间设置为缩短，以这样的方式使得从图像传感器输出的信号不饱和，则每个偏振分量的亮度降低，并且因此，偏振特性模型是低灵敏度偏振特性模型，这在一个示例中导致非偏振分量水平的降低。因此，由于包括图像传感器中的噪声、信号处理中的舍入误差等的影响，拍摄对象的非偏振分量的图像将是图像质量恶化的图像。鉴于此，本技术提供了一种图像处理设备和图像处理方法，其能够从图像中以高灵敏度确定拍摄对象的偏振特性。问题的解决方案本技术的第一方面是一种图像处理设备，包括：偏振图像处理单元，该偏振图像处理单元被配置为基于多个偏振方向上的低灵敏度偏振图像和具有比低灵敏度偏振图像更高灵敏度的高灵敏度图像，来确定高灵敏度图像的偏振特性，以基于高灵敏度图像的偏振特性来获取拍摄对象的非偏振分量或偏振分量。在本技术中，偏振图像处理单元基于多个偏振方向上的低灵敏度偏振图像和具有比低灵敏度偏振图像更高灵敏度的高灵敏度图像来确定高灵敏度图像的偏振特性。在一个示例中，偏振图像处理单元基于低灵敏度偏振图像来计算低灵敏度偏振特性模型，并且基于低灵敏度特性模型和高灵敏度偏振图像中尚未发生饱和的偏振方向的图像、或者基于低灵敏度偏振特性模型的平均值与高灵敏度偏振图像的亮度之间的比率以及低灵敏度偏振特性模型，来计算高灵敏度偏振特性模型。在基于低灵敏度特性模型和高灵敏度偏振图像中尚未发生饱和的偏振方向的图像来计算高灵敏度偏振特性模型的情况下，偏振图像处理单元基于低灵敏度偏振特性模型的相位信息和高灵敏度偏振图像中尚未发生饱和的多个偏振方向上的图像，来根据高灵敏度偏振图像中尚未发生饱和的多个偏振方向上的亮度计算高灵敏度偏振特性模型，该高灵敏度偏振特性模型具有与指示偏振分量的亮度和偏振方向之间的关系的低灵敏度偏振特性模型相同的相位分量。替代地，偏振图像处理单元基于高灵敏度偏振图像中在尚未发生饱和的偏振方向上的亮度与低灵敏度偏振图像中在相同偏振方向上的亮度之间的关系、以使得低灵敏度偏振特性模型和高灵敏度偏振特性模型中的偏移的总和与幅度之间的比率等于高灵敏度偏振图像和低灵敏度偏振图像的相关联亮度值之间的比率的方式，来计算高灵敏度偏振特性模型，该高灵敏度偏振特性模型具有与指示偏振分量的亮度和偏振方向之间的关系的低灵敏度偏振特性模型相同的相位分量。另外，在多个偏振方向上的所有高灵敏度偏振图像都处于饱和状态的情况下，偏振图像处理单元基于高灵敏度偏振图像来计算高灵敏度偏振特性模型。在使用非偏振图像作为高灵敏度图像的情况下，偏振图像处理单元基于低灵敏度偏振特性模型的平均值与高灵敏度图像的亮度之间的比率，来根据低灵敏度偏振特性模型计算高灵敏度偏振特性模型。在一个示例中，偏振图像处理单元基于高灵敏度偏振特性模型，来获取高灵敏度偏振特性模型的幅度作为拍摄对象的偏振分量，并且获取高灵敏度偏振特性模型的最小值作为拍摄对象的非偏振分量。偏振图像处理单元在多个偏振方向上的所有高灵敏度偏振图像都处于饱和状态的情况下，基于低灵敏度偏振特性模型来获取拍摄对象的非偏振分量或偏振分量。此外，图像处理设备设置有成像控制单元，该成像控制单元用于通过改变成像单元的曝光时间来生成低灵敏度偏振图像和高灵敏度图像。在一个示例中，成像控制单元以下述这样的方式来控制曝光时间：低灵敏度偏振图像中的偏振方向在三个或更多个方向上处于非饱和状态，并且高灵敏度图像中的偏振方向在一个或多个方向上处于非饱和状态。此外，图像处理设备设置有成像单元，该成像单元被配置为生成低灵敏度偏振图像和高灵敏度图像。成像单元以像素为单位设置偏振方向，并且生成包括多个偏振方向上的像素的低灵敏度偏振图像。另外，成像单元具有用于通过改变曝光时间来生成低灵敏度偏振图像和高灵敏度图像的配置、包括被配置为生成低灵敏度偏振图像的低灵敏度成像单元和被配置为通过限制入射光量大于由低灵敏度成像单元限制的入射光量来生成高灵敏度图像的高灵敏度成像单元的配置、或者包括被配置为生成低灵敏度偏振图像的低灵敏度像素和被配置为通过限制入射光量大于由低灵敏度像素限制的入射光量来生成高灵敏度图像的高灵敏度像素的配置。本技术的第二方面是一种图像处理方法，包括：基于多个偏振方向上的低灵敏度偏振图像和具有比低灵敏度偏振图像更高灵敏度的高灵敏度图像，来确定高灵敏度图像的偏振特性；以及基于高灵敏度图像的偏振特性来获取拍摄对象的非偏振分量或偏振分量。本专利技术的有益效果根据本技术，基于多个偏振方向上的低灵敏度偏振图像和具有比低灵敏度偏振图像更高灵敏度的高灵敏度图像来确定高灵敏度图像的偏振特性，并且基于高灵敏度图像的偏振特性来获取拍摄对象的非偏振分量或偏振分量。因此，可以从图像中以高灵敏度确定拍摄对象的偏振特性，由此获取高灵敏度非偏振分量或偏振分量。而且，这里描述的效果仅仅是说明性的而非限制性的，或者可以具有其他有益效果。附图说明[图1]示出第一实施例的配置的图。[图2]示出成像单元的配置的图。[图3]示出针对目标像素中的每个偏振方向的亮度的图。[图4]示出偏振特性模型的图。[图5]示出第一实施例的操作的流程图。[图6]示出各个偏振方向上的所有亮度值都处于饱和状态或非饱和状态的情况的图。[图7]示出第一实施例的另一操作的流程图。[图8]示出第二实施例的配置的图。[图9]示出偏振特性模型的图。[图10]示出第二实施例的操作的流程图。[图11]表示第三实施例的配置的图。[图12]示出针对目标像素中的每个偏振方向的亮度的图。[图13]示出偏振特性模型的图。[图14]示出第三实施例的操作的流程图。[图15]示出了设置有成像控制单元的情况下的配置。[图16]示出通过调整曝光时间来获取低灵敏度偏振图像和高灵敏度偏振图像(或高灵敏度非偏振图像)的情况下的操作的图。[图17]示出通过切换曝光时间来交替地生成低灵敏度偏振图像和高灵敏度偏振图像的情况下的操作的图。[图18]示出同时生成低灵敏度偏振图像和高灵敏度偏振图像的成像单元的配置的图。[图19]示出色彩马赛克滤光器和偏振图案的图。[图20]示出使用图像处理设备的车辆控制系统的示意配置的框图。[图21]示出成像单元的安装示例的图。具体实施方式下面将描述用于执行本技术的模式。此外，将按下面的顺序给出描述。1.第一实施例2.第二实施例3.第三实施例4.其他实施例5.应用示例<1.第一实施例>图1示出了本技术的第一实施例的配置。图像处理设备1本文档来自技高网...

【技术保护点】
1.一种图像处理设备，包括：偏振图像处理单元，所述偏振图像处理单元被配置为基于多个偏振方向上的低灵敏度偏振图像和具有比所述低灵敏度偏振图像更高灵敏度的高灵敏度图像来确定所述高灵敏度图像的偏振特性，以基于所述高灵敏度图像的偏振特性来获取拍摄对象的非偏振分量或偏振分量。

【技术特征摘要】
【国外来华专利技术】2015.11.19 JP 2015-2267411.一种图像处理设备，包括：偏振图像处理单元，所述偏振图像处理单元被配置为基于多个偏振方向上的低灵敏度偏振图像和具有比所述低灵敏度偏振图像更高灵敏度的高灵敏度图像来确定所述高灵敏度图像的偏振特性，以基于所述高灵敏度图像的偏振特性来获取拍摄对象的非偏振分量或偏振分量。2.根据权利要求1所述的图像处理设备，其中，所述偏振图像处理单元基于所述低灵敏度偏振图像来计算低灵敏度偏振特性模型，基于所述低灵敏度偏振特性模型和所述高灵敏度图像来计算指示所述高灵敏度图像的偏振特性的高灵敏度偏振特性模型，并且基于所述高灵敏度偏振特性模型来获取所述拍摄对象的所述非偏振分量或所述偏振分量。3.根据权利要求2所述的图像处理设备，其中，所述高灵敏度图像是偏振图像，以及，所述偏振图像处理单元基于所述低灵敏度偏振特性模型和所述高灵敏度偏振图像中尚未发生饱和的偏振方向上的图像来计算所述高灵敏度偏振特性模型。4.根据权利要求3所述的图像处理设备，其中，所述偏振图像处理单元根据所述低灵敏度偏振特性模型的相位信息和所述高灵敏度偏振图像中尚未发生饱和的多个偏振方向上的图像来计算所述高灵敏度偏振特性模型。5.根据权利要求4所述的图像处理设备，其中，所述偏振图像处理单元根据所述高灵敏度偏振图像中尚未发生饱和的多个偏振方向上的亮度来计算所述高灵敏度偏振特性模型，所述高灵敏度偏振特性模型具有与指示偏振分量的亮度和偏振方向之间的关系的所述低灵敏度偏振特性模型相同的相位分量。6.根据权利要求3所述的图像处理设备，其中，所述偏振图像处理单元基于所述高灵敏度偏振图像中在尚未发生饱和的偏振方向上的亮度与所述低灵敏度偏振图像中在相同偏振方向上的亮度之间的关系，根据所述低灵敏度偏振特性模型来计算所述高灵敏度偏振特性模型。7.根据权利要求6所述的图像处理设备，其中，所述偏振图像处理单元以使得所述低灵敏度偏振特性模型和所述高灵敏度偏振特性模型中的偏移的总和与幅度之间的比率等于所述高灵敏度偏振图像和所述低灵敏度偏振图像的相关联亮度值之间的比率的方式，来计算所述高灵敏度偏振特性模型，所述高灵敏度偏振特性模型具有与指示偏振分量的亮度和偏振方向之间的关系的所述低灵敏度偏振特性模型相同的相位分量。8.根据权利要求3所述的图像处理设备，其中，所述偏振图像处理单元在所述多个偏振方向上的所有高灵敏度偏振图像都处于饱和状态的情况下，基于所述低灵敏度偏振特性模型来获取所述拍摄对象的所述非偏振分量或所述偏振分量...

【专利技术属性】
技术研发人员：小柳津秀纪，平泽康孝，近藤雄飞，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP