图像处理方法和传感器装置制造方法及图纸

多个成像元件一维或二维地布置，并且成像元件中的一些成像元件被配置为滤色器布置在入射光路中的滤色器布置像素，并且对通过使用阵列传感器成像而获取的图像执行物体检测，其中由滤色器布置像素形成颜色信息获取点。然后，通过参考在与检测的物体的像素范围的内部相对应的颜色信息获取点处所获取的颜色信息，来进行检测的物体的像素范围中的着色处理。来进行检测的物体的像素范围中的着色处理。来进行检测的物体的像素范围中的着色处理。

【技术实现步骤摘要】
【国外来华专利技术】图像处理方法和传感器装置


[0001]本技术涉及图像处理方法和传感器装置，并且更具体地，涉及用于对使用阵列传感器获取的图像信号进行着色处理的技术。

技术介绍

[0002]在布置成像元件的图像传感器中，可形成所谓的拜耳(Bayer)阵列，其中，绿色滤色器的数量是红色滤色器的数量和蓝色滤色器的数量的两倍，并且交替布置R(红色)
‑
G(绿色)滤色器对准的行和G(绿色)
‑
B(蓝色)滤色器对准的行。
[0003]下面描述的PTL1公开了使用包括与拜耳阵列(黄色、青色等)的颜色不同的颜色的阵列的滤色器阵列。
[0004][引用列表][0005][专利文献][0006][专利文献1][0007]JP 2019
‑
122045 A。

技术实现思路

[0008][技术问题][0009]在图像传感器领域中，存在对实现高灵敏度和高分辨率的请求。
[0010]首先，鉴于实现高灵敏度，需要增加入射在成像元件上的光子数量，并且因此，可以考虑增大像素(成像元件)的尺寸或者降低入射光子损耗。
[0011]当聚焦于入射光子数量的损耗时，主要因素是使用滤色器的吸收。在滤色器中，出现约66％的损耗。然而，不使用任何滤色器的色彩分离三板系统等在成本方面被认为是不合理的，并且使用滤色器的系统在成本方面具有优越性并且具有相对良好的颜色再现性，并且因此被广泛使用，因此，存在不能避免由于滤色器引起的入射光子数量的损耗的许多情况。因此，例如，在灵敏度提高的方面，难以根据像素尺寸的增加而增加入射光子的数量的小尺寸图像传感器是不利的。
[0012]此外，在使用拜耳阵列的滤色器的情况下，分辨率变成实际数目像素的分辨率的1/4，并且因此在实现高分辨率方面是不利的。此外，根据对彩色莫尔纹和伪色的低通滤波器处理，可以降低分辨率。
[0013]考虑到这些情况，本公开提出了能够实现高灵敏度和高分辨率的实现方式的技术。
[0014][问题的解决方案][0015]根据本技术，提供了一种图像处理方法，包括：对通过使用阵列传感器成像而获取的图像执行物体检测，在所述阵列传感器中，一维或二维地布置有多个成像元件，所述成像元件中的一些被配置为滤色器布置在入射光路中的滤色器布置像素，并且由所述滤色器布置像素形成颜色信息获取点；以及通过参照在与检测的物体的像素范围的内部相对应的颜
色信息获取点处所获取的颜色信息，在检测的物体的像素范围内进行着色处理。
[0016]阵列传感器是执行成像的图像传感器，其中，滤色器被布置在一些像素中，并且在其他像素中没有布置滤色器。由此，仅从其他像素获取亮度信息，并且通过对其进行着色处理，生成彩色图像。在这种情况下，在进行物体检测的同时，根据布置滤色器的像素的颜色信息获取点的信息，用于使物体的像素范围着色。
[0017]在上述根据本技术的图像处理方法中，在着色处理中，可以考虑通过使用基于学习数据的颜色估计处理在检测的物体中设置候选颜色并且基于从颜色信息获取点获取的颜色信息选择候选颜色，来对检测的物体的像素范围进行着色。
[0018]换句话说，在着色处理中，首先，在图像内部执行物体的检测，并且根据物体的类别(类型)设置候选颜色。通过使用在候选颜色中的颜色信息获取点处获取的颜色信息，选择接近实际颜色的候选颜色。
[0019]根据本技术，提供了一种传感器装置，包括：阵列传感器，其中，一维或二维地布置有多个成像元件，一些成像元件被配置为滤色器布置在入射光路中的滤色器布置像素，并且颜色信息获取点由滤色器布置像素形成；以及运算单元，对通过使用阵列传感器成像而获取的图像执行物体检测，并且通过参照在与检测的物体的像素范围的内部对应的颜色信息获取点处获取的颜色信息，在检测的物体的像素范围内执行着色处理。
[0020]运算单元对由阵列传感器捕获的图像(图像信号)执行处理，阵列传感器具有由布置滤色器的像素形成的颜色信息获取点。在这种情况下，在进行物体检测的同时，根据布置滤色器的像素的颜色信息获取点的信息，用于使物体的像素范围着色。
[0021]在根据上述技术的传感器装置中，可考虑运算单元，通过使用基于学习数据的颜色估计处理设置检测的物体中的候选颜色并且基于从颜色信息获取点获取的颜色信息选择候选颜色，来执行检测的物体的像素范围的着色处理。
[0022]运算单元执行阵列传感器获取的图像内的物体的检测并且根据物体的类别(类型)设置候选颜色。通过使用在候选颜色中的颜色信息获取点处获取的颜色信息，选择接近实际颜色的候选颜色。
[0023]在根据上述技术的传感器装置中，可考虑运算单元基于根据从颜色信息获取点获取的颜色信息选择的候选颜色生成颜色层并且通过组合颜色层和从阵列传感器获取的亮度信息图像生成彩色图像。
[0024]换言之，在着色处理中，通过组合颜色层和亮度信息图像来生成彩色图像。
[0025]在根据上述技术的传感器装置中，可考虑运算单元对从阵列传感器获取的亮度信息图像执行与颜色信息获取点对应的像素的亮度校正，并且组合亮度信息图像和颜色层。
[0026]在亮度信息图像中，设置为颜色信息获取点的像素是布置滤色器的像素，并且因此具有比其他像素更低的灵敏度。因此，执行亮度校正。
[0027]在根据上述技术的传感器装置中，不形成颜色信息获取点的像素的总面积可被认为被配置为超过阵列传感器上所有有效像素的总面积的25％。
[0028]在阵列传感器中，构成颜色信息获取点的布置有滤色器的像素(在下文中也称为“颜色像素”)和不设置滤色器的像素(在下文中称为“透明像素”)被提供，并且透明像素的总面积超过所有整个有效像素的25％。
[0029]在根据上述技术的传感器装置中，可以考虑颜色信息获取点离散地布置在阵列传
感器中。
[0030]颜色信息获取点的一个单元由一个或多个彩色像素构成。一个单元的这些颜色信息获取点离散地布置在一维或二维布置的像素中。
[0031]在根据上述技术的传感器装置中，可以考虑颜色信息获取点在阵列传感器中以恒定间隔布置。
[0032]一个单元的颜色信息获取点以恒定间隔布置在一维或二维布置的像素中。
[0033]在根据上述技术的传感器装置中，可以考虑颜色信息获取点在阵列传感器中以非恒定间隔布置。
[0034]一个单元的颜色信息获取点可以随机布置、居中布置、或以分散方式布置、或以线的形式布置，而不以恒定间隔布置在一维或二维布置的像素中。
[0035]在根据上述技术的传感器装置中，可以考虑使用多个相邻像素配置颜色信息获取点的一个单元。
[0036]例如，使用在阵列传感器的垂直方向、水平方向或对角线方向上彼此相邻的两个以上像素来配置一个单元的颜色信息获取点。
[0037]在根据上述技术的传感器装置中，可以考虑使用多个相邻像素配置颜色信息获取点的一个单元并且包括R像素、G像素和B像素。
[0038]例如，使用在阵列传感器本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理方法，包括：对通过使用阵列传感器成像而获取的图像执行物体检测，在所述阵列传感器中，一维或二维地布置多个成像元件，所述成像元件中的一些成像元件被配置为滤色器布置在入射光路中的滤色器布置像素，并且由所述滤色器布置像素形成颜色信息获取点；以及通过参考在与检测的物体的像素范围的内部相对应的所述颜色信息获取点处获取的颜色信息，在所述检测的物体的所述像素范围中进行着色处理。2.根据权利要求1所述的图像处理方法，其中，在所述着色处理中，通过使用基于学习数据的颜色估计处理在所述检测的物体中设置候选颜色并且基于从所述颜色信息获取点获取的所述颜色信息选择候选颜色，来进行所述检测的物体的所述像素范围的着色。3.一种传感器装置，包括：阵列传感器，在所述阵列传感器中，一维地或二维地布置多个成像元件，所述成像元件中的一些成像元件被配置为滤色器布置在入射光路中的滤色器布置像素，并且由所述滤色器布置像素形成颜色信息获取点；以及运算单元，对通过使用所述阵列传感器成像而获取的图像执行物体检测，并且通过参考在与检测的物体的像素范围的内部对应的所述颜色信息获取点处获取的颜色信息在所述检测的物体的所述像素范围内执行着色处理。4.根据权利要求3所述的传感器装置，其中，所述运算单元通过使用基于学习数据的颜色估计处理在所述检测的物体中设置候选颜色并且基于从所述颜色信息获取点获取的所述颜色信息选择候选颜色，来执行所述检测的物体的所述像素范围的所述着色处理。5.根据权利要求4所述的传感器装置，其中，所述运算单元基于根据从所述颜色信息获取点获取的所述颜色信息选择的所述候选颜色生成颜色层，并且通过将所述颜色层与从所述阵列传感器获取的亮度信息图像结合来生成彩色图像。6.根据权利要求5所述的传感器装置，其中，所述运算单元对从所述阵列传感器获取的所述亮度信息图像执行与所述颜色信息获取...

【专利技术属性】
技术研发人员：高塚进，铁川弘树，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：