一种图像传感器、图像处理系统、图像处理方法及装置制造方法及图纸

本申请提供一种图像传感器、图像处理系统、图像处理方法及装置，该图像传感器包括像素阵列，所述像素阵列包括第一颜色像素、第二颜色像素、第三颜色像素、白光像素和全透光像素；在可见光波长范围[T1，T2]内，白光像素的光谱响应曲线的积分值均大于第一颜色像素的光谱响应曲线的积分值、第二颜色像素的光谱响应曲线的积分值，以及，第三颜色像素的光谱响应曲线的积分值；白光像素对近红外波长范围[T3，T4]内的光信号截止；全透光像素对近红外波长范围[T3，T4]内的光信号有响应。该图像传感器可以实现像素级别的近红外光感应控制，提升提照度环境下的图像效果。照度环境下的图像效果。照度环境下的图像效果。

【技术实现步骤摘要】
一种图像传感器、图像处理系统、图像处理方法及装置


[0001]本申请涉及图像传感器设计领域，尤其涉及一种图像传感器、图像处理系统、图像处理方法及装置。

技术介绍

[0002]传统的RGBIR传感器在RGB通道感应一部分红外分量，且红外分量较大。在部分存在红外光能量较多的场景中，去除可见光通道的红外分量后，色彩信息会有一定程度的丢失。并且，RGB通道与红外通道的曝光参数相同，较难兼顾两路信息均达到曝光合适。

技术实现思路

[0003]有鉴于此，本申请提供一种图像传感器、图像处理系统、图像处理方法及装置。
[0004]具体地，本申请是通过如下技术方案实现的：
[0005]根据本申请实施例的第一方面，提供一种图像传感器，包括像素阵列，所述像素阵列包括第一颜色像素、第二颜色像素、第三颜色像素、白光像素和全透光像素；
[0006]在可见光波长范围[T1，T2]内，白光像素的光谱响应曲线的积分值均大于第一颜色像素的光谱响应曲线的积分值、第二颜色像素的光谱响应曲线的积分值，以及，第三颜色像素的光谱响应曲线的积分值；
[0007]白光像素对近红外波长范围[T3，T4]内的光信号截止；
[0008]全透光像素对近红外波长范围[T3，T4]内的光信号有响应。
[0009]根据本申请实施例的第二方面，提供一种图像传感器，包括像素阵列，所述像素阵列包括第一颜色像素、第二颜色像素、第三颜色像素、白光像素和全透光像素；
[0010]在可见光波长范围[T1，T2]内，白光像素的光谱响应曲线的积分值均大于第一颜色像素的光谱响应曲线的积分值、第二颜色像素的光谱响应曲线的积分值，以及，第三颜色像素的光谱响应曲线的积分值；
[0011]在近红外波长范围[T3，T4]内，第一颜色像素的光谱响应曲线的积分值小于全透光像素的光谱响应曲线的积分值的N1倍，第二颜色像素的光谱响应曲线的积分值小于全透光像素的光谱响应曲线的积分值的N1倍，第三颜色像素的光谱响应曲线的积分值小于全透光像素的光谱响应曲线的积分值的N1倍，白光像素的光谱响应曲线的积分值小于全透光像素的光谱响应曲线的积分值的N1倍；N1≥10，全透光像素对近红外波长范围[T3，T4]内的光信号有响应。
[0012]根据本申请实施例的第三方面，提供一种图像处理系统，至少包括图像传感器单元、光学单元、图像处理单元、曝光控制单元、所述图像传感器单元第一方面或第二方面提供的图像传感器，其中，
[0013]所述光学单元，用于对入射光的部分波长区间光谱进行阻挡，输出入射所述图像传感器的目标光信号；
[0014]所述图像传感器单元，用于通过所述图像传感器的像素阵列中各像素对所述目标
光信号的感光转化为电信号，并经过所述图像传感器的读出电路后，输出图像信号；
[0015]所述曝光控制单元，用于输出曝光控制信号给所述图像传感器单元，以控制所述图像传感器单元的所述图像传感器的像素阵列中各像素的各个通道的曝光；
[0016]所述图像处理单元，用于对所述图像信号进行处理，得到输出图像。
[0017]根据本申请实施例的第四方面，提供一种图像处理方法，应用于第三方面提供的图像处理系统，所述方法包括：
[0018]获取图像传感器输出的图像信号；
[0019]对所述图像传感器输出的图像信号进行处理得到输出图像。
[0020]根据本申请实施例的第五方面，提供一种图像处理装置，部署于第三方面提供的图像处理系统，所述装置包括：获取单元以及处理单元；其中：
[0021]所述获取单元，用于获取图像传感器输出的图像信号；
[0022]所述处理单元，用于对图像传感器输出的图像信号进行处理得到输出图像。
[0023]本申请实施例的图像传感器，通过包括第一颜色像素、第二颜色像素、第三颜色像素、白光像素和全透光像素的像素阵列，实现了像素级别的近红外光感应控制，白光像素对近红外波长范围[T3，T4]内的光信号截止，全透光像素对近红外波长范围[T3，T4]内的光信号有响应，从而，在光照不足的低照度环境下，可以通过开启红外补光灯，利用全透光像素对近红外光信号的感应来提升图像信噪比和图像高频信息，利用白光像素的红外截止来提升色彩效果，此外，白光像素对可见光信号的感应强于颜色像素对可见光信号的感应，提升了低照度环境下的可见光进光量，从而，可以提高图像的信噪比，在红外信息和可见信息不匹配的位置处，通过更多利用白光像素的信息，提升可见光的处理效果。
附图说明
[0024]图1是本申请一示例性实施例示出的一种图像传感器的结构示意图；
[0025]图2是本申请一示例性实施例示出的一种像素阵列中不同像素的光谱响应曲线的示意图；
[0026]图3A是本申请一示例性实施例示出的一种RGBCW像素单元的像素排列示意图；
[0027]图3B是本申请又一示例性实施例示出的另一种RGBCW像素单元的像素排列示意图；
[0028]图4是本申请一示例性实施例示出的一种三路控制信号场景下的信号走线示意图；
[0029]图5是本申请一示例性实施例示出的一种曝光时序的示意图；
[0030]图6是本申请一示例性实施例示出的一种像素阵列中不同像素的光谱响应曲线的示意图；
[0031]图7是本申请一示例性实施例示出的一种图像处理系统的结构示意图；
[0032]图8是本申请又一示例性实施例示出的另一种图像处理系统的结构示意图；
[0033]图9是本申请又一示例性实施例示出的另一种图像处理系统的结构示意图；
[0034]图10是本申请一示例性实施例示出的一种图像处理方法的流程示意图；
[0035]图11是本申请一示例性实施例示出的一种图像传感器输出的图像信号采用卷积神经网络进行端到端处理的示意图；
[0036]图12是本申请一示例性实施例示出的一种图像传感器输出的图像信号采用卷积神经网络进行端到端处理并进行去红外处理的示意图；
[0037]图13是本申请一示例性实施例示出的一种图像处理装置的结构示意图；
[0038]图14是本申请一示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
[0039]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0040]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
[0041]为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像传感器，其特征在于，包括像素阵列，所述像素阵列包括第一颜色像素、第二颜色像素、第三颜色像素、白光像素和全透光像素；在可见光波长范围[T1，T2]内，白光像素的光谱响应曲线的积分值均大于第一颜色像素的光谱响应曲线的积分值、第二颜色像素的光谱响应曲线的积分值，以及，第三颜色像素的光谱响应曲线的积分值；白光像素对近红外波长范围[T3，T4]内的光信号截止；全透光像素对近红外波长范围[T3，T4]内的光信号有响应。2.根据权利要求1所述的图像传感器，其特征在于，对于可见光波长范围[T1，T2]内的任一波长，该波长对应的白光像素的光谱响应曲线的值均大于该波长对应的第一颜色像素的光谱响应曲线的值、该波长对应的第二颜色像素的光谱响应曲线的值，以及，该波长对应的第三颜色像素的光谱响应曲线的值。3.根据权利要求1所述的图像传感器，其特征在于，第一颜色像素对近红外波长范围[T3，T4]内的光信号截止，第二颜色像素对近红外波长范围[T3，T4]内的光信号截止，第三颜色像素对近红外波长范围[T3，T4]内的光信号截止。4.根据权利要求1所述的图像传感器，其特征在于，全透光像素在近红外波长范围[T3，T4]内的光谱响应曲线的最大值与白光像素在可见光波长范围[T1，T2]内的光谱响应曲线的最大值的比值大于第一阈值。5.根据权利要求1
‑
4任一项所述的图像传感器，其特征在于，所述第一波长范围T1≥380nm，T2＜700nm，所述第二波长范围T3≥700nm，T4＜1000nm。6.根据权利要求5所述的图像传感器，其特征在于，近红外波长范围[T3，T4]包括[700，750]nm或[830，870]nm。7.根据权利要求1
‑
4任一项所述的图像传感器，其特征在于，所述像素阵列包括多个4*4像素单元；所述4*4像素单元中，白光像素至少占3个像素、全透光像素至少占3个像素；第一颜色像素、第二颜色像素以及第三颜色像素之和至少占8个像素。8.根据权利要求7所述的图像传感器，其特征在于，所述4*4像素单元中，任一白光像素和任一全透光像素均不同行不同列，同一行的白光像素至少相隔一个像素，同一列的白光像素至少相隔一个像素，同一行的全透光像素至少相隔一个像素，同一列的全透光像素至少相隔一个像素；或，所述4*4像素单元中，第二颜色像素沿45
°
对角线排列，第一颜色像素分布在第二颜色像素的左上，第三颜色像素分布在第二颜色像素的右下；或，第二颜色像素分布在白光像素所在行的剩余位置，第一颜色像素和第三颜色像素中同一通道的两个像素之间斜向间隔一个像素。9.根据权利要求1
‑
4任一项所述的图像传感器，其特征在于，所述图像传感器还包括：曝光时间控制电路，所述曝光时间控制电路用于至少输出两路曝光时间控制信号，第一路曝光时间控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的曝光时间，第二路曝光时间控制信号用于控制全透光像素的曝光时间。10.根据权利要求9所述的图像传感器，其特征在于，所述曝光时间控制电路用于输出
三路曝光时间控制信号，第一路曝光时间控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的曝光时间，第二路曝光时间控制信号用于控制全透光像素的曝光时间，第三路曝光时间控制信号用于控制白光像素的曝光时间。11.根据权利要求10所述的图像传感器，其特征在于，第一路曝光时间控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的曝光结束时间，第二路曝光时间控制信号用于控制全透光像素的曝光结束时间，第三路曝光时间控制信号用于控制白光像素的曝光结束时间。12.根据权利要求1
‑
4任一项所述的图像传感器，其特征在于，所述图像传感器还包括：传感器增益控制电路，所述传感器增益控制电路用于至少输出两路增益控制信号，第一路增益控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的增益，第二路增益控制信号用于控制全透光像素的增益。13.根据权利要求12所述的图像传感器，其特征在于，所述传感器增益控制电路用于输出三路增益控制信号，第一路增益控制信号用于控制第一颜色像素、第二颜色像素以及第三颜色像素的增益，第二路增益控制信号用于控制全透光像素的增益，第三路增益控制信号用于控制白光像素的增益。14.一种图像传感器，其特征在于，包括像素阵列，所述像素阵列包括第一颜色像素、第二颜色像素、第三颜色像素、白光像素和全透光像素；在可见光波长范围[T1，T2]内，白光像素的光谱响应曲线的积分值均大于第一颜色像素的光谱响应曲线的积分值、第二颜色像素的光谱响应曲线的积分值，以及，第三颜色像素的光谱响应曲线的积分值；在近红外波长范围[T3，T4]内，第一颜色像素的光谱响应曲线的积分值小于全透光像素的光谱响应曲线的积分值的N1倍，第二颜色像素的光谱响应曲线的积分值小于全透光像素的光谱响应曲线的积分值的N1倍，第三颜色像素的光谱响应曲线的积分值小于全透光像素的光谱响应曲线的积分值的N1倍，白光像素的光谱响应曲线的积分值小于全透光像素的光谱响应曲线的积分值的N1倍；N1≥10，全透光像素对近红外波长范围[T3，T4]内的光信号有响应。15.根据权利要求14所述的图像传感器，其特征在于，在可见光波长范围[T1，T2]内，全透光像素的光谱响应曲线的积分值均小于第一颜色像素的光谱响应曲线的积分值、第二颜色像素的光谱响应曲线的积分值，以及，第三颜色像素的光谱响应曲线的积分值。16.根据权利要求14所述的图像传感器，其特征在于，对于可见光波长范围[T1，T2]内的任一波长，该波长对应的全透光像素的光谱响应曲线的值均小于该波长对应的第一颜色像素的光谱响应曲线的值的N2倍、该波长对应的第二颜色像素的光谱响应曲线的值的N2倍，以及，该波长对应的第三颜色像素的光谱响应曲线的值的N2倍；N2≥10。17.根据权利要求14所述的图像传感器，其特征在于，全透光像素在近红外波长范围[T3，T4]内的光谱响应曲线的最大值与白光像素在可见光波长范围[T1，T2]内的光谱响应曲线的最大值的比值大于第二阈值，第二阈值大于或等于0.3。18.根据权利要求14
‑
17任一项所述的图像传感器，其特征在于，所述第一波长范围T1≥380nm，T2＜700nm，所述第二波长范围T3≥700nm，T4＜1000nm。19.根据权利要求18所述的图像传感器，其特征在于，近红外波长范围[T3，T4]包括
[700，750]nm或[830，870]nm。20.根据权利要求14
‑
17任一项所述的图像传感器，其特征在于，所述像素阵列包括多个4*4像素单元；所述4*4像素单元中，白光像素至少占3个像素、全透光像素至少占3个像素；第一颜色像素、第二颜色像素以及第三颜色像素之和至少占8个像素。21.根据权利要求20所述的图像传感器，其特征在于，所述4*4像素单元中，任一白光像素和任一全透光像素均不同行不同列，同一行的白光像素至少相隔一个像素，同一列的白光像素至少相隔一个像素，同一行的全透光像素至少相隔一个像素，同一列的全透光像素至少相隔一个像素；或，所述4*4像素单元中，第二颜色像素沿45
°
对角线排列，第一颜色像素分布在第二颜色像素的左上，第三颜色像素分布在第二颜色像素的右下；或，第二颜色像素分布在白光像素所在行的剩余位置，第一颜色像素和第三颜色像素中同一通道的两个像素之间斜向间隔一个像素。22.根据权利要求14
‑
17任一项所述的图像传感器，其特征在于，所述图像传感器还包括：曝光时间控制电路，所述曝光时间控制电路用于至少输出两路曝光时间控制信号，第...

【专利技术属性】
技术研发人员：叶鹏钊，蔡晓望，黄芳，李梦阳，范蒙，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：