图像传感器、图像处理方法及装置、成像模组、存储介质制造方法及图纸

本申请实施例公开了一种图像传感器、图像处理方法及装置、成像模组、存储介质，能够降低图像传感器曝光的复杂度。该图像传感器包括微透镜阵列、滤光片阵列以及像素阵列，滤光片阵列由至少一个滤光片单元构成，至少一个滤光片单元中的每个滤光片单元对应像素阵列中的n个像素单元，n个像素单元的面积不同，n个像素单元与微透镜阵列中的n个微透镜一一对应，n个微透镜为独立微透镜，其中，n为大于等于2的正整数。

【技术实现步骤摘要】
图像传感器、图像处理方法及装置、成像模组、存储介质
本申请涉及图像传感器成像领域，尤其涉及一种图像传感器、图像处理方法及装置、成像模组、存储介质。
技术介绍
目前，对于不同曝光状态下图像的合成处理，如合成高动态范围图像(HDR，High-DynamicRange)图像，常用的方式是在图像传感器中隔行交替使用一行长曝光、一行中曝光、一行短曝光的方式来得到三种曝光状态的图像，再融合三种曝光状态的图像得到HDR图像；或者是将图像传感器的像素阵列划分为四合一的像素结构，通过分别控制四合一像素结构中的每个像素的曝光时间，对四合一像素分别进行长曝光、中曝光、短曝光处理，得到长、中、短三种曝光状态的图像，然后融合三种曝光状态的图像得到HDR图像。上述两种方案需要通过对不同行像素控制不同的曝光时间，或是对同一像素中的不同位置控制不同的曝光时间，对于图像传感器的曝光控制要求较高，并且需要配合控制逻辑来对控制电路进行特殊设计，从而增加了图像传感器曝光的复杂度。
技术实现思路
本申请实施例期望提供一种图像传感器、图像处理方法及装置、成像模组、存储介质，能够降低图像传感器曝光的复杂度。本申请的技术方案是这样实现的：本申请实施例提供一种图像传感器，所述图像传感器包括微透镜阵列、滤光片阵列以及像素阵列，所述滤光片阵列由至少一个滤光片单元构成，所述至少一个滤光片单元中的每个滤光片单元对应所述像素阵列中的n个像素单元，所述n个像素单元的面积不同，所述n个像素单元与所述微透镜阵列中的n个微透镜一一对应，所述n个微透镜为独立微透镜，其中，n为大于等于2的正整数。本申请实施例提供一种图像处理方法，应用于图像处理装置，所述图像处理装置包括如上述所述的图像传感器，所述方法包括：在使用所述图像传感器成像时，基于n个像素单元的不同面积生成不同曝光状态的至少两类像素；根据所述至少两类像素，生成至少两种曝光效果的图像；将所述至少两种曝光效果的图像进行融合，实现不同曝光状态的图像处理，得到合成图像。本申请实施例提供一种成像模组，包括：上述所述的图像传感器、镜头模组以及图像处理芯片，其中，所述镜头模组，用于采集外部光信号传递给所述图像传感器；所述图像传感器用于将所述外部光信号转换为电信号；所述图像处理芯片，用于根据上述所述的图像处理方法，对所述电信号进行成像处理，得到图像处理效果。本申请实施例提供一种图像处理装置，包括像素生成单元、图像生成单元和融合单元，其中，所述像素生成单元，用于在使用所述图像传感器成像时，基于n个像素单元的不同面积生成不同曝光状态的至少两类像素；所述图像生成单元，用于根据所述至少两类像素，生成至少两种曝光效果的图像；所述融合单元，用于将所述至少两种曝光效果的图像进行融合，实现不同曝光状态的图像处理，得到合成图像。本申请实施例提供一种图像处理装置，包括：其特征在于，包括：如上述所述的成像模组、处理器、存储器以及通信总线，所述成像模组通过所述通信总线与所述处理器进行通信，所述存储器通过所述通信总线与所述处理器进行通信，所述存储器存储所述处理器可执行的一个或者多个程序，当所述一个或者多个程序被执行时，所述处理器执行如上述所述的图像处理方法。本申请实施例提供一种存储介质，其存储有一个或者多个计算机程序，所述一个或者多个计算机程序可被一个或者多个处理器执行，以实现如上述任一项所述的图像处理方法。本申请实施例提供了一种图像传感器、图像处理方法及装置、成像模组、存储介质，该图像传感器包括图像传感器包括微透镜阵列、滤光片阵列以及像素阵列，滤光片阵列由至少一个滤光片单元构成，至少一个滤光片单元中的每个滤光片单元对应像素阵列中的n个像素单元，n个像素单元的面积不同，n个像素单元与微透镜阵列中的n个微透镜一一对应，n个微透镜为独立微透镜，其中，n为大于等于2的正整数；该方法包括：在使用图像传感器成像时，基于n个像素单元的不同面积生成不同曝光状态的至少两类像素；根据至少两类像素，生成至少两种曝光效果的图像；将至少两种曝光效果的图像进行融合，实现不同曝光状态的图像处理，得到合成图像。采用上述方法实现方案，图像处理装置可以通过不同面积的n个像素单元所对应的不同面积的微透镜，获取不同信号量的光信号，然后根据各种不同的光信号量得到不同曝光状态的至少两类像素；进而可以根据不同曝光状态的至少两类像素生成至少两种曝光效果的图像，并最终融合得到合成图像。因此，本申请实施例中的图像传感器可以通过使用一套曝光参数，基于不同面积的微透镜和像素单元实现不同曝光状态的拍摄，而不需要分别对每个像素控制曝光时间，从而简化了传感器的曝光控制方式。附图说明图1为本申请实施例提供的一种成像模组的结构示意图；图2为本申请实施例提供的一种滤光片单元、像素单元与微透镜对应关系示意图；图3为本申请实施例提供的一种像素单元排布示意图一；图4为本申请实施例提供的一种像素单元排布示意图二；图5为本申请实施例提供的一种像素单元排布示意图三；图6为本申请实施例提供的图像处理方法的一个可选的流程示意图；图7为本申请实施例提供的图像处理方法的一个可选的流程示意图；图8为本申请实施例提供的像素单元对应的子像素的示意图；图9为本申请实施例提供的图像处理方法的一个可选的流程示意图；图10-1为本申请实施例提供的一种子像素集合示意图一；图10-2为本申请实施例提供的一种子像素集合示意图二；图10-3为本申请实施例提供的一种子像素集合示意图三；图11-1为本申请实施例提供的像素合并过程的示意图一；图11-2为本申请实施例提供的像素合并过程的示意图二；图11-3为本申请实施例提供的像素合并过程的示意图三；图12为本申请实施例提供的图像处理方法的一个可选的流程示意图；图13为本申请实施例提供的中间像素示意图；图14-1为本申请实施例提供的中间像素合并过程的示意图一；图14-2为本申请实施例提供的中间像素合并过程的示意图二；图15-1为本申请实施例提供的一种根据像素组合得到对应曝光效果的图像的过程示意图一；图15-2为本申请实施例提供的一种根据像素组合得到对应曝光效果的图像的过程示意图二；图15-3为本申请实施例提供的一种根据像素组合得到对应曝光效果的图像的过程示意图三；图15-4为本申请实施例提供的一种根据像素组合得到对应曝光效果的图像的过程示意图四；图15-5为本申请实施例提供的一种根据像素组合得到对应曝光效果的图像的过程示意图五；图16-1为本申请实施例提供的一种根据不同曝光效果的图像得到HDR图像的示意图一；图16-2为本申请实施例提供的一种根据不同曝光效果的图像得到HDR图像的示意图二；图17为本申请实施例提供的一种图像处理装置的结构示意图一；图18为本申请实施例提供的本文档来自技高网...

【技术保护点】
1.一种图像传感器，其特征在于，所述图像传感器包括微透镜阵列、滤光片阵列以及像素阵列，所述滤光片阵列由至少一个滤光片单元构成，所述至少一个滤光片单元中的每个滤光片单元对应所述像素阵列中的n个像素单元，所述n个像素单元的面积不同，所述n个像素单元与所述微透镜阵列中的n个微透镜一一对应，所述n个微透镜为独立微透镜，其中，n为大于等于2的正整数。/n

【技术特征摘要】
1.一种图像传感器，其特征在于，所述图像传感器包括微透镜阵列、滤光片阵列以及像素阵列，所述滤光片阵列由至少一个滤光片单元构成，所述至少一个滤光片单元中的每个滤光片单元对应所述像素阵列中的n个像素单元，所述n个像素单元的面积不同，所述n个像素单元与所述微透镜阵列中的n个微透镜一一对应，所述n个微透镜为独立微透镜，其中，n为大于等于2的正整数。


2.根据权利要求1所述的图像传感器，其特征在于，
所述n个微透镜与所述n个像素单元的面积种类均为m种；m为大于等于2，且小于等于n的正整数；
所述n个微透镜，用于在使用所述图像传感器成像的过程中，外部光线通过m种面积的n个微透镜，转换为m种光信号；所述m种光信号中不同种光信号的信号量与其对应的微透镜面积成正比；
所述滤光片阵列的每个滤光片单元，用于通过对所述m种光信号的过滤，对应照射在所述n个像素单元上；
所述n个像素单元中每个像素单元，用于通过光电转换元件，将所述m种光信号转换为m种电信号。


3.根据权利要求2所述的图像传感器，其特征在于，所述图像传感器与图像处理芯片连接；
所述图像处理芯片，用于根据所述m种电信号实现对所述外部光线不同曝光效果的成像，得到合成图像。


4.根据权利要求2或3所述的图像传感器，其特征在于，
所述n个像素单元包括：至少两类像素单元；
所述n个像素单元的m种面积包括：至少两类像素面积；所述至少两类像素面积的面积均不相同；其中，所述至少两类像素单元与所述至少两类像素面积一一对应。


5.根据权利要求4所述的图像传感器，其特征在于，
当n＝9时，所述n个像素单元为9个像素单元；所述9个像素单元包括：第一类像素单元，第二类像素单元和第三类像素单元；
当m＝3时，所述m种面积包括：第一类像素面积、第二类像素面积和第三类像素面积；其中，所述第一类像素单元的面积最小，所述第三类像素单元的面积最大，所述第二类像素单元的面积大于所述一类像素单元的面积且小于所述三类像素单元的面积。


6.根据权利要求5所述的图像传感器，其特征在于，所述第一类像素单元与所述第三类像素单元为正方形，所述第二类像素单元为长方形，所述第二类像素单元的第一边的边长等于所述第三类像素单元的边长，所述第二类像素单元的第二边的边长等于所述第一类像素单元的边长；其中，
所述9个像素单元按照三层阵列排布，所述三层阵列的第一层和第三层的排布相同，所述第一层和所述第三层均依次排布有1个第一类像素单元、1个第二类像素单元和1个第一类像素单元；所述三层阵列的第二层依次排布有1个第二类像素单元、1个第三类像素单元和1个第二类像素单元；
所述第一层中的第二类像素单元的第一边与所述第二层的第三类像素单元的边相邻，所述第一层中的第二类像素单元的第二边与所述第一层的第一类像素单元的边相邻；所述第二层中的第二类像素单元的第一边与所述第二层的第三类像素单元的边相邻，所述第二层中的第二类像素单元的第二边与其对应位置上的所述第一层的第一类像素单元的边相邻，所述第二层中的第二类像素单元的第一边与其对应位置上的所述第三层的第一类像素单元的边相邻。


7.根据权利要求4所述的图像传感器，其特征在于，
当n＝9时，所述n个像素单元为9个像素单元；所述9个像素单元包括：第一类像素单元和第二类像素单元；
当m＝2时，所述m种面积包括：第一类像素面积和第二类像素面积；其中，所述第一类像素单元的面积最小，所述第二类像素单元的面积最大。


8.根据权利要求7所述的图像传感器，其特征在于，所述第一类像素单元为正方形，所述第二类像素单元为长方形，所述第一类像素单元的边长等于所述第二类像素单元的第一边的边长的四分之一；其中，
所述9个像素单元按照三层阵列排布，所述三层阵列的第一层和第三层的排布相同，所述第一层和第三层均依次排布有4个第一类像素单元，所述三层阵列的第二层排布有1个第一类像素单元；
所述第二层中的第二类像素单元的第一边与所述第一层的4个第一类像素单元的边均相邻。


9.一种图像处理方法，其特征在于，应用于图像处理装置，所述图像处理装置包括如权利要求1至8任一项所述的图像传感器，所述方法包括：
在使用所述图像传感器成像时，基于n个像素单元的不同面积生成不同...

【专利技术属性】
技术研发人员：徐锐，
申请(专利权)人：OPPO重庆智能科技有限公司，
类型：发明
国别省市：重庆;50