图像获取方法、成像装置、电子设备及可读存储介质制造方法及图纸

本申请公开了一种图像获取方法、成像装置、电子设备及非易失性计算机可读存储介质。图像获取方法包括：控制像素阵列曝光，同一子单元中至少一个单颜色感光像素以第一曝光时间曝光，至少一个单颜色感光像素以小于第一曝光时间的第二曝光时间曝光，至少一个全色感光像素以小于第一曝光时间的第三曝光时间曝光；根据第一全色原始图像对第一彩色原始图像及第二彩色原始图像进行插值，并将插值处理后的图像与第一全色原始图像融合以得到分辨率与像素阵列的分辨率相等的目标图像，第一彩色原始图像、第二彩色原始图像、第一全色原始图像分别由以不同曝光时间曝光的感光像素生成的信息得到。

【技术实现步骤摘要】
图像获取方法、成像装置、电子设备及可读存储介质
本申请涉及影像
，特别涉及一种图像获取方法、成像装置、电子设备及非易失性计算机可读存储介质。
技术介绍
高动态范围成像技术通常可以通过控制成像装置内的图像传感器执行长、短曝光，再将长、短曝光得到的图像进行融合得到，融合后的图像可以较好地展示暗区和亮区的细节。然而，现有的高动态范围图像的实现方式会导致最终获得的图像的分辨率降低。
技术实现思路
本申请实施方式提供了一种图像获取方法、成像装置、电子设备及非易失性计算机可读存储介质。本申请实施方式的图像获取方法用于图像传感器。所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素。所述图像获取方法包括：控制所述像素阵列曝光，其中，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第三曝光时间曝光；及根据第一全色原始图像对第一彩色原始图像及第二彩色原始图像进行插值，并将插值处理后的图像与所述第一全色原始图像融合以得到具有与所述像素阵列的分辨率相同的分辨率的目标图像，其中，所述第一彩色原始图像由以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色信息得到，所述第二彩色原始图像由以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色信息得到，所述第一全色原始图像由以所述第三曝光时间曝光的所述全色感光像素生成的第一全色信息得到。本申请实施方式的成像装置包括图像传感器及处理器。所述图像传感器包括像素阵列。所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素。所述图像传感器中的像素阵列曝光，其中，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第三曝光时间曝光。所述处理器用于根据第一全色原始图像对第一彩色原始图像及第二彩色原始图像进行插值，并将插值处理后的图像与所述第一全色原始图像融合以得到具有与所述像素阵列的分辨率相同的分辨率的目标图像，其中，所述第一彩色原始图像由以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色信息得到，所述第二彩色原始图像由以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色信息得到，所述第一全色原始图像由以所述第三曝光时间曝光的所述全色感光像素生成的第一全色信息得到。本申请实施方式的电子设备包括壳体及成像装置。所述成像装置与所述壳体结合。所述成像装置包括图像传感器及处理器。所述图像传感器包括像素阵列。所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素。所述图像传感器中的像素阵列曝光，其中，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第三曝光时间曝光。所述处理器用于根据第一全色原始图像对第一彩色原始图像及第二彩色原始图像进行插值，并将插值处理后的图像与所述第一全色原始图像融合以得到具有与所述像素阵列的分辨率相同的分辨率的目标图像，其中，所述第一彩色原始图像由以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色信息得到，所述第二彩色原始图像由以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色信息得到，所述第一全色原始图像由以所述第三曝光时间曝光的所述全色感光像素生成的第一全色信息得到。本申请实施方式的包含计算机程序的非易失性计算机可读存储介质，所述计算机程序被处理器执行时，使得处理器执行以下步骤所述的图像获取方法：控制所述像素阵列曝光，其中，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第三曝光时间曝光；及根据第一全色原始图像对第一彩色原始图像及第二彩色原始图像进行插值，并将插值处理后的图像与所述第一全色原始图像融合以得到具有与所述像素阵列的分辨率相同的分辨率的目标图像，其中，所述第一彩色原始图像由以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色信息得到，所述第二彩色原始图像由以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色信息得到，所述第一全色原始图像由以所述第三曝光时间曝光的所述全色感光像素生成的第一全色信息得到。本申请实施方式的图像获取方法、成像装置、电子设备及非易失性计算机可读存储介质通过控制像素阵列11中的每个子单元内的多个感光像素110以不同的曝光时间来曝光，以获取具有高动态范围的目标图像。并且，在获取具有高动态范围的目标图像的过程中，对第一彩色原始图像及第二彩色原始图像执行插值处理，以使最终获得的目标图像能够与像素阵列的分辨率相同的分辨率。此外，第一彩色原始图像与第二彩色原始图像的插值是基于第一全色原始图像中的信息来进行的，插值的结果更为准确。本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：图1是本申请实施方式的成像装置的示意图；图2是本申请实施方式的像素阵列的示意图；图3是本申请实施方式的感光像素的截面示意图；图4是本申请实施方式的感光像素的像素电路图；图5至图10是本申请实施方式的像素阵列中最小重复单元的排布示意图；图11至图16是本申请某些实施方式的成像装置中的处理器处理图像传感器获取的原始图像的原理示意图；图17至图19是本申请某些实施方式的像素阵列的部分电路连接的示意图；图20是本申请实施方式的电子设备的结构示意图；图21是本申请某些实施方式的图像获取方法的流程示意图；图22是本申请某些实施方式的非易失性计算机可读存储介质与处理器的交互示意图。具体实施方式下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施本文档来自技高网...

【技术保护点】
1.一种图像获取方法，用于图像传感器，其特征在于，所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素；所述图像获取方法包括：/n控制所述像素阵列曝光，其中，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第三曝光时间曝光；及/n根据第一全色原始图像对第一彩色原始图像及第二彩色原始图像进行插值，并将插值处理后的图像与所述第一全色原始图像融合以得到具有与所述像素阵列的分辨率相同的分辨率的目标图像，其中，所述第一彩色原始图像由以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色信息得到，所述第二彩色原始图像由以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色信息得到，所述第一全色原始图像由以所述第三曝光时间曝光的所述全色感光像素生成的第一全色信息得到。/n...

【技术特征摘要】
1.一种图像获取方法，用于图像传感器，其特征在于，所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素；所述图像获取方法包括：
控制所述像素阵列曝光，其中，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第三曝光时间曝光；及
根据第一全色原始图像对第一彩色原始图像及第二彩色原始图像进行插值，并将插值处理后的图像与所述第一全色原始图像融合以得到具有与所述像素阵列的分辨率相同的分辨率的目标图像，其中，所述第一彩色原始图像由以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色信息得到，所述第二彩色原始图像由以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色信息得到，所述第一全色原始图像由以所述第三曝光时间曝光的所述全色感光像素生成的第一全色信息得到。


2.根据权利要求1所述的图像获取方法，其特征在于，所有所述全色感光像素以所述第三曝光时间曝光；所述根据第一全色原始图像对第一彩色原始图像及第二彩色原始图像进行插值，并将插值处理后的图像与所述第一全色原始图像融合以得到具有与所述像素阵列的分辨率相同的分辨率的目标图像，包括：
对所述第一彩色原始图像执行插值处理以得到分辨率小于所述像素阵列的分辨率的第一彩色中间图像，对所述第二彩色原始图像执行插值处理以得到分辨率小于所述像素阵列的分辨率的第二彩色中间图像；
对所述第一全色原始图像执行插值处理以得到分辨率与所述像素阵列的分辨率相等的第一全色中间图像；
对所述第一彩色中间图像及所述第二彩色中间图像执行亮度对齐处理以得到亮度对齐后的所述第一彩色中间图像；
融合亮度对齐后的所述第一彩色中间图像及所述第二彩色中间图像以得到彩色初始合并图像；
根据所述第一全色中间图像对所述彩色初始合并图像进行插值以得到分辨率与所述像素阵列的分辨率相等的彩色中间合并图像；及
融合所述彩色中间合并图像和所述第一全色中间图像以得到所述目标图像。


3.根据权利要求1所述的图像获取方法，其特征在于，同一所述子单元中的部分所述全色感光像素以第四曝光时间曝光，其余所述全色感光像素以所述第三曝光时间曝光，所述第四曝光时间小于或等于所述第一曝光时间，且大于所述第三曝光时间；所述根据第一全色原始图像对第一彩色原始图像及第二彩色原始图像进行插值，并将插值处理后的图像与所述第一全色原始图像融合以得到具有与所述像素阵列的分辨率相同的分辨率的目标图像，包括：
对所述第一彩色原始图像执行插值处理以得到分辨率小于所述像素阵列的分辨率的第一彩色中间图像，对所述第二彩色原始图像执行插值处理以得到分辨率小于所述像素阵列的分辨率的第二彩色中间图像；
对所述第一全色原始图像执行插值处理以得到分辨率与所述像素阵列的分辨率相等的第一全色中间图像，对第二全色原始图像执行插值处理以得到分辨率与所述像素阵列的分辨率相等的第二全色中间图像，其中，所述第二全色原始图像由以所述第四曝光时间曝光的所述全色感光像素生成的第二全色信息得到；
对所述第一彩色中间图像及所述第二彩色中间图像执行亮度对齐处理以得到亮度对齐后的所述第一彩色中间图像；
对所述第一全色中间图像及所述第二全色中间图像执行亮度对齐处理以得到亮度对齐后的所述第二全色中间图像；
融合亮度对齐后的所述第一彩色中间图像及所述第二彩色中间图像以得到彩色初始合并图像；
融合所述第一全色中间图像及亮度对齐后的所述第二全色中间图像以得到全色合并图像；
根据所述全色合并图像对所述彩色初始合并图像进行插值以得到分辨率与所述像素阵列的分辨率相等的彩色中间合并图像；及
融合所述彩色中间合并图像和所述全色合并图像以得到所述目标图像。


4.根据权利要求2或3所述的图像获取方法，其特征在于，当所有所述全色感光像素以所述第三曝光时间曝光时，以所述第二曝光时间曝光的所有所述单颜色感光像素的曝光进行时间均位于以所述第一曝光时间曝光的所有所述单颜色感光像素的曝光进行时间内，以所述第三曝光时间曝光的所有所述全色感光像素的曝光进行时间位于以所述第一曝光时间曝光的所有所述单颜色感光像素的曝光进行时间内；
当同一所述子单元中的部分所述全色感光像素以第四曝光时间曝光，其余所述全色感光像素以所述第三曝光时间曝光时，以所述第二曝光时间曝光的所有所述单颜色感光像素的曝光进行时间位于以所述第一曝光时间曝光的所有所述单颜色感光像素的曝光进行时间内，以所述第三曝光时间曝光的所有所述全色感光像素的曝光进行时间位于以所述第一曝光时间曝光的所有所述单颜色感光像素的曝光进行时间内，以所述第四曝光时间曝光的所有所述单颜色感光像素的曝光进行时间位于以所述第一曝光时间曝光的所有所述单颜色感光像素的曝光进行时间内。


5.根据权利要求2或3所述的图像获取方法，其特征在于，所述对所述第一彩色中间图像及所述第二彩色中间图像执行亮度对齐处理以得到亮度对齐后的所述第一彩色中间图像，包括：
识别所述第一彩色中间图像中像素值大于第一预设阈值的过曝图像像素；
对于每一个所述过曝图像像素，以该所述过曝图像像素为中心扩展预定区域；
在所述预定区域内寻找像素值小于所述第一预设阈值的中间图像像素；及
利用所述中间图像像素及所述第二彩色中间图像对所述过曝图像像素的像素值进行修正；及
利用所述过曝图像像素的修正后的像素值更新所述第一彩色中间图像以得到亮度对齐后的所述第一彩色中间图像。


6.根据权利要求3所述的图像获取方法，其特征在于，所述对所述第一全色中间图像及所述第二全色中间图像执行亮度对齐处理以得到亮度对齐后的所述第二全色中间图像，包括：
识别所述第二全色中间图像中像素值大于第二预设阈值的过曝图像像素；
对于每一个所述过曝图像像素，以该所述过曝图像像素为中心扩展预定区域；
在所述预定区域内寻找像素值小于所述第二预设阈值的中间图像像素；及
利用所述中间图像像素及所述第一全色中间图像对所述过曝图像像素的像素值进行修正；及
利用所述过曝图像像素的修正后的像素值更新所述第二全色中间图像以得到亮度对齐后的所述第二全色中间图像。


7.根据权利要求2或3所述的图像获取方法，其特征在于，所述融合亮度对齐后的所述第一彩色中间图像及所述第二彩色中间图像以得到彩色初始合并图像，包括：
对亮度对齐后的所述第一彩色中间图像进行运动检测；
在亮度对齐后的所述第一彩色中间图像中不存在运动模糊区域时，融合亮度对齐后的所述第一彩色中间图像及所述第二彩色中间图像以得到所述彩色初始合并图像；
在亮度对齐后的所述第一彩色中间图像中存在所述运动模糊区域时，融合亮度对齐后的所述第一彩色中间图像中除所述运动模糊区域以外的区域及所述第二彩色中间图像以得到所述彩色初始合并图像。


8.根据权利要求3所述的图像获取方法，其特征在于，所述融合所述第一全色中间图像及亮度对齐后的所述第二全色中间图像以得到全色合并图像，包括：
对亮度对齐后的所述第二全色中间图像进行运动检测；
在亮度对齐后的所述第二全色中间图像中不存在运动模糊区域时，融合所述第一全色中间图像及亮度对齐后的所述第二全色中间图像以得到所述全色合并图像；
在亮度对齐后的所述第二全色中间图像中存在所述运动模糊区域时，融合所述第一全色中间图像及亮度对齐后的所述第二全色中间图像中除所述运动模糊区域以外的区域以得到所述全色合并图像。


9.一种成像装置，其特征在于，包括：
图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素，所述图像传感器中的像素阵列曝光，其中，对于同...

【专利技术属性】
技术研发人员：杨鑫，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44