高动态范围图像处理系统及方法、电子设备和可读存储介质技术方案

本申请公开了一种高动态范围图像处理系统、高动态范围图像处理方法、电子设备和非易失性计算机可读存储介质。高动态范围图像处理系统包括图像传感器、图像融合模块和高动态范围图像处理模块。图像传感器中的像素阵列曝光。其中，同一子单元中至少一个单颜色感光像素以第一曝光时间曝光，至少一个单颜色感光像素以小于第一曝光时间的第二曝光时间曝光，至少一个全色感光像素以小于或等于第一曝光时间的第三曝光时间曝光。图像融合模块和高动态范围图像处理模块用于对第一彩色原始图像、第二彩色原始图像和全色原始图像进行高动态范围处理及融合算法处理以得到第一高动态范围图像。

【技术实现步骤摘要】
高动态范围图像处理系统及方法、电子设备和可读存储介质
本申请涉及图像处理
，特别涉及一种高动态范围图像处理系统、高动态范围图像处理方法、电子设备及非易失性计算机可读存储介质。
技术介绍
手机等电子设备中可以设置有摄像头以实现拍照功能。摄像头内可以设置用于接收光线的图像传感器。图像传感器中可以设置有滤光片阵列。其中，滤光片阵列可以呈拜耳阵列的形式排布，也可以呈非拜耳阵列的形式排布。但当滤光片阵列呈非拜耳阵列排布时，图像传感器输出的图像信号不能直接被处理器处理。
技术实现思路
本申请实施方式提供了一种高动态范围图像处理系统、高动态范围图像处理方法、电子设备及非易失性计算机可读存储介质。本申请实施方式提供一种高动态范围图像处理系统。高动态范围图像处理系统包括图像传感器、图像融合模块及高动态范围图像处理模块。所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素，所述图像传感器中的像素阵列曝光。其中，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第三曝光时间曝光。其中，以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色信息得到第一彩色原始图像，以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色信息得到第二彩色原始图像，以所述第三曝光时间曝光的所述全色感光像素生成第一全色原始图像。所述图像融合模块及所述高动态范围图像处理模块用于对所述第一彩色原始图像、所述第二彩色原始图像及所述第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像。所述第一高动态范围图像包含多个彩色图像像素，多个所述彩色图像像素呈拜耳阵列排布。所述第一高动态范围图像由图像处理器处理以得到第二高动态范围图像。本申请实施方式提供一种高动态范围图像处理方法。所述高动态范围图像处理方法用于高动态范围图像处理系统。所述高动态范围图像处理系统包括图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素。所述高动态范围图像处理方法包括：控制所述像素阵列曝光，其中，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第三曝光时间曝光。其中，以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色信息得到第一彩色原始图像，以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色信息得到第二彩色原始图像，以所述第三曝光时间曝光的所述全色感光像素生成第一全色原始图像。及对所述第一彩色原始图像、所述第二彩色原始图像及所述第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像。所述第一高动态范围图像包含多个彩色图像像素，多个所述彩色图像像素呈拜耳阵列排布。所述第一高动态范围图像由图像处理器处理以得到第二高动态范围图像。本申请实施方式提供一种电子设备。所述电子设备包括镜头、壳体及上述的高动态范围图像处理系统。所述镜头、所述高动态范围图像处理系统与所述壳体结合，所述镜头与所述高动态范围图像处理系统的图像传感器配合成像。本申请实施方式提供一种包含计算机程序的非易失性计算机可读存储介质。所述计算机程序被处理器执行时，使得所述处理器执行上述的高动态范围图像处理方法。本申请实施方式的高动态范围图像处理系统、高动态范围图像处理方法、电子设备及非易失性计算机可读存储介质通过图像融合模块及高动态范围图像处理模块对图像传感器输出的全色原始图像和彩色原始图像事先进行融合算法处理及高动态范围处理，以得到图像像素呈拜耳阵列排布的第一高动态范围图像，再把第一高动态范围图像输入图像处理器中完成后续处理，从而解决图像处理器不能直接对图像像素呈非拜耳阵列排布的图像进行处理的问题。本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：图1是本申请实施方式的一种高动态范围图像处理系统的示意图；图2是本申请实施方式的一种像素阵列的示意图；图3是本申请实施方式的一种感光像素的截面示意图；图4是本申请实施方式的一种感光像素的像素电路图；图5是本申请实施方式的一种像素阵列中最小重复单元的排布示意图；图6是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；图7是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；图8是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；图9是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；图10是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；图11是本申请实施方式的一种图像传感器输出的原始图像的示意图；图12是本申请实施方式的一种图像融合处理原理的示意图；图13是本申请实施方式的又一种图像融合处理原理的示意图；图14是本申请实施方式的一种亮度对齐处理的示意图；图15是本申请实施方式的一种高动态范围处理原理的示意图；图16是本申请实施方式的又一种高动态范围图像处理系统的示意图；图17是本申请实施方式的一种镜头阴影矫正处理的示意图；图18是本申请实施方式的又一种高动态范围图像处理系统的示意图；图19是本申请实施方式的又一种高动态范围处理原理的示意图；图20是本申请实施方式的又一种图像传感器输出的原始图像的示意图；图21是本申请实施方式的又一种高动态范围处理原理的示意图；图22是本申请实施方式的又一种图像融合处理原理的示意图；图23本申请实施方式的一种电子设备的结构示意图；图24是本申请实施方式的一种高动态范围图像获取方法的流程示意图；图25是本申请实施方式的一种非易失性计算机可读存储介质与处理器的交互示意图。具体实施方式下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。请参本文档来自技高网...

【技术保护点】
1.一种高动态范围图像处理系统，其特征在于，包括图像传感器、图像融合模块及高动态范围图像处理模块；/n所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素，所述图像传感器中的像素阵列曝光，其中，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第三曝光时间曝光；其中，以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色信息得到第一彩色原始图像，以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色信息得到第二彩色原始图像，以所述第三曝光时间曝光的所述全色感光像素生成第一全色原始图像；/n所述图像融合模块及所述高动态范围图像处理模块用于对所述第一彩色原始图像、所述第二彩色原始图像及所述第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像，所述第一高动态范围图像包含多个彩色图像像素，多个所述彩色图像像素呈拜耳阵列排布，所述第一高动态范围图像由图像处理器处理以得到第二高动态范围图像。/n...

【技术特征摘要】
1.一种高动态范围图像处理系统，其特征在于，包括图像传感器、图像融合模块及高动态范围图像处理模块；
所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素，所述图像传感器中的像素阵列曝光，其中，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第三曝光时间曝光；其中，以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色信息得到第一彩色原始图像，以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色信息得到第二彩色原始图像，以所述第三曝光时间曝光的所述全色感光像素生成第一全色原始图像；
所述图像融合模块及所述高动态范围图像处理模块用于对所述第一彩色原始图像、所述第二彩色原始图像及所述第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像，所述第一高动态范围图像包含多个彩色图像像素，多个所述彩色图像像素呈拜耳阵列排布，所述第一高动态范围图像由图像处理器处理以得到第二高动态范围图像。


2.根据权利要求1所述的高动态范围图像处理系统，其特征在于，同一所述子单元中的部分所述全色感光像素以第四曝光时间曝光，其余所述全色感光像素以所述第三曝光时间曝光，所述第四曝光时间小于或等于所述第一曝光时间，且大于所述第三曝光时间；
所述图像融合模块用于将所述第一彩色原始图像与第二全色原始图像融合为第一中间图像，将所述第二彩色原始图像与所述第一全色原始图像融合为第二中间图像，以所述第四曝光时间曝光的所述单颜色感光像素生成的第二全色信息得到所述第二全色原始图像；
所述高动态范围图像处理模块用于将所述第一中间图像与所述第二中间图像融合为所述第一高动态范围图像。


3.根据权利要求2所述的高动态范围图像处理系统，其特征在于，所述高动态范围图像处理模块包括高动态范围图像处理单元及亮度映射单元；
所述高动态范围图像处理单元用于将所述第一中间图像及所述第二中间图像融合为第三高动态范围图像；
所述亮度映射单元用于对所述第三高动态范围图像进行亮度映射以得到所述第一高动态范围图像。


4.根据权利要求2所述的高动态范围图像处理系统，其特征在于，所述高动态范围图像处理模块包括高动态范围图像处理单元、镜头阴影校正单元及统计单元；
所述高动态范围图像处理单元用于将所述第一中间图像及所述第二中间图像融合为第三高动态范围图像；
所述镜头阴影校正单元用于校正所述第三高动态范围图像以得到高动态范围校正图像；
所述统计单元用于处理所述高动态范围校正图像以获得统计数据，所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。


5.根据权利要求2所述的高动态范围图像处理系统，其特征在于，所述高动态范围图像处理模块包括统计单元，所述统计单元用于处理所述第一中间图像及所述第二中间图像以获得统计数据，所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。


6.根据权利要求1所述的高动态范围图像处理系统，其特征在于，同一所述子单元中的部分所述全色感光像素以第四曝光时间曝光，其余所述全色感光像素以所述第三曝光时间曝光，所述第四曝光时间小于或等于所述第一曝光时间，且大于所述第三曝光时间；
所述高动态范围图像处理模块用于将所述第一彩色原始图像与所述第二彩色原始图像融合为第一高动态彩色原始图像，将所述第一全色原始图像与所述第二全色原始图像融合为第一高动态全色原始图像；
所述图像融合模块用于将所述第一高动态彩色原始图像与所述第一高动态全色原始图像融合为所述第一高动态范围图像。


7.根据权利要求6所述的高动态范围图像处理系统，其特征在于，所述高动态范围图像处理模块还包括高动态范围图像处理单元及亮度映射单元；
所述高动态范围图像处理单元用于将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像，将所述第一全色原始图像与所述第二全色原始图像融合为第二高动态全色原始图像；
所述亮度映射单元用于对所述第二高动态彩色原始图像进行亮度映射以得到所述第一高动态彩色原始图像，对所述第二高动态全色原始图像进行亮度映射以得到所述第一高动态全色原始图像。


8.根据权利要求6所述的高动态范围图像处理系统，其特征在于，所述高动态范围图像处理模块还包括高动态范围图像处理单元、镜头阴影校正单元及统计单元；
所述高动态范围图像处理单元用于将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像，将所述第一全色原始图像与所述第二全色原始图像融合为第二高动态全色原始图像；
所述镜头阴影校正单元用于校正所述第二高动态彩色原始图像以得到高动态彩色校正图像，校正所述第二高动态全色原始图像以得到高动态全色校正图像；
所述统计单元用于处理所述高动态彩色校正图像及所述高动态全色校正图像以获得统计数据，所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。


9.根据权利要求1所述的高动态范围图像处理系统，其特征在于，同一所述子单元中的全部所述全色感光像素以第三曝光时间曝光；
所述高动态范围图像处理模块用于将所述第一彩色原始图像与所述第二彩色原始图像融合为第一高动态彩色原始图像；
所述图像融合模块用于将所述第一高动态彩色原始图像与所述第一全色原始图像融合为所述第一高动态范围图像。


10.根据权利要求9所述的高动态范围图像处理系统，其特征在于，所述高动态范围图像处理模块还包括高动态范围图像处理单元及亮度映射单元；
所述高动态范围图像处理单元用于将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像；
所述亮度映射单元用于对所述第二高动态彩色原始图像进行亮度映射以得到所述第一高动态彩色原始图像。


11.根据权利要求9所述的高动态范围图像处理系统，其特征在于，所述高动态范围图像处理模块还包括高动态范围图像处理单元、镜头阴影校正单元及统计单元；
所述高动态范围图像处理单元用于将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像；
所述镜头阴影校正单元用于校正所述第二高动态彩色原始图像以得到高动态彩色校正图像；
所述统计单元用于处理所述高动态彩色校正图像及所述第一全色原始图像以获得统计数据，所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。


12.根据权利要求1所述的高动态范围图像处理系统，其特征在于，所述图像融合模块及所述高动态范围图像处理模块均集成在所述图像传感器中。


13.一种高动态范围图像处理方法，用于高动态范围图像处理系统，其特征在于，所述高动态范围图像处理系统包括图像传感器，所述图像传感器...

【专利技术属性】
技术研发人员：杨鑫，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44