【技术实现步骤摘要】
【国外来华专利技术】从单拍摄HDR彩色图像传感器生成HDR图像相关申请的交叉引用本申请要求于2018年6月7日提交的美国临时专利申请号62/681,789和于2018年6月7日提交的欧洲专利申请号18176403.6以及于2019年4月23日提交的美国临时专利申请号62/837,361的优先权权益，所述专利申请通过引用以其全文结合于此。
本申请涉及高动态范围成像。
技术介绍
大多数手持相机设备(如智能手机)利用位深度为8位或可能10位的图像传感器。对于许多场景，这样的位深度不足以同时捕获场景中的最亮区和最暗区。例如，当拍摄背光人物的照片时，人物的脸部可能会出现曝光不足，或者替代性地，较亮的背景可能会出现曝光过度。高动态范围(HDR)成像功能试图克服这个问题。在典型方法中，HDR数码相机捕获同一场景的两个图像：一个图像的曝光时间较短以获得场景中明亮部分的良好图像数据，而另一个图像的曝光时间较长以获得场景中较暗部分的良好图像数据。将这两个图像缩放到公共比例并组合，以产生场景的同时恰当地描绘较亮场景部分和较暗场景部分的单个HD...
【技术保护点】
1.一种用于从双曝光时间单拍摄高动态范围(HDR)彩色图像传感器生成运动补偿HDR彩色图像的方法，所述方法包括：/n获得由所述双曝光时间单拍摄HDR彩色图像传感器的相应传感器像素的局部区域生成的像素值，所述局部区域对应于所述运动补偿HDR彩色图像的图像像素的位置，对于三种不同颜色中的每一种颜色，所述局部区域的所述传感器像素包括对相应的颜色敏感的多个短曝光时间像素和多个长曝光时间像素；/n根据与第一颜色相关联的所述短曝光时间像素和所述长曝光时间像素的所述像素值确定用于所述局部区域的运动参数；以及/n对所述局部区域的所述像素值去马赛克，以针对每种颜色根据所述短曝光时间像素和所述...
【技术特征摘要】
【国外来华专利技术】20180607 EP 18176403.6;20180607 US 62/681,789;20191.一种用于从双曝光时间单拍摄高动态范围(HDR)彩色图像传感器生成运动补偿HDR彩色图像的方法，所述方法包括：
获得由所述双曝光时间单拍摄HDR彩色图像传感器的相应传感器像素的局部区域生成的像素值，所述局部区域对应于所述运动补偿HDR彩色图像的图像像素的位置，对于三种不同颜色中的每一种颜色，所述局部区域的所述传感器像素包括对相应的颜色敏感的多个短曝光时间像素和多个长曝光时间像素；
根据与第一颜色相关联的所述短曝光时间像素和所述长曝光时间像素的所述像素值确定用于所述局部区域的运动参数；以及
对所述局部区域的所述像素值去马赛克，以针对每种颜色根据所述短曝光时间像素和所述长曝光时间像素确定所述图像像素的输出值，所述短曝光时间像素和所述长曝光时间像素对所述输出值的相对贡献根据所述运动参数被加权。
2.如权利要求1所述的方法，还包括：针对要生成的所述运动补偿HDR彩色图像的每个图像像素：
执行所述获得的步骤；以及
针对每种颜色：
评估运动补偿是否合适，以及
生成与所述颜色相关联的所述图像像素的输出值，所述生成包括：
(i)当运动补偿合适时，执行确定所述运动参数和去马赛克的步骤，以利用运动补偿并针对所述颜色确定所述图像像素的所述输出值，以及
(ii)当运动补偿不合适时，执行非运动补偿去马赛克，以针对所述颜色确定所述图像像素的所述输出值。
3.如权利要求2所述的方法，评估运动补偿是否合适的步骤包括仅在以下情况确定所述运动补偿是合适的：
(a)所述局部区域的并且与所述颜色相关联的所述长曝光时间像素的所述像素值满足低于饱和度标准；
(b)如果所述颜色不同于所述第一颜色，所述局部区域的并且与所述第一颜色相关联的所述长曝光时间像素的所述像素值满足所述低于饱和度标准；或者
(c)如果所述局部区域的并且与所述第一颜色相关联的所述长曝光时间像素的所述像素值满足所述低于饱和度标准，所述局部区域的并且与所述第一颜色相关联的所述短曝光时间像素与所述长曝光时间像素之间的视差超过与传感器噪声相关像素值变化相关联的视差阈值。
4.如权利要求3所述的方法，所述评估运动补偿是否合适的步骤还包括：
将与所述第一颜色相关联的所述短曝光时间像素的所述像素值与根据第一模型的相应的第一拟合权重相乘，以确定用于所述图像像素的短曝光时间第一颜色值；
将与所述第一颜色相关联的所述长曝光时间像素中的不饱和长曝光时间像素的所述像素值与根据第二模型的相应的第二拟合权重相乘，以确定用于所述图像像素的长曝光时间第一颜色值；以及
以缩放到公共比例的所述短曝光时间第一颜色值与所述长曝光时间第一颜色值之间的差值的绝对值计算所述视差。
5.如权利要求3所述的方法，所述评估运动补偿是否合适的步骤还包括：
基于用于所述双曝光时间单拍摄HDR彩色图像传感器的噪声模型估计与所述图像像素和所述第一颜色相关联的像素值变化的期望值；以及
根据所述期望值计算所述视差阈值。
6.如权利要求2所述的方法，所述获得的步骤包括：以与所述双曝光时间单拍摄HDR彩色图像传感器相比的下采样分辨率选择所述局部区域以产生所述运动补偿HDR彩色图像。
7.如权利要求2所述的方法，所述获得的步骤包括：以与所述双曝光时间单拍摄HDR彩色图像传感器相比相同的分辨率选择所述局部区域以产生所述运动补偿HDR彩色图像。
8.如权利要求1所述的方法，所述运动参数指示所述局部区域中的运动程度。
9.如权利要求1所述的方法，确定所述运动参数的步骤包括：
将与所述第一颜色相关联的所述短曝光时间像素的所述像素值与根据第一模型的相应的第一拟合权重相乘，以确定用于所述图像像素的短曝光时间第一颜色值；
将与所述第一颜色相关联的所述长曝光时间像素中的不饱和长曝光时间像素的所述像素值与根据第二模型的相应的第二拟合权重相乘，以确定用于所述图像像素的长曝光时间第一颜色值；以及
计算所述短曝光时间第一颜色值与所述长曝光时间第一颜色值之间的视差以确定所述运动参数。
10.如权利要求9所述的方法，其中，所述拟合权重是像素值的函数，所述函数随所述像素值的信号质量而增大。
11.如权利要求9所述的方法，所述第一模型和所述第二模型中的每一个模型是传感器像素位置的二维多项式函数，其中，所述二维多项式函数的输出值分别是所述第一拟合权重或所述第二拟合权重。
12.如权利要求11所述的方法，所述二维多项式函数是一阶多项式、二阶多项式或三阶多项式。
13.如权利要求1所述的方法，所述去马赛克的步骤包括：
基于与所述颜色相关联的所述短曝光时间像素确定用于所述图像像素的短曝光时间值；
基于与所述颜色相关联的所述长曝光时间像素中的不饱和长曝光时间像素确定用于所述图像像素的长曝光时间值；以及
使用所述运动参数作为权重，以所述短曝光时间值和所述长曝光时间值的加权平均值计算所述输出值。
14.如权利要求13所述的方法，包括：
在确定所述运动参数的步骤中：
(a)基于所述第一颜色的所述短曝光时间像素确定用于所述图像像素的短曝光时间第一颜色值，
(b)基于所述长曝光时间像素确定用于所述图像像素的长曝光时间第一颜色值，以及
(c)计算所述短曝光时间第一颜色值与所述长曝光时间第一颜色值之间的视差以确定所述运动参数；以及
在所述去马赛克的步骤中，针对所述第一颜色，将用于所述第一颜色的所述短曝光时间值设定为所述短曝光时间第一颜色值，并且将用于所述第一颜色的所述长曝光时间值设定为所述长曝光时间第一颜色值。
15.如权利要求13所述的方法，包括：
在确定所述短曝光时间值的步骤中，将与所述颜色相关联的所述短曝光时间像素的所述像素值与根据第一模型的相应的第一拟合权重相乘以确定所述短曝光时间值；以及
在确定所述长曝光时间值的步骤中，将与所述颜色相关联的所述长曝光时间像素中的不饱和长曝光时间像素的所述像素值与根据第二模型的相应的第二拟合权重相乘以确定所述长曝光时间值。
16.如权利要求15所述的方法，所述第一模型和所述第二模型中的每一个模型是传感器像素位置的二维多项式函数。
17.如权利要求16所述的方法，
对于所述第一颜色，所述二维多项式函数是一阶多项式、二阶多项式或三阶多项式；以及
对于不同于所述第一颜色的每种颜色，所述二维多项式函数的阶数低于用于所述第一颜色的所述二维多项式的阶数。
18.如权利要求1所述的方法，确定所述运动参数的步骤包括：使用与所述双曝光时间单拍摄HDR彩色图像传感器的最大数量的传感器像素相关联的颜色作为所述第一颜色。
19.如权利要求18所述的方法，所述三种颜色是红色、绿色和蓝色，所述第一颜色是绿色。
20.如权利要求18所述的方法，所述第一颜色是绿色，所述三种颜色中的其余两种颜色是红色、绿色和蓝色的不同相应线性组合。
21.如权利要求18所述的方法，所述双曝光时间单拍摄HDR彩色图像传感器是之字形HDR图像传感器。
22.如权利要求1所述的方法，还包括，在确定所述运动参数的步骤之前，基于对所述局部区域中的每一种颜色的光亮度的评估来选择所述第一颜色。
23.如权利要求1所述的方法，还包括：使用所述双曝光时间单拍摄HDR彩色图像传感器的由至少5×5个相邻传感器像素所限定的正方形部分作为所述局部区域。
24.如权利要求23所述的方法，还包括：使用之字形HDR图像传感器作为所述双曝光时间单拍摄HDR彩色图像传感器。
25.如权利要求1所述的方法，还包括，针对所述运动补偿HDR彩色图像的每个图像像素：
执行所述获得的步骤；以及
生成针对所述三种不同颜色中的每一种颜色的输出值，所述生成包括：
(i)对于所述第一颜色：
(a)当与所述第一颜色相关联的所述长曝光时间像素满足低于饱和度标准时：
(1)计算所述局部区域的并且与所述第一颜色相关联的短曝光时间像素与长曝光时间像素之间的视差，
(2)根据与所述图像像素和所述第一颜色相关联的像素值变化的期望值计算视差阈值，
(3)当所述视差超过所述视差阈值时，针对所述第一颜色执行确定所述运动参数的步骤和所述去马赛克的步骤，以利用运动补偿确定与所述第一颜色相关联的所述图像像素的所述输出值，以及
(4)当所述视差不超过所述视差阈值时，针对所述第一颜色执行非运动补偿HDR去马赛克，以根据与所述第一颜色相关联的所述短曝光时间像素和所述长曝光时间像素的组合确定与所述颜色相关联的所述图像像素的所述输出值，以及
(b)当与所述第一颜色相关联的所述长曝光时间像素不满足所述低于饱和度标准时，针对所述第一颜色执行非运动补偿去马赛克，以仅根据与所述第一颜色相关联的所述短曝光时间像素确定与所述第一颜色相关联的所述图像像素的所述输出值，以及
(ii)对于不同于所述第一颜色的每种颜色：
(a)当与所述颜色和所述第一颜色相关联的所述长曝光时间像素满足所述低于饱和度标准并且所述视差超过所述视差阈值时，针对所述颜色执行所述去马赛克的步骤，以利用运动补偿确定与所述颜色相关联的所述图像像素的所述输出值，
(b)当与所述颜色和所述第一颜色相关联的所述长曝光时间像素满足所述低于饱和度标准并且所述视差不超过所述视差阈值时，针对所述颜色执行非运动补偿去马赛克，以根据与所述颜色相关联的所述短曝光时间像素和所述长曝光时间像素的组合来确定与所述颜色相关联的所述图像像素的所述输出值，以及
(c)当与所述颜色相关联的所述长曝光时间像素不满足所述低于饱和度标准、或者与所述第一颜色相关联的所述长曝光时间像素不满足所述低于饱和度标准时，针对所述颜色执行非运动补偿去马赛克，以仅根据与所述颜色相关联的所述短曝光时间像素确定与所述颜色相关联的所述图像像素的所述输出值。
26.一种用于从双曝光时间单拍摄高动态范围(HDR)彩色图像传感器生成运动补偿HDR彩色图像的产品，所述产品包括在非暂态存储器中编码的机器可读指令，所述指令包括：
数据选择指令，所述数据选择指令当由处理器执行时取得由所述双曝光时间单拍摄HDR彩色图像传感器的相应传感器像素的局部区域生成的像素值，所述局部区域对应于所述运动补偿HDR彩色图像的图像像素的位置，对于三种不同颜色中的每一种颜色，所述局部区域的所述传感器像素包括对相应的颜色敏感的多个短曝光时间像素和多个长曝光时间像素；
运动指令，所述运动指令当由所述处理器执行时根据与第一颜色相关联的所述短曝光时间像素和所述长曝光时间像素的所述像素值确定用于所述局部区域的运动参数；以及
去马赛克指令，所述去马赛克指令当由处理器执行时对所述局部区域的所述像素值去马赛克，以针对每种颜色根据所述短曝光时间像素和所述长曝光时间像素确定所述图像像素的输出值，所述短曝光时间像素和所述长曝光时间像素对所述输出值的相对贡献根据所述运动参数被加权。
27.如权利要求26所述的产品，还包括：
模型，所述模型用于所述局部区域内的像素值变化；
拟合权重函数，所述拟合权重函数随所述像素值的信号质量而增加；
以及在所述运动指令中：
拟合指令，所述拟合指令在所述处理器执行所述运动指令时被调用，以使用所述拟合权重将所述拟合模型拟合到所述局部区域的与所述第一颜色相关联的像素值，从而针对所述图像像素确定短曝光时间第一颜色值和长曝光时间第一颜色值，以及
视差指令，所述视差指令在所述处理器执行所述运动指令时被调用，以计算所述短曝光时间第一颜色值与所述长曝光时间第一颜色值之间的视差，从而确定所述运动参数。
28.如权利要求27所述的产品，所述去马赛克指令被配置成当由所述处理器执行时：
对于不同于所述第一颜色的每种颜色，基于与所述颜色相关联的所述短曝光时间像素确定用于所述图像像素的短曝光时间值，并且基于与所述颜色相关联的所述长曝光时间像素中的不饱和长曝光时间像素确定用于所述图像像素的长曝光时间值；
对于所述第一颜色，将用于所述第一颜色的所述短曝光时间值设定为所述短曝光时间第一颜色值，并且将用于所述第一颜色的所述长曝光时间值设定为所述长曝光时间第一颜色值；以及
对于每种颜色，使用所述运动参数作为权重，以所述短曝光时间值和所述长曝光时间值的加权平均值计算所述输出值。
29.如权利要求26所述的产品，还包括：
参数存储装置，所述参数存储装置被编码在非暂态存储器中，所述参数存储装置包括：
区域大小，以及
步长大小；以及
在所述指令中：
采样指令，所述采样指令当由所述处理器执行时命令由所述处理器对所述运动补偿HDR彩色图像的每个图像像素执行所述数据选择指令，其中(i)所...
【专利技术属性】
技术研发人员：李粤龙，J·S·麦克尔韦恩，M·托菲，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。