高动态范围图像全分辨率重建方法、装置及电子设备制造方法及图纸

本发明专利技术提供一种高动态范围图像全分辨率重建方法，包括：采集同时包含长曝光像素和短曝光像素的图像；计算当前像素点所在区域各方向的梯度值，得到四个方向上的梯度信息；根据梯度信息判断当前像素点所在区域的方向，在当前像素点所在区域不是平坦区域时，初步确定梯度值较小的方向为插值方向；当该方向为非优先插值方向时，判断非优先插值方向与优先插值方向的梯度的比例是否小于设定阈值；根据判断结果对当前像素点进行优先插值方向或非优先插值方向插值计算；对当前像素所在区域进行运动检测，对发生运动的像素值进行运动补偿处理；对当前像素所在区域进行亮度估计，使用当前像素点所在区域的亮度值与预设的融合阈值对图像进行融合决策和处理。

High dynamic range image full resolution reconstruction method, device and electronic equipment

【技术实现步骤摘要】
高动态范围图像全分辨率重建方法、装置及电子设备
本专利技术涉及图像处理
，尤其涉及一种高动态范围图像全分辨率重建方法、装置及电子设备。
技术介绍
由于普通图像传感器的动态范围要小于真实场景的动态范围，拍摄的图像就会造成高亮或者低亮地方的信息损失。使用高动态范围(HighDynamicRange，HDR)技术能够大大增加生成图像的动态范围，目前高动态范围技术已经广泛应用在智能手机、平板电脑等电子设备中。手机中最常见的高动态范围技术是多重曝光合成技术，这种技术一般由软件实现，使用前后两帧长、短曝光的图像，或者前后三帧长、中、短曝光的图像进行融合，高亮处利用短曝光图像，阴暗处利用长曝光图像来呈现细节，达到提升图像动态范围的目的。但是这种方法存在一些缺点：前后拍摄的图像存在时间差，融合时会遇到图像对齐的问题，且多帧融合软件运算时间较长等因素限制着其在视频高动态范围方面的应用。
技术实现思路
本专利技术提供的高动态范围图像全分辨率重建方法、装置及电子设备，能够有效的在视频中实现高动态范围功能，提高图像细节以及运动场景的处理能力，从而提高动态范围图像的质量。第一方面，本专利技术提供一种高动态范围图像全分辨率重建方法，所述方法包括：通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的图像；计算当前像素点所在区域各方向的梯度值，得到当前像素点所在区域四个方向上的梯度信息；根据所述梯度信息判断当前像素点所在区域的方向，如果四个方向的梯度值均小于设定的阈值，则所述区域为平坦区域，当所述当前像素点所在区域不是平坦区域时，初步确定梯度值较小的方向为插值方向，进一步判断该方向为优先插值方向还是非优先插值方向；当梯度较小的方向为非优先插值方向时，判断当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例是否小于设定的阈值，以及判断当前像素点所在区域是否为饱和区域、低亮区域以及运动区域，如果满足以上条件则放弃非优先插值方向；根据插值方向判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算；对当前像素所在的区域进行运动检测，判断运动信息是否超过预设的阈值，对发生运动的像素值进行运动补偿处理，去除鬼影；对当前像素的所在区域进行亮度估计，使用当前像素点所在区域的亮度值与预设的融合阈值对图像进行融合决策和处理。可选地，通过所述高动态范围传感器采集到的图像的曝光比例为1:1、1:2、1:4、1:8或1:16，所述曝光比例为图像在同一帧内的长曝光时间和短曝光时间的比例。可选地，所述计算当前像素点所在区域各方向的梯度值包括：将当前像素点所在区域短曝光位置的像素值根据曝光比例转换成长曝光像素值，或者将当前像素点所在区域长曝光位置的像素值根据曝光比例转换成短曝光像素值；使用相应的梯度检测算子获取转换后的当前像素点所在区域的水平梯度值、垂直梯度值、斜45度梯度值以及斜135度梯度值。可选地，所述将当前像素点所在区域短曝光位置的像素值根据曝光比例转换成长曝光像素值包括：将当前像素点所在区域短曝光位置的像素值乘以所述曝光比例，得到像当前素点所在区域短曝光位置的长曝光像素值；所述将当前像素点所在区域长曝光位置的像素值根据曝光比例转换成短曝光像素值包括：将当前像素点所在区域长曝光位置的像素值除以所述曝光比例，得到当前像素点所在区域长曝光位置的短曝光像素值。可选地，所述当前像素点所在区域不是平坦区域时，判断当前像素点需要进行插值的方向为优先插值方向还是非优先插值方向包括：当在需要进行插值的方向上存在与当前像素曝光时间不同的像素点时，判定插值方向为优先插值方向；当在需要进行插值的方向上不存在与当前像素曝光时间不同的像素点时，判定插值方向为非优先插值方向。可选地，所述根据插值方向判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算包括：当所述需要进行插值的方向为优先插值方向时，对当前像素点进行优先插值方向的插值计算；当所述需要进行插值的方向为非优先插值方向时，非优先插值方向的选择有如下的限制：如果所述当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例小于设定的阈值，或者当前像素点所在区域是饱和区域、低亮区域以及运动区域中的任意一种，放弃选择非优先插值方向，对当前像素点进行优先插值方向的插值计算。可选地，所述当所述需要进行插值的方向为优先插值方向时，对当前像素点进行优先插值方向的插值计算包括：当所述当前像素点为长曝光像素时，待插值像素为短曝光像素时，使用所述需要进行插值的方向上的短曝光像素直接进行插值，得到当前像素位置的短曝光像素值；当所述当前像素点为短曝光像素时，待插值像素为长曝光像素时，使用所述需要进行插值的方向上的长曝光像素直接进行插值，得到当前像素位置的长曝光像素值；所述当所述需要进行插值的方向为非优先插值方向时，对当前像素点进行非优先插值方向的插值计算包括：当所述当前像素点为长曝光像素，待插值像素为短曝光像素时，将所述需要进行插值的方向上的长曝光像素值转换算成短曝光像素值，再进行插值计算，换算方法为长曝光像素值除以曝光比例；当所述当前像素点为短曝光像素时，待插值像素为长曝光像素时，将所述需要进行插值的方向上的短曝光像素值转换算成长曝光像素值，再进行插值计算，换算方法为短曝光像素值乘以曝光比例。可选地，所述方法还包括：当所述当前像素点所在区域为平坦区域时，且当前像素点为长曝光像素，待插值像素为短曝光像素时，将当前像素点周围的所有短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值；当所述当前像素点所在区域为平坦区域时，且当前像素点为短曝光像素，待插值像素为长曝光像素时，将当前像素点周围的所有长曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。可选地，所述对当前像素的所在区域进行亮度估计，使用当前像素点所在区域的亮度值与预设的融合阈值对图像进行融合决策和处理包括：计算当前素点所在区域的亮度值；将所述亮度值与设定的第一融合阈值和第二融合阈值进行比较；当所述亮度值小于所述第一阈值时，对当前像素点所在区域采用长曝光像素值进行图像融合；当所述亮度值在第一阈值和第二阈值之间时，对当前像素点所在区域采用长曝光像素值与短曝光像素值的线性加权平均值进行图像融合；当所述亮度值大于所述第二阈值时，对当前像素点所在区域采用短曝光像素值进行图像融合。第二方面，本专利技术提供一种高动态范围图像全分辨率重建装置，所述装置包括：采集单元，用于通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的图像；第一计算单元，用于计算当前像素点所在区域各方向的梯度值，得到当前像素点所在区域四个方向上的梯度信息；第一判断单元，用于根据所述梯度信息判断当前像素点所在区域的方向，如果四个方向的梯度值均小于设定的阈值，则所述区域为平坦区域；第二判断单元，用于当所述当前像素点所在区域不是平坦区域时，初步确定梯度值较小的方向为插值方向，进一步判断当前像素点需要进行插值的方向为优先插值方向还是非优先插值方向；第三判断单元，用于当梯度较小的方向为非优先插值方向时，判断当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例是否小于设定的阈值，以及判断当前像素点所在区域是否为饱和区域、低亮区域以及运动区域，如果满足以上条件则放弃非优先插值方向；第二计算单本文档来自技高网...

【技术保护点】
1.一种高动态范围图像全分辨率重建方法，其特征在于，所述方法包括：通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的图像；计算当前像素点所在区域各方向的梯度值，得到当前像素点所在区域四个方向上的梯度信息；根据所述梯度信息判断当前像素点所在区域的方向，如果四个方向的梯度值均小于设定的阈值，则所述区域为平坦区域，当所述当前像素点所在区域不是平坦区域时，初步确定梯度值较小的方向为插值方向，进一步判断该方向为优先插值方向还是非优先插值方向；当梯度较小的方向为非优先插值方向时，判断当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例是否小于设定的阈值，以及判断当前像素点所在区域是否为饱和区域、低亮区域以及运动区域，如果满足以上条件则放弃非优先插值方向；根据插值方向判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算；对当前像素所在的区域进行运动检测，判断运动信息是否超过预设的阈值，对发生运动的像素值进行运动补偿处理，去除鬼影；对当前像素的所在区域进行亮度估计，使用当前像素点所在区域的亮度值与预设的融合阈值对图像进行融合决策和处理。

【技术特征摘要】
1.一种高动态范围图像全分辨率重建方法，其特征在于，所述方法包括：通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的图像；计算当前像素点所在区域各方向的梯度值，得到当前像素点所在区域四个方向上的梯度信息；根据所述梯度信息判断当前像素点所在区域的方向，如果四个方向的梯度值均小于设定的阈值，则所述区域为平坦区域，当所述当前像素点所在区域不是平坦区域时，初步确定梯度值较小的方向为插值方向，进一步判断该方向为优先插值方向还是非优先插值方向；当梯度较小的方向为非优先插值方向时，判断当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例是否小于设定的阈值，以及判断当前像素点所在区域是否为饱和区域、低亮区域以及运动区域，如果满足以上条件则放弃非优先插值方向；根据插值方向判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算；对当前像素所在的区域进行运动检测，判断运动信息是否超过预设的阈值，对发生运动的像素值进行运动补偿处理，去除鬼影；对当前像素的所在区域进行亮度估计，使用当前像素点所在区域的亮度值与预设的融合阈值对图像进行融合决策和处理。2.根据权利要求1所述的方法，其特征在于，通过所述高动态范围传感器采集到的图像的曝光比例为1:1、1:2、1:4、1:8或1:16，所述曝光比例为图像在同一帧内的长曝光时间和短曝光时间的比例。3.根据权利要求2所述的方法，其特征在于，所述计算当前像素点所在区域各方向的梯度值包括：将当前像素点所在区域短曝光位置的像素值根据曝光比例转换成长曝光像素值，或者将当前像素点所在区域长曝光位置的像素值根据曝光比例转换成短曝光像素值；使用相应的梯度检测算子获取转换后的当前像素点所在区域的水平梯度值、垂直梯度值、斜45度梯度值以及斜135度梯度值。4.根据权利要求3所述的方法，其特征在于，所述将当前像素点所在区域短曝光位置的像素值根据曝光比例转换成长曝光像素值包括：将当前像素点所在区域短曝光位置的像素值乘以所述曝光比例，得到像当前素点所在区域短曝光位置的长曝光像素值；所述将当前像素点所在区域长曝光位置的像素值根据曝光比例转换成短曝光像素值包括：将当前像素点所在区域长曝光位置的像素值除以所述曝光比例，得到当前像素点所在区域长曝光位置的短曝光像素值。5.根据权利要求1所述的方法，其特征在于，所述当前像素点所在区域不是平坦区域时，判断当前像素点需要进行插值的方向为优先插值方向还是非优先插值方向包括：当在需要进行插值的方向上存在与当前像素曝光时间不同的像素点时，判定插值方向为优先插值方向；当在需要进行插值的方向上不存在与当前像素曝光时间不同的像素点时，判定插值方向为非优先插值方向。6.根据权利要求5所述的方法，其特征在于，所述根据插值方向判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算包括：当所述需要进行插值的方向为优先插值方向时，对当前像素点进行优先插值方向的插值计算；当所述需要进行插值的方向为非优先插值方向时，非优先插值方向的选择有如下的限制：如果所述当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例小于设定的阈值，或者当前像素点所在区域是饱和区域、低亮区域以及运动区域中的任意一种，放弃选择非优先插值方向，对当前像素点进行优先插值方向的插值计算。7.根据权利要求6所述的方法，其特征在于，所述当所述需要进行插值的方向为优先插值方向时，对当前像素点进行优先插值方向的插值计算包括：当所述当前像素点为长曝光像素，待插值像素为短曝光像素时，使用所述需要进行插值的方向上的短曝光像素直接进行插值，得到当前像素位置的短曝光像素值；当所述当前像素点为短曝光像素，待插值像素为长曝光像素时，使用所述需要进行插值的方向上的长曝光像素直接进行插值，得到当前像素位置的长曝光像素值；所述当所述需要进行插值的方向为非优先插值方向时，对当前像素点进行非优先插值方向的插值计算包括：当所述当前像素点为长曝光像素，待插值像素为短曝光像素时，将所述需要进行插值的方向上的长曝光像素值转换算成短曝光像素值，再进行插值计算，换算方法为长曝光像素值除以曝光比例；当所述当前像素点为短曝光像素，待插值像素为长曝光像素时，将所述需要进行插值的方向上的短曝光像素值转换算成长曝光像素值，再进行插值计算，换算方法为短曝光像素值乘以曝光比例。8.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述当前像素点所在区域为平坦区域时，且当前像素点为长曝光像素，待插值像素为短曝光像素时，将当前像素点周围的所有短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值；当所述当前像素点所在区域为平坦区域时，且当前像素点为短曝光像素，待插值像素为长曝光像素时，将当前像素点周围的所有长曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。9.根据权利要求1所述的方法，其特征在于，所述对当前像素的所在区域进行亮度估计，使用当前像素点所在区域的亮度值与预设的融合阈值对图像进行融合决策和处理包括：计算当前素点所在区域的亮度值；将所述亮度值与设定的第一融合阈值和第二融合阈值进行比较；当所述亮度值小于所述第一阈值时，对当前像素点所在区域采用长曝光像素值进行图像融合；当所述亮度值在第一阈值和第二阈值之间时，对当前像素点所在区域采用长曝光像素值与短曝光像素值的线性加权平均值进行图像融合；当所述亮度值大于所述第二阈值时，对当前像素点所在区域采用短曝...

【专利技术属性】
技术研发人员：霍星，蔡进，孟春芝，李怀东，王微，
申请(专利权)人：北京展讯高科通信技术有限公司，
类型：发明
国别省市：北京,11