基于异构计算生成高动态范围图像的系统技术方案

本发明专利技术公开了基于异构计算生成高动态范围图像的系统。该系统包括：中央处理单元，所述中央处理单元接收以不同曝光度连续拍摄的多帧图像；图形处理单元；以及存储器，其中，在所述中央处理单元的控制下，所述图形处理单元确定对齐后的多帧图像中每一个像素点的权重；计算所述对齐后的多帧图像中的每一帧的像素对参考帧像素的相对权值；将所述相对权值施加到所述对齐后的多帧图像中每一个像素点的权重上，以形成去鬼影后的权重；基于去鬼影后的权重合成图像的拉普拉斯金字塔；所述中央处理单元利用图像的拉普拉斯金字塔生成高动态范围图像。

【技术实现步骤摘要】

本专利技术涉及图像处理领域，尤其涉及基于异构计算生成高动态范围图像的系统。
技术介绍
与普通图像相比，高动态范围HDR(High-DynamicRange)图像可以提供更多的动态范围和图像细节。根据不同的曝光时间的低动态范围LDR(Low-DynamicRange)图像，利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像，能够更好的反映出真实环境中的视觉效果。现有的高动态范围HDR图像的生成过程包括利用图像获取装置以不同曝光度连续捕捉多帧图像，然后利用图像处理装置合成这些图像以产生HDR图像。然而，当拍摄对象中存在物体移动时，由于每帧图像的获取时间之间存在特定时间差，导致在合成这些图像时，运动物体在合成图像中产生鬼影。因此，需要能够防止这种鬼影产生的处理方法和装置。
技术实现思路
本专利技术的目的是提供一种生成高动态范围图像的设备和方法，借此显著缩短HDR图像的生成时间，从而实现简单、高效的鬼影去除方案。根据本专利技术的一个方面，提供一种生成高动态范围图像的系统，包括：中央处理单元，所述中央处理单元接收以不同曝光度连续拍摄的多帧图像；图形处理单元；以及存储器，其中，在所述中央处理单元的控制下，所述图形处理单元确定对齐后的多帧图像中每一个像素点的权重；计算所述对齐后的多帧图像中的每一帧的像素对参考帧像素的相对权值；将所述相对权值施加到所述对齐后的多帧图像中每一个像素点的权重上，以形成去鬼影后的权重；基于去鬼影后的权重合成图像的拉普拉斯金字塔；所述中央处理单元利用图像的拉普拉斯金字塔生成高动态范围图像。进一步地，所述中央处理单元将所述连续拍摄的多帧图像存入所述图形处理单元的显存，在所述中央处理单元的控制下，所述图形处理单元：基于所述连续拍摄的多帧图像生成分别与所述连续拍摄的多帧图像对应的多帧灰度图；在所述多帧灰度图上生成分别与所述连续拍摄的多帧图像对应的金字塔图像序列；获取与所述金字塔图像序列对应的中间门限位图序列以及排除位图序列，所述中央处理单元基于中间门限位图序列以及排除位图序列计算所述连续拍摄的多帧图像之间的运动向量。进一步地，所述图形处理单元利用以下公式排除曝光不好的点：其中分别表示进行图像对齐的第一帧图像和第二帧图像的中间门限位图，分别表示进行图像对齐的第一帧图像和第二帧图像的排除位图，分别表示进行对齐图像的运动向量dk+1在不同方向的分量，t1、t2为候选的在不同方向上的偏移补偿量。进一步地，所述图形处理单元利用运动向量生成对齐后的多帧图像。进一步地，将所述多帧图像中的一帧设定为参考帧，当所述多帧图像中存在运动对象时，所述图形处理单元将所述多帧图像中的其它帧中运动对象所在区域的相对权值设定为零，而对于基本上没有位移的区域或所述多帧图像中不存在运动对象情况，相对权值设定为1。进一步地，对于所述多帧图像中的其它帧中运动对象所在区域，去鬼影后的权重为零。进一步地，所述中央处理单元将对齐后的多帧图像存入所述图形处理单元的显存，在所述中央处理单元的控制下，所述图形处理单元：基于所述对齐后的多帧图像生成分别与所述对齐后的多帧图像对应的多帧灰度图；在所述多帧灰度图上生成分别与所述对齐后的多帧图像对应的金字塔图像序列；获取与所述金字塔图像序列对应的中间门限位图序列以及排除位图序列；计算X＝xor(M1,M2)&E1&E2，其中M2表示所述对齐后的多帧图像的参考帧的中间门限位图，M1表示所述对齐后的多帧图像的其它帧的中间门限位图，E2表示所述对齐后的多帧图像的参考帧的排除位图，E1表示所述对齐后的多帧图像的其它帧的排除位图；对X中所有点，如果其周围5*5领域的值全为1，则将此点值设定为1，否则将此点值设定为0；将图像分块，当X中某一块中非零个数大于等于100时，将相对权值中对应的块中的值设定为0。进一步地，根据以下公式计算所述多帧图像中的每一帧的每个像素的相对权值RMl(i,j)：其中，v是预先设定的常数，I2g(i,j)表示参考帧图像的每一个像素的值，Ilg(i,j)表示所述多帧图像中图像Il的每一个像素的值。进一步地，所述鬼影去除单元对去鬼影后的权重进行归一化。进一步地，所述图形处理单元将归一化厚度权重施加到所述对齐后的图像序列，以合成图像的拉普拉斯金字塔。与现有技术相比，本专利技术的优点包括：通过本专利技术提供的方案，可以在检测到运动区域后，直接使该区域中其它帧相对参考帧的相对权值降为零。对于运动区域，参考帧中的像素被直接复制到HDR图像的相应区域，因此无需计算运动对象的位置和速度，因此大大简化了计算量，显著缩短HDR图像的生成时间，从而实现简单、高效的鬼影去除方案，同时采用CPU与GPU的异构计算大大提高计算效率。附图说明为了进一步阐明本专利技术的各实施例的以上和其它优点和特征，将参考附图来呈现本专利技术的各实施例的更具体的描述。可以理解，这些附图只描绘本专利技术的典型实施例，因此将不被认为是对其范围的限制。在附图中，相同或相应的部件将用相同或类似的标记表示。图1示出根据本专利技术的一个实施例的异构计算系统100。图2示出根据本专利技术的实施例的图像对齐方法的流程图。图3示出根据本专利技术的实施例的生成高动态范围HDR图像的方法300。图4示出根据本专利技术的实施例相对权值的确定过程的方法。图5示出根据本专利技术的实施例产生的HDR图像的效果图。具体实施方式在以下的描述中，参考各实施例对本专利技术进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的方法或操作以免造成本专利技术的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量和配置，以便提供对本专利技术的实施例的全面理解。然而，本专利技术可在没有特定细节的情况下实施。图1示出根据本专利技术的一个实施例的异构计算系统100。异构计算系统100包括中央处理单元(CPU)110和图形处理单元(GPU)120。中央处理单元(CPU)110和图形处理单元(GPU)120接收主机侧命令队列。图1所示的系统100可被包含在移动设备中，作为移动设备的一部分。该移动设备可以是相机、移动电话、智能电话、个人数字助理(PDA)、平板个人计算机、膝上型计算机、或任意其他类型的移动计算设备。在本申请公开的生成高动态范围HDR图像的方法中，CPU110用于进行图像的输入、纹理的查找与匹配以及整体的控制流程等，因为其中包含大量的逻辑判断处理。GPU120用于矩阵运算，这种线程无关性的大量并行操作非常适合在GPU120这样的大规模并行硬件上执行。通过对CPU110和GPU120的合理运用，将异构计算的巨大优势进行释放，显著缩短HDR图像的生成时间。本专利技术公开的图像对齐过程主要包括图像对齐、鬼影去除和图像融合三部分。图2示出根据本专利技术的一个实施例的图像对齐过程的流程图。首先，由CPU110接收以不同曝光度连续拍摄的多帧图像，并对这些图像进行对齐。例如，可从诸如相机之类的图像捕捉单元获取连续拍摄的多帧图像。图像捕捉单元以不同的图像曝光时间快速捕捉连续的图像。虽然图像捕捉单元所捕捉的每帧图像之间间隔的时间很短，但是在图像捕捉期间图像捕捉单元可能会有稍微的移动，导致原始图像不能直接彼此对齐。因此本文档来自技高网...

【技术保护点】
一种生成高动态范围图像的系统，包括：中央处理单元，所述中央处理单元接收以不同曝光度连续拍摄的多帧图像；图形处理单元；以及存储器，其中，在所述中央处理单元的控制下，所述图形处理单元确定对齐后的多帧图像中每一个像素点的权重；计算所述对齐后的多帧图像中的每一帧的像素对参考帧像素的相对权值；将所述相对权值施加到所述对齐后的多帧图像中每一个像素点的权重上，以形成去鬼影后的权重；基于去鬼影后的权重合成图像的拉普拉斯金字塔；所述中央处理单元利用图像的拉普拉斯金字塔生成高动态范围图像。

【技术特征摘要】
1.一种生成高动态范围图像的系统，包括：中央处理单元，所述中央处理单元接收以不同曝光度连续拍摄的多帧图像；图形处理单元；以及存储器，其中，在所述中央处理单元的控制下，所述图形处理单元确定对齐后的多帧图像中每一个像素点的权重；计算所述对齐后的多帧图像中的每一帧的像素对参考帧像素的相对权值；将所述相对权值施加到所述对齐后的多帧图像中每一个像素点的权重上，以形成去鬼影后的权重；基于去鬼影后的权重合成图像的拉普拉斯金字塔；所述中央处理单元利用图像的拉普拉斯金字塔生成高动态范围图像。2.如权利要求1所述的系统，其特征在于，所述中央处理单元将所述连续拍摄的多帧图像存入所述图形处理单元的显存，在所述中央处理单元的控制下，所述图形处理单元：基于所述连续拍摄的多帧图像生成分别与所述连续拍摄的多帧图像对应的多帧灰度图；在所述多帧灰度图上生成分别与所述连续拍摄的多帧图像对应的金字塔图像序列；获取与所述金字塔图像序列对应的中间门限位图序列以及排除位图序列，所述中央处理单元基于中间门限位图序列以及排除位图序列计算所述连续拍摄的多帧图像之间的运动向量。3.如权利要求2所述的系统，其特征在于，所述图形处理单元利用以下公式排除曝光不好的点：其中分别表示进行图像对齐的第一帧图像和第二帧图像的中间门限位图，分别表示进行图像对齐的第一帧图像和第二帧图像的排除位图，分别表示进行对齐图像的运动向量dk+1在不同方向的分量，t1、t2为候选的在不同方向上的偏移补偿量。4.如权利要求2所述的系统，其特征在于，所述图形处理单元利用运动向量生成对齐后的多帧图像。5.如权利要求1所述的系统，其特征在于，将所述多帧图像中的一帧设定为参考帧，当所述多帧图像中存在运动对象时，所述图形处理单元将所述多帧图像中的其它帧中运动对象所在区域的相对权值设定为...

【专利技术属性】
技术研发人员：肖东晋，张立群，刘顺宗，
申请(专利权)人：阿依瓦北京技术有限公司，
类型：发明
国别省市：北京;11