处理图像的设备和方法技术

一种通过宽动态范围（WDR）处理来处理图像并利用WDR处理获得具有宽动态区域的图像的设备和方法。所述方法包括：接收具有不同的曝光时间的长曝光图像和短曝光图像；检测当长曝光图像和短曝光图像融合时可能出现的运动伪影区域；通过非线性地调节短曝光图像的增益以使得短曝光图像的亮度分量对应于长曝光图像的亮度分量来产生非线性增益控制短曝光图像；基于检测到的运动伪影区域补偿非线性增益控制曝光图像中的运动；融合非线性增益控制短曝光图像和长曝光图像以输出执行了WDR处理的图像。

【技术实现步骤摘要】
处理图像的设备和方法本申请要求于2013年1月17日提交到韩国知识产权局的第10-2013-0005428号韩国专利申请的权益，所述申请的公开内容通过引用完整地合并与此。
与示例性实施例一致的设备和方法涉及处理图像，更具体地讲，涉及通过宽动态范围（WDR）处理获得具有宽动态区域的图像的处理图像。
技术介绍
近来，对于诸如数码相机、数码摄像机和相机电话的数字图像处理设备的用户需求快速增加。因此，数字图像处理设备变得越来越复杂，且添加了越来越多样化的功能。然而，由于数字图像处理设备获得与实际屏幕的动态区域相比具有相对较小区域的动态区域，数字图像处理设备无法处理实际屏幕的所有信息。具体地讲，当在图像的亮部分与暗部分之间的发光强度的差异由于背光而较大的情况下获得图像时，难以获得关于图像的亮部分和暗部分二者的足够信息。因此，对应区域的图像质量可能显著劣化。为了解决这一问题，已开发出WDR图像处理。WDR处理允许通过融合短曝光图像和长曝光图像来产生图像的亮部分和暗部分均清楚可见的图像。短曝光图像的曝光时间被调节为较短，以使得图像的亮部分可被清楚地看见，长曝光图像的曝光时间被调节为较长，以使得图像的暗部分可被清楚地看见。然而，当实际图像中出现移动对象时，在执行WDR处理的图像中可能产生运动伪影。因此，在应用WDR处理时，需要校正运动伪影的图像处理技术。
技术实现思路
示例性实施例至少解决上述问题和/或缺点以及上面没有描述的其他缺点。另外，不要求示例性实施例克服上述缺点，示例性实施例可不克服上述任何问题。一个或多个示例性实施例提供一种处理图像的设备和方法，据此可校正在WDR处理中可能出现的运动伪影。根据示例性实施例的一方面，提供一种图像处理设备，包括：图像输入单元，被构造为接收具有不同的曝光时间的长曝光图像和短曝光图像；运动伪影区域检测单元，被构造为检测由长曝光图像和短曝光图像的融合引起的运动伪影区域；非线性增益调节单元，被构造为通过非线性地调节接收的短曝光图像的增益来产生非线性增益控制短曝光图像，其中所述调节将短曝光图像的亮度分量调节为对应于长曝光图像的亮度分量，所述非线性增益调节单元还被构造为基于检测到的运动伪影区域补偿产生的非线性增益控制短曝光图像中的运动；融合单元，被构造为融合非线性增益控制短曝光图像和长曝光图像，以输出执行了宽动态范围（WDR）处理的图像。根据示例性实施例的另一方面，提供一种处理图像的方法，所述方法包括：利用图像传感器接收具有不同的曝光时间的长曝光图像和短曝光图像；检测由长曝光图像和短曝光图像的融合引起的运动伪影区域，以产生检测到的运动伪影区域的位置信息和将应用于检测到的运动伪影区域的权重信息；非线性地调节短曝光图像的增益以产生非线性增益控制短曝光图像，其中所述非线性地调节的步骤将短曝光图像的亮度分量调节为对应于长曝光图像的亮度分量；基于检测到的运动伪影区域补偿非线性增益控制短曝光图像中的运动；融合非线性增益控制短曝光图像和长曝光图像，以输出执行了宽动态范围（WDR）处理的图像。根据示例性实施例的另一方面，提供一种图像处理设备，包括：运动伪影区域检测单元，被构造为检测由长曝光图像和短曝光图像的融合引起的运动伪影区域；非线性增益调节单元，被构造为通过非线性地调节短曝光图像的增益来产生非线性增益控制短曝光图像，并且还被构造为基于运动伪影区域补偿非线性增益控制短曝光图像中的运动。.附图说明通过参照附图描述特定示例性实施例，上述和/或其他方面将更清楚，其中：图1A至图1C是示出根据现有技术的WDR处理以及在WDR处理中产生的运动伪影的示意图；图2A是示出根据示例性实施例的图像处理设备的示意性结构图；图2B是示出根据示例性实施例的图像处理方法的示意性流程图；图3A是示出根据示例性实施例，根据长曝光图像和短曝光图像的拍摄时间的差异，在融合长曝光图像和短曝光图像时可能出现的运动伪影的示意图；图3B是示出根据示例性实施例的检测图3A所示的运动伪影的运动伪影区域检测单元的示意性结构框图；图4A是示出根据示例性实施例的作为图像处理设备的元件的非线性增益调节单元的示意性结构框图；图4B是示出根据示例性实施例的可使用图4A所示的非线性增益调节单元执行的图像处理方法的示意性流程图；图4C是示出图4B所示的图像处理方法的操作的示意图；图5A是示出根据示例性实施例的基于运动伪影区域补偿非线性短曝光图像内的运动的方法的示意性流程图；图5B是图5A所示的运动补偿方法的算法的示意图；图6示出根据示例性实施例的将短曝光图像的亮度分量规范化，以符合长曝光图像的亮度分量的操作；图7示出根据示例性实施例的融合长曝光图像和短曝光图像的操作；图8示出当应用根据示例性实施例的图像处理方法时，去除了运动伪影的结果图像。具体实施方式下面的描述仅举例说明了特定示例性实施例的原理。即使未在本说明书中清楚地描述或示出，本领域普通技术人员可采用示例性实施例的原理并在示例性实施例的概念和范围内专利技术各种设备。本说明书中所呈现的条件术语和示例性实施例的使用仅意在清楚表达示例性实施例的概念，其不限于说明书中所提及的示例性实施例和条件。另外，对示例性实施例的原理和观点的所有详细描述应该被理解为包括结构和功能等同物。所述等同物不仅包括目前已知的等同物，而且包括未来将开发出的等同物，即，为执行相同功能而专利技术的所有装置，而不管其结构。因此，图中所示的各种装置的功能（包括表示为处理或类似概念的功能块）不仅可利用专用于所述功能的硬件来提供，而且可利用能够运行用于所述功能的适当软件的硬件来提供。当通过处理器提供功能时，所述功能可通过单个专用处理器、单个共享处理器或多个单独的处理器（其部分可被共享）来提供。术语“处理器”、“控制”或类似概念的使用不应被理解为排他地表示能够运行软件的一件硬件，而是应该理解为隐含地包括存储软件的数字信号处理器（DSP）、硬件、ROM、RAM和非易失性存储器。其他已知和常用的硬件也可包括在其中。通过下面参照附图进行的详细描述，上述目的、特征和优点将更明显。另外，省略或不详细描述熟知技术或构造，因为它们将在不必要的细节方面模糊示例性实施例。当一个部件“包括”组件时，其表示该部件不包括除了所述组件之外的组件，但可包括其他组件，只要没有相反的特殊指示即可。以下，将参照附图详细描述示例性实施例。如本文所用，术语“和/或”包括一个或多个关联所列项的任何和所有组合。在元件列表之前的诸如“……中的至少一个”的表达修饰整个元件列表，而非修饰列表中的各个元件。尽管诸如数码相机的图像处理设备的性能在不断提高，但是由于动态范围的局限，在获得图像时所使用的现有技术的电荷耦合器件（CCD）或互补金属氧化物半导体（CMOS）传感器中引起亮区域或暗区域的信息的丢失。动态区域是指图像的最亮区域和最暗区域之间的亮度之比。由于与实际场景的动态区域相比，图像获得设备中所使用的传感器的动态区域非常小，所以可能未完全表现实际场景的亮范围。图1A是示出产生可表现实际场景的亮度范围的具有宽动态范围的图像的现有技术的WDR处理的示意图。参照图1A，在WDR处理中，在长的曝光时间段中获得长曝光图像信号101，在短的曝光时间段中获得短曝光图像信号102。执行预定的曝光信号处理103，其中，本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：图像输入单元，被构造为接收具有不同的曝光时间的长曝光图像和短曝光图像；运动伪影区域检测单元，被构造为检测由长曝光图像和短曝光图像的融合引起的运动伪影区域；非线性增益调节单元，被构造为通过非线性地调节接收的短曝光图像的增益来产生非线性增益控制短曝光图像，其中，所述调节将短曝光图像的亮度分量调节为对应于长曝光图像的亮度分量，所述非线性增益调节单元还被构造为基于检测到的运动伪影区域补偿产生的非线性增益控制短曝光图像中的运动；融合单元，被构造为融合非线性增益控制短曝光图像和长曝光图像，以输出执行了宽动态范围（WDR）处理的图像。

【技术特征摘要】
2013.01.17 KR 10-2013-00054281.一种图像处理设备，包括：图像输入单元，被构造为接收具有不同的曝光时间的长曝光图像和短曝光图像；运动伪影区域检测单元，被构造为检测由长曝光图像和短曝光图像的融合引起的运动伪影区域；非线性增益调节单元，被构造为通过非线性地调节接收的短曝光图像的增益来产生非线性增益控制短曝光图像，其中，所述调节将短曝光图像的亮度分量调节为对应于长曝光图像的亮度分量，所述非线性增益调节单元还被构造为基于检测到的运动伪影区域补偿产生的非线性增益控制短曝光图像中的运动；融合单元，被构造为融合非线性增益控制短曝光图像和长曝光图像，以输出执行了宽动态范围WDR处理的图像，其中，所述非线性增益调节单元还被构造为计算短曝光图像的贝尔图形的每一单位区域的最大颜色，被构造为将短曝光图像规范化以使得短曝光图像的亮度分量对应于长曝光图像的亮度分量，并且被构造为基于非线性曲线计算与每一单位区域的最大颜色对应的增益值，其中，通过调节短曝光图像的增益产生所述非线性曲线。2.根据权利要求1所述的图像处理设备，其中，所述图像输入单元还被构造为利用图像传感器选择性地调节各个帧的曝光时间，以获得长曝光图像和短曝光图像。3.根据权利要求1所述的图像处理设备，其中，所述运动伪影区域检测单元还被构造为产生运动伪影区域的位置信息和用于运动伪影区域的权重信息。4.根据权利要求1所述的图像处理设备，其中，所述运动伪影区域检测单元包括：放大单元，被构造为按照短曝光图像的曝光时间与长曝光图像的曝光时间之比放大短曝光图像；第一低通滤波器，被构造为对由短曝光图像和长曝光图像的融合引起的形成为短曝光图像与长曝光图像之间的边界的长曝光图像的区域进行平滑；局部对象检测单元，被构造为基于长曝光图像与短曝光图像之间的差异检测运动伪影区域；第二低通滤波器，被构造为对将形成为检测到的运动伪影区域的边界的区域进行平滑；权重设置单元，被构造为设置用于检测到的运动伪影区域的权重。5.根据权利要求1所述的图像处理设备，其中，通过根据亮度级将与长曝光图像的亮度分量对应的短曝光图像的亮度分量分类到多个亮度分量区域中，向分类的亮度分量区域分别应用不同的系数以分别形成与每一个分类的亮度分量区域对应的线性曲线，并将分别形成的线性曲线连接，来产生所述非线性曲线。6.根据权利要求1所述的图像处理设备，其中，所述非线性增益调节单元还被构造为基于检测到的运动伪影区域的位置信息对非线性增益控制短曝光图像的伪影局部块以及伪影局部块周围的长曝光图像的局部块进行定位，并被构造为从伪影局部块周围的长曝光图像的局部块中获得与伪影局部块最类似的局部块，以基于伪影局部块与伪影局部块周围的长曝光图像的局部块中的获得的局部块之间的差异计算短曝光图像的增益值，以用于补偿检测到的运动伪影区域。7.根据权利要求6所述的图像处理设备，其中，所述非线性增益调节单元还被构造为从运动伪影区域检测单元接收用于检测到的运动伪影区域的权重，并且被构造为基于接收的权重和计算的短曝光图像的增益值补偿非线性增益控制短曝光图像中的运动。8.根据权利要求1所述的图像处理设备，其中，所述融合单元还被构造为从运动伪影区域检测单元接收用于检测到的运动伪影区域的权重，并且被构造为基于接收的权重调节非线性增益控制短曝光图像和长曝光图像的融合权重。9.一种处理图像的方法，所述方法包括：利用图像传感器接收具有不同的曝光时间的长曝光图像和短曝光图像；检测由长曝光图像和短曝光图...

【专利技术属性】
技术研发人员：李畅敏，
申请(专利权)人：三星泰科威株式会社，
类型：发明
国别省市：韩国;KR