图像修正方法、修正装置、终端设备及可读存储介质制造方法及图纸

本申请提供了一种图像修正方法、修正装置、终端设备及可读存储介质。所述方法包括：获取包含伪影的高动态范围HDR图像，以及用于合成所述HDR图像的多帧低动态范围LDR图像；从所述多帧LDR图像中选取一帧图像作为参考图像；将所述HDR图像以及所述参考图像输入至训练后的第一卷积神经网络CNN中，得到该第一CNN输出的特征图，其中，所述特征图用于去除所述HDR图像中的伪影；根据所述特征图，去除所述HDR图像中的伪影，得到修正HDR图像。本申请能够当获取到带伪影的HDR图像时，在一定程度上消除该HDR图像中的伪影。

Image correction method, correction device, terminal equipment and readable storage medium

【技术实现步骤摘要】
图像修正方法、修正装置、终端设备及可读存储介质
本申请属于终端设备
，尤其涉及一种图像修正方法、图像修正装置、终端设备及计算机可读存储介质。
技术介绍
目前，为获取高动态范围(HighDynamicRange，HDR)图像，需要首先依时间顺序获取多帧不同曝光时长下的低动态范围(LowDynamicRange，LDR)图像，然后将多帧LDR图像进行融合，得到HDR图像。上述传统的HDR图像获取方法中，由于需要依时间顺序获取多帧不同的LDR图像，因此，当拍摄主体快速运动时，会导致合成的HDR图像出现伪影。由此可见，如何去除HDR图像中的伪影是目前亟待解决的技术问题。
技术实现思路
有鉴于此，本申请实施例提供了一种图像修正方法、图像修正装置、终端设备及计算机可读存储介质。能够当获取到带伪影的HDR图像时，在一定程度上消除该HDR图像中的伪影。本申请实施例的第一方面提供了一种图像修正方法，包括：获取包含伪影的高动态范围HDR图像，以及用于合成该HDR图像的多帧低动态范围LDR图像；从上述多帧LDR图像中选取一帧图像作为参考图像；将上述HDR图像以及上述参考图像输入至训练后的第一卷积神经网络CNN中，得到该第一CNN输出的特征图，其中，该特征图用于去除上述HDR图像中的伪影；根据上述特征图，去除上述HDR图像中的伪影，得到修正HDR图像。本申请实施例的第二方面提供了一种图像修正装置，包括：图像获取模块，用于获取包含伪影的高动态范围HDR图像，以及用于合成该HDR图像的多帧低动态范围LDR图像；选取模块，用于从上述多帧LDR图像中选取一帧图像作为参考图像；特征获取模块，用于将上述HDR图像以及上述参考图像输入至训练后的第一卷积神经网络CNN中，得到该第一CNN输出的特征图，其中，该特征图用于去除上述HDR图像中的伪影；伪影去除模块，用于根据上述特征图，去除上述HDR图像中的伪影，得到修正HDR图像。本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面所述图像修正方法的步骤。本申请实施例的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面所述图像修正方法的步骤。本申请实施例的第五方面提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面所述图像修正方法的步骤。由上可见，本申请提供了一种图像修正方法。该图像修正方法在获取到包含伪影的HDR图像之后，首先，从各个LDR图像中选取一LDR图像作为参考图像；其次，将上述HDR图像以及上述LDR图像输入至第一CNN中，得到用于去除HDR图像的特征图；最后，利用所述特征图，去除HDR图像中的伪影。由于HDR图像中包含有伪影信息，参考图像中不包含伪影信息，因此，可以同时基于上述HDR图像以及上述参考图像来确定将上述HDR图像中的伪影修正为正常图像时所需的信息，并且由于卷积神经网络模型具备较强的图像信息学习能力，因此，考虑到为了获取到效果较好的修正HDR图像，申请人基于卷积神经网络模型来确定消除伪影所需的特征图。基于上述分析可知，本申请所限定的技术方案，能够当获取到的HDR图像带有伪影时，在一定程度上消除该HDR图像中的伪影。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。图1是本申请实施例一提供的一种图像修正方法的流程示意图；图2是本申请实施例二提供的另一种图像修正方法的流程示意图；图3是本申请实施例二提供的对第一CNN进行训练的过程示意图；图4是本申请实施例三提供的一种图像修正装置的结构示意图；图5是本申请实施例四提供的终端设备的结构示意图；具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定的技术细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。本申请实施例提供的方法可以适用于终端设备，示例性地，该终端设备包括但不限于：智能手机、平板电脑、笔记本、桌上型计算机、云端服务器等。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。实施例一下面对本申请实施例一提供的图像修正方法进行描述，该修正方法应用于终端设备(比如智能手机)，请参阅附图1，该方法包括如下步骤：在步骤S101中，获取包含伪影的高动态范围HDR图像，以及用于合成该HDR图像的多帧低动态范围LDR图像；在本申请实施例中，终端设备可以直接让用户输入包含伪影的HDR图像以及用于合成该HDR图像的LDR图像。或者，也可以在获取到各个LDR图像之后，自动生成上述HDR图像，也即是，该步骤S101可以包括如下步骤：步骤S1011、获取多帧LDR图像，并根据该多帧LDR图像，判断该多帧LDR图像中的拍摄主体的移动幅度是否大于预设幅度；步骤S1012、若大于上述预设幅度，则将上述多帧LDR图像进行图像融合后的图像确定所述包含伪影的HDR图像。也即是，在获取到多帧LDR图像之后，需确定拍摄主体的移动幅度是否较大(比如可以使用现有技术中的光流法检测移动幅度)，若移动幅度较大时，则可以说明该拍摄主体存在快速运动，那么图像融合后得到的HDR图像会包含伪影，因此直接将各帧LDR图像进行图像融合后得到的图像确定为包含伪影的HDR图像。本领域技术人员容易理解，当终端设备检测到拍摄主体不存在大幅度移动时，可以直接将多帧L本文档来自技高网...

【技术保护点】
1.一种图像修正方法，其特征在于，包括：/n获取包含伪影的高动态范围HDR图像，以及用于合成所述HDR图像的多帧低动态范围LDR图像；/n从所述多帧LDR图像中选取一帧图像作为参考图像；/n将所述HDR图像以及所述参考图像输入至训练后的第一卷积神经网络CNN中，得到该第一CNN输出的特征图，其中，所述特征图用于去除所述HDR图像中的伪影；/n根据所述特征图，去除所述HDR图像中的伪影，得到修正HDR图像。/n

【技术特征摘要】
1.一种图像修正方法，其特征在于，包括：
获取包含伪影的高动态范围HDR图像，以及用于合成所述HDR图像的多帧低动态范围LDR图像；
从所述多帧LDR图像中选取一帧图像作为参考图像；
将所述HDR图像以及所述参考图像输入至训练后的第一卷积神经网络CNN中，得到该第一CNN输出的特征图，其中，所述特征图用于去除所述HDR图像中的伪影；
根据所述特征图，去除所述HDR图像中的伪影，得到修正HDR图像。


2.如权利要求1所述的图像修正方法，其特征在于，所述特征图的通道数与所述HDR图像的通道数相同，且所述特征图的尺寸与所述HDR图像的尺寸相同，所述特征图具体用于通过点乘运算去除所述HDR图像中的伪影；
相应地，所述根据所述特征图，去除所述HDR图像中的伪影，得到修正HDR图像，包括：
对于所述特征图的每个通道，基于点乘运算，将该通道与所述HDR图像的对应通道进行点乘运算，其中，所述点乘运算的计算公式为：
Hi，jR＝Ci，j*Hi，j(i＝1…M；j＝1…N)
其中，Ci，j为所述特征图的该通道在位置(i，j)处的像素值，Hi，j为所述HDR图像在对应通道的位置(i，j)处的像素值，Hi，jR为所述修正HDR图像在对应通道的位置(i，j)处的像素值，所述HDR图像的尺寸为M×N；
将基于所述点乘运算得到的所述修正HDR图像的各个通道进行合成，得到去除HDR图像伪影的所述修正HDR图像。


3.如权利要求2所述的图像修正方法，其特征在于，所述将所述HDR图像以及所述参考图像输入至训练后的第一卷积神经网络CNN中，得到该第一CNN输出的特征图，包括：
将所述参考图像从LDR域映射至HDR域，得到映射后参考图像；
将所述HDR图像以及所述映射后参考图像进行通道级联后输入至训练后的所述第一CNN中，得到该第一CNN输出的初始特征图；
对所述初始特征图进行归一化处理，得到用于通过所述点乘运算去除伪影的所述特征图。


4.如权利要求1至3中任一项所述的图像修正方法，其特征在于，所述第一CNN为基于注意力机制的卷积神经网络。


5.如权利要求1至3中任一项所述的图像修正方法，其特征在于，所述获取包含伪影的高动态范围HDR图像，以及用于合成所述HDR图像的多帧低动态范围LDR图像，包括：
获取多帧LDR图像，并根据所述多帧LDR图像，判断所述多帧LDR图像中的拍摄主体的移动幅度是...

【专利技术属性】
技术研发人员：何慕威，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44