本申请公开了一种图像处理的方法及相关装置，获取第一特征图和第二特征图，第一特征图用于描述目标图像的高频细节特征，第二特征图用于描述目标图像的低频结构特征，第一特征图和第二特征图的尺寸相同。对第一特征图进行第一卷积处理，得到第一增强结果，对第二特征图进行第二卷积处理，得到第二增强结果。将第一增强结果和第二增强结果融合，得到第一融合结果，第一融合结果用于生成目标图像的增强图像。本申请中，分别对目标图像的高频细节特征和低频结构特征进行卷积处理，其中，高频细节特征的卷积处理可以优化图像的细节特征，低频结构特征的卷积处理可以优化图像的色调映射，通过两种不同类型的卷积结果的融合，可以提高图像增强的质量。图像增强的质量。图像增强的质量。
【技术实现步骤摘要】
一种图像处理的方法及相关装置
[0001]本申请实施例涉及人工智能
，尤其涉及一种图像处理的方法及相关装置。
技术介绍
[0002]近年来随着深度学习技术的高速发展，基于神经网络算法所设计的高动态范围(highdynamic range，HDR)增强技术，可以实现更好的增强效果。
[0003]基于神经网络算法的HDR增强技术，可以对待处理图像进行尺寸压缩及细节信息提取， 得到尺寸压缩后的第一图像以及待处理图像的细节特征图。对第一图像进行高动态范围 HDR增强处理，得到增强的第二图像。根据细节特征图，对第二图像进行尺寸放大及细节 信息恢复，从而得到经过HDR增强的图像。
[0004]经过对比测试，现有的HDR增强算法逻辑较为简单，经过HDR增强后所得到的图像质 量并不能很好地满足需求。因此，提高HDR图像的质量是一个亟需解决的技术问题。
技术实现思路
[0005]本申请实施例提供了一种图像处理的方法及相关装置，用于提高图像增强的质量。
[0006]第一方面，本申请实施例提供了一种图像处理的方法，针对待增强的目标图像，需要 获取该目标图像对应的第一特征图和第二特征图，其中，第一特征图和第二特征图的尺寸 相同，第一特征图用于描述目标图像的高频细节特征，第二特征图用于描述目标图像的低 频结构特征。
[0007]本申请实施例中，以目标图像作为需要进行HDR增强的原始图像，其中，该目标图像 具体可以是静态的SDR图片，也可以是SDR视频流中的图像帧。即，本申请中的图像处理 的方法，可以应用于静态图片的HDR增强，也可以应用于视频的HDR增强，具体此处不做 限定。
[0008]由于第一特征图描述了目标图像的高频细节特征，因此对第一特征图进行第一卷积处 理，得到第一增强结果，从而优化图像的色调映射。由于第二特征图描述了目标图像的低 频结构特征，因此对第二特征图进行第二卷积处理，得到第二增强结果，从而优化图像的 细节特征。由于色调映射和细节特征的处理机制不同，本申请实施例中，针对于高频细节 特征的卷积处理和针对于低频结构特征的卷积处理，两个卷积类型(第一卷积处理和第二 卷积处理)的卷积滤波核是可以互不相同的，因此，基于不同的任务分来细化专门的卷积 滤波核处理，可以使得最终的增强效果够得到提升。
[0009]将第一增强结果和第二增强结果进行融合，所得到的第一融合结果可以用于后续生成 目标图像的增强图像。本申请中，分别对目标图像的高频细节特征和低频结构特征进行卷 积处理，其中，高频细节特征的卷积处理可以优化图像的细节特征，低频结构特征的卷积 处理可以优化图像的色调映射，通过两种不同类型的卷积结果的融合，可以提高图像
增强 的质量，既优化了图像的细节特征，也优化了图像的色调映射。
[0010]基于第一方面，一种可选的实施方式中，第一融合结果可以继续作为往上一层级的输 入，经过上采样的尺度放大后得到第三特征图，第三特征图用于描述目标图像的低频结构 特征。然后再获取往上一层级的高频结构特征，即第四特征图，其中，第三特征图和第四 特征图的尺寸相同。对第三特征图进行第三卷积处理，以得到第三增强结果，对第四特征 图进行第四卷积处理，以得到第四增强结果。将第三增强结果和第四增强结果进行融合， 得到第二融合结果，第二融合结果也可以继续用于生成目标图像的增强图像。
[0011]本申请实施例中，并没有一开始就去预测出目标图像的HDR图像，而是从一个小尺寸 的拉普拉斯金字塔图像开始，多级渐进的实现整个过程，这样每个不同尺度下的细节特征 能够被充分考虑。网络虽然实现了多级分步操作以提升性能，而由于这些尺度相较于原图 都是低分辨率，其网络计算通过在低分辨率进行使得计算复杂度大大降低，因此并未引入 过多的网络计算开销。另一方面，由于拉普拉斯金字塔构建过程中没有需要学习的网络参 数，区别于其他需要额外添加卷积滤波器的特征提取方法，构建的计算成本可以忽略不计。
[0012]基于第一方面，一种可选的实施方式中，为了提高对第二特征图进行卷积处理的效果， 本申请实施例中，还可以采用目标网络(特征提取网络)来对目标图像进行特征提取，以 获得条件特征图。若目标图像转换成多个层级的拉普拉斯金字塔，则相应的，也需要为目 标图像提取层级数量相同的多个条件特征图，其中，每个层级的条件特征图与其所在的层 级的高频细节特征和低频结构特征的尺寸是相同的。根据每个层级的条件特征图与其所在 层级的低频结构特征进行卷积处理，以得到针对于该低频结构特征的增强结果。
[0013]因此，本申请实施例中，可以结合与第二特征图(低频结构特征)的尺寸相同的条件 特征图，来对第二特征图进行卷积处理，以得到第二增强结果。本实施例中，基于条件特 征图作为引导，提供空域可变性的调制，从而能够根据局部亮度和曝光情况进行动态调整， 优化目标图像中可能出现的过曝区域和欠曝区域。
[0014]基于第一方面，一种可选的实施方式中，条件特征图经过仿射变换层(spatial featuretransform，SFT)进行仿射变换，产生γ系数和β系数，根据该γ系数和β系数对第二特 征图进行卷积处理，得到第二增强结果。
[0015]基于第一方面，一种可选的实施方式中，可以对每一层级的拉普拉斯金字塔图像执行 上述双支路卷积后融合的操作，直至拉普拉斯金字塔的最顶层。作为拉普拉斯金字塔最顶 层，上一层级的融合结果经过最顶层的上采样尺寸放大之后，该低频结构特征的尺寸已经 与目标图像的尺寸相同，而高频细节特征即为同一层级的拉普拉斯金字塔图像。此时，继 续为当前最顶层分别执行低频结构特征和高频细节特征的卷积处理，然后再将两个增强结 果进行融合，即可以得到目标图像最终的增强图像。换句话说，第一融合结果经过上采样 后，所得到的第三结构特征如果与目标图像的尺寸相同，那么上述第二融合结果即可以作 为目标图像的增强图像。
[0016]本实施例中，图像处理流程从拉普拉斯金字塔的尺度最小层开始，每一层级处理得到 的融合结果，会继续输入到上一层级，经过上采样尺寸放大后继续作为上一层级的低频结 构特征，而高频细节特征即为同一层级的拉普拉斯金字塔图像。每一层级不断地重复卷积、 融合操作，直至完成最后一个层级的处理，此时所得到的融合结果的尺寸已经与目
标图像 的尺寸相同，则可以将该融合结果作为目标图像的增强图像。需要说明的是，拉普拉斯金 字塔构建的高斯卷积核和分解层数可以根据实际应用场景进行预设调整。进而，虽然每个 层级的网络结构相同，但是各层的双路残差模块拥有各自的卷积滤波器参数，这是由于拉 普拉斯金字塔各层代表了原始输入信号(即目标图像)在频谱上的不同分量，网络对于不 同分量的存在经由训练学习产生的自适应映射。
[0017]第二方面，本申请实施例提供了一种图像处理装置，包括：
[0018]获取单元，用于获取第一特征图和第二特征图，第一特征图用于描述目标图像的高频 细节特征，第二特征图用于描述目标图像的低频结构特征，第一特征图和第二特征图的尺 本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像处理的方法，其特征在于，包括：获取第一特征图和第二特征图，所述第一特征图用于描述目标图像的高频细节特征，所述第二特征图用于描述所述目标图像的低频结构特征，所述第一特征图和所述第二特征图的尺寸相同；对所述第一特征图进行第一卷积处理，以得到第一增强结果；对所述第二特征图进行第二卷积处理，以得到第二增强结果；将所述第一增强结果和所述第二增强结果进行融合，以得到第一融合结果，所述第一融合结果用于生成所述目标图像的增强图像。2.根据权利要求1所述的方法，其特征在于，所述将所述第一增强结果和所述第二增强结果进行融合，以得到第一融合结果之后，所述方法还包括：对所述第一融合结果进行上采样，以得到第三特征图，所述第三特征图用于描述所述目标图像的低频结构特征；获取第四特征图，所述第四特征图用于描述所述目标图像的高频细节特征，所述第三特征图和所述第四特征图的尺寸相同；对所述第三特征图进行第三卷积处理，以得到第三增强结果；对所述第四特征图进行第四卷积处理，以得到第四增强结果；将所述第三增强结果和所述第四增强结果进行融合，以得到第二融合结果，所述第二融合结果用于生成所述目标图像的增强图像。3.根据权利要求1或2所述的方法，其特征在于，所述对所述第二特征图进行第二卷积处理，以得到第二增强结果，包括：根据条件特征图对所述第二特征图进行第二卷积处理，以得到第二增强结果，所述条件特征图是通过目标网络对所述目标图像进行特征提取所得到的，所述条件特征图与所述第二特征图的尺寸相同。4.根据权利要求1、2或3所述的方法，其特征在于，所述根据条件特征图对所述第二特征图进行第二卷积处理，包括：对条件特征图进行仿射变换SFT，以得到γ系数和β系数；根据所述γ系数和所述β系数对所述第二特征图进行第二卷积处理。5.根据权利要求2、3或4中任一项所述的方法，其特征在于，所述方法还包括：响应于所述第三特征图与所述目标图像的尺寸相同，确定所述第二融合结果为所述目标图像的增强图像。6.一种图像处理装置，其特征在于，包括：获取单元，用于获取第一特征图和第二特征图，所述第一特征图用于描述目标图像的高频细节特征，所述第二特征图用于描述所述目标图像的低频结构特征，所述第一特征图和所述第二特征图的尺寸相同；处理单元，用于对所述第一特征图进行第一卷积处理，以得到第一增强结果；所述处理单元，还用于对所述第二特征图进行第二卷积处理，以得到第二增强结果；所述处理...
【专利技术属性】
技术研发人员：张恩泽，陈培林，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。