图像增强模型训练的方法、图像增强的方法、可读介质技术

本公开提供了一种图像增强模型训练的方法，图像增强模型包括用于增强亮度和对比度的增强模块，增强模块包括与亮度区间对应的卷积支路，用于将输入其中的图像的像素按所属亮度区间输入对应卷积支路，在各卷积支路中用第一卷积单元卷积，并将各卷积支路输出的图像合并后用第二卷积单元卷积；方法包括：将样本图像输入图像增强模型，获取图像增强模型输出的结果图像；计算损失；损失包括结果图像相对标准图像的图像损失，以及卷积支路输出的图像相对标准图像在各卷积支路中的亮度直方图约束的第一约束损失；根据损失调整增强模块；若不满足训练结束条件，返回将样本图像输入图像增强模型的步骤。本公开还提供一种图像增强的方法、计算机可读介质。计算机可读介质。计算机可读介质。

【技术实现步骤摘要】
图像增强模型训练的方法、图像增强的方法、可读介质


[0001]本公开涉及图像处理
，例如是夜景图像增强
，特别涉及一种图像增强模型训练的方法、图像增强的方法、计算机可读介质。

技术介绍

[0002]在夜间等亮度较低的情况下，采集到的图像往往亮度过低，不够清晰。尤其是，当采用手机等便携电子设备采集图像时，基于其尺寸的限制，其中的图像采集单元相对单反相机等的感光能力弱，以上问题就更严重。
[0003]为此，对在低亮度环境下采集的图像，可通过图像增强技术提高其亮度和对比度，使其更加清晰，例如是进行夜景图像增强(“夜景图像增强”仅表示图像整体亮度较低，而不代表其必须是在夜间的时间采集的)。但是，现有图像增强技术的效果不能同时有效的提升图像的亮度和对比度。

技术实现思路

[0004]本公开提供一种图像增强模型训练的方法、图像增强的方法、计算机可读介质。
[0005]第一方面，本公开实施例提供一种图像增强模型训练的方法，所述图像增强模型包括用于增强亮度和对比度的增强模块，所述增强模块包括与多个预设的亮度区间一一对应的卷积支路；所述增强模块用于将输入其中的图像的像素按所属亮度区间输入对应卷积支路，在各卷积支路中用第一卷积单元卷积，并将各卷积支路输出的图像合并后用第二卷积单元卷积；所述方法包括：
[0006]将样本图像输入所述图像增强模型，获取所述图像增强模型输出的结果图像；
[0007]计算损失；所述损失包括结果图像相对标准图像的图像损失，以及所述卷积支路输出的图像相对标准图像在各卷积支路中的亮度直方图约束的第一约束损失；
[0008]根据所述损失调整增强模块；
[0009]若不满足训练结束条件，返回所述将样本图像输入所述图像增强模型的步骤。
[0010]在一些实施例中，所述卷积支路还包括：
[0011]设于所述第一卷积单元后的采样段，所述采样段包括多个用于进行采样的采样单元；其中，每个所述采样单元的输入来自其所在卷积支路和至少一个其它卷积支路。
[0012]在一些实施例中，所述损失还包括：
[0013]输入至所述采样段的图像相对输入至所述增强模块的图像在各卷积支路中的亮度直方图约束的第二约束损失。
[0014]在一些实施例中，所述损失loss通过以下公式计算：
[0015]loss＝||I
out
‑
I
GT
||1+λ1Hist(FM
out
,I
GT
,S)+λ2Hist(FM
in
,I
in
,S)；
[0016][0017][0018]其中，Hist(FM
out
,I
GT
,S)代表所述第一约束损失，Hist(FM
in
,I
in
,S)代表所述第二约束损失，I
in
代表输入至所述增强模块的图像，I
out
代表所述结果图像，I
GT
代表所述标准图像，FM
in
代表输入至所述采样段的图像，FM
out
代表所述卷积支路输出的图像，S代表亮度区间的个数，||||1代表L1范数函数，hist代表HIST统计函数，λ1代表预设的大于0的系数，λ2代表预设的大于0的系数。
[0019]在一些实施例中，所述采样段包括用于进行下采样的下采样单元，以及设于所述下采样单元后的、用于进行上采样的上采样单元。
[0020]在一些实施例中，所述下采样单元用于进行残差下采样；
[0021]所述上采样单元用于进行残差上采样。
[0022]在一些实施例中，所述卷积支路还包括：
[0023]连接在所述采样段的输入端与输出端间的短路连接，所述短路连接用于将输入至采样段的图像短接至采样段的输出端。
[0024]在一些实施例中，所述图像增强模型还包括：
[0025]对齐模块，其设于所述增强模块前，用于将输入至所述图像增强模型的待增强图像和邻近图像对齐；所述邻近图像为与待增强图像对应相同场景，且与待增强图像在邻近的时间采集的图像；
[0026]融合模块，其设于所述对齐模块与增强模块间，用于将所述对齐模块输出的多幅对齐后的图像融合为一幅图像输入至增强模块。
[0027]第二方面，本公开实施例提供一种图像增强的方法，其包括：
[0028]至少将待增强图像输入至图像增强模型；所述图像增强模型是通过本公开实施例的任意一种图像增强模型训练的方法训练得到的；
[0029]获取所述图像增强模型输出的结果图像。
[0030]第三方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现：
[0031]本公开实施例的任意一种图像增强模型训练的方法，和/或，本公开实施例的任意一种图像增强的方法。
[0032]本公开实施例中，在图像增强模型的训练过程中引入了亮度直方图约束(属于正则约束)，从而其所得的图像增强模型可有效的根据不同区域的亮度以不同方式进行亮度增强，即，在保持低亮度区域亮度基本不变的情况下有效增加高亮度区域的亮度，从而其既提高了亮度也提高了对比度，可满足超级夜景等的图像增强(如夜景图像增强)需求(在保持夜景的情况下使其中局部的景物增亮)，实现更好的图像增强效果。
附图说明
[0033]在本公开实施例的附图中：
[0034]图1为本公开实施例提供的一种图像增强模型训练的方法的流程图；
[0035]图2为本公开实施例提供的一种图像增强模型的处理流程示意图；
[0036]图3为本公开实施例提供的一种图像增强模型的对齐模块的输入图像的示意图；
[0037]图4为本公开实施例提供的另一种图像增强模型的对齐模块的输入图像的示意图；
[0038]图5为本公开实施例提供的一种图像增强模型的AP3D对齐模块的处理流程示意图；
[0039]图6为本公开实施例提供的一种图像增强模型的AP3D对齐模块中的外观保持单元的处理流程示意图；
[0040]图7为本公开实施例提供的一种图像增强模型的融合模块的处理流程示意图；
[0041]图8为本公开实施例提供的一种图像增强模型的增强模块的处理流程示意图；
[0042]图9为本公开实施例提供的一种图像增强模型的增强模块的残差下采样单元的处理流程示意图；
[0043]图10为本公开实施例提供的一种图像增强模型的增强模块的残差上采样单元的处理流程示意图；
[0044]图11为本公开实施例提供的一种图像增强的方法的流程图；
[0045]图12为本公开实施例提供的一种计算机可读介质的组成框图。
具体实施方式
[0046]为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开实施例提供的图像增强模型训练的方法、图像增本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像增强模型训练的方法，所述图像增强模型包括用于增强亮度和对比度的增强模块，所述增强模块包括与多个预设的亮度区间一一对应的卷积支路；所述增强模块用于将输入其中的图像的像素按所属亮度区间输入对应卷积支路，在各卷积支路中用第一卷积单元卷积，并将各卷积支路输出的图像合并后用第二卷积单元卷积；所述方法包括：将样本图像输入所述图像增强模型，获取所述图像增强模型输出的结果图像；计算损失；所述损失包括结果图像相对标准图像的图像损失，以及所述卷积支路输出的图像相对标准图像在各卷积支路中的亮度直方图约束的第一约束损失；根据所述损失调整增强模块；若不满足训练结束条件，返回所述将样本图像输入所述图像增强模型的步骤。2.根据权利要求1所述的方法，其中，所述卷积支路还包括：设于所述第一卷积单元后的采样段，所述采样段包括多个用于进行采样的采样单元；其中，每个所述采样单元的输入来自其所在卷积支路和至少一个其它卷积支路。3.根据权利要求2所述的方法，其中，所述损失还包括：输入至所述采样段的图像相对输入至所述增强模块的图像在各卷积支路中的亮度直方图约束的第二约束损失。4.根据权利要求3所述的方法，其中，所述损失loss通过以下公式计算：loss＝||I
out
‑
I
GT
||1+λ1Hist(FM
out
,I
GT
,S)+λ2Hist(FM
in
,I
in
,S)；,S)；其中，Hist(FM
out
,I
GT
,S)代表所述第一约束损失，Hist(FM
in
,I
in
,S)代表所述第二约束损失，I<...

【专利技术属性】
技术研发人员：任聪，刘衡祁，徐科，孔德辉，艾吉松，刘欣，游晶，
申请(专利权)人：深圳市中兴微电子技术有限公司，
类型：发明
国别省市：