【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种增量低光图像增强方法、装置。
技术介绍
1、随着计算机视觉领域的不断发展，低光图像增强成为重点的研究方向之一，广泛应用于自动驾驶、智能监控、图像分割以及图像分类等领域。近年来，基于深度学习的低光图像增强方法已经取得巨大进步，然而，这种优异的性能是建立在输入数据具有极为相似或相同分布的前提下取得的。现有模型在处理差异较大的低光图像时无法进行有效的增强，主要由于低光图像拍摄时所在环境的差异以及硬件设备的差异等，低光图像的场景、亮度以及噪点等是多变的。这种多变性导致现有模型无法对动态变化的低光照图像进行自适应的学习。因此，在各种环境条件下捕捉的低光图像进行有效的图像质量恢复是一个具有挑战性的任务。
2、增量学习是解决上述问题的一种有效方法，增量学习是指在新环境中不断汲取到新知识同时保留旧知识的学习方法，其被广泛应用于自动驾驶、图像分类和目标检测等高级视觉领域，然而对低视觉领域如低光图像增强领域至今无人探索，因此基于增量学习的低光图像增强能够逐步学习低光数据域的各种数据分布，实现对各种颜色、细节、纹理等的有效信息恢复。此外，通过该专利技术能为许多领域的性能提升奠定基础，例如自动驾驶、安防监控和医学影像等。
技术实现思路
1、专利技术目的：本专利技术针对现有技术存在的问题，提供一种鲁棒的增量低光图像增强方法及装置。
2、技术方案：本专利技术所述一种鲁棒的增量低光图像增强方法包括：
3、步骤s1：构建增量样本库，采集一系
4、步骤s2：构建域增量低光图像增强模型，以适应不同上下文的低光图像增强需求；模型包括特征注意力一致性模块和对抗扰动模块；
5、步骤s3：按照训练顺序获取当前需要训练的样本域，实时对样本域进行预处理；
6、步骤s4：利用经过预处理的训练数据集，对域增量低光图像增强模型进行高效训练，如果当前训练阶段为基训练阶段，则将当前样本域输入模型；如果当前训练阶段为增量训练阶段，则将当前样本域分别输入上一增量阶段冻结的旧域模型和当前阶段新域模型，之后将两个模型输出的图像输入动态判别器网络进行对抗学习；
7、步骤s5：采用当前样本域验证集筛选出在测评指标上最高的域增量低光图像增强模型并保存；
8、步骤s6：采用所有旧域和当前域测试集对模型进行全面测试，评估增强效果和遗忘率，并使用当前模型参数更新下一增量阶段模型参数；
9、步骤s7：返回执行步骤s3，直至完成针对所有域的训练，获得最终高效训练的域增量低光图像增强模型。
10、进一步的，所述步骤s1中，所述确定增量样本库中不同域数据集的训练顺序，具体如下：
11、在增量学习设置下，从增量样本库中随机选择一个域数据集作为基数据集，进行第一次训练，将剩余的域数据集作为增量域，依次从剩余的增量样本库中选择单一域数据集作为下一次训练的域数据集。
12、进一步的，所述步骤s2中，域增量低光图像增强模型包括特征注意力一致性模块和对抗扰动模块。所述特征注意力一致性模块，包含一个可学习注意力，其与各尺度隐藏层特征交互，关注当前域特征的重要部分，同时将上一增量阶段可学习注意力约束当前阶段可学习注意力，保留细粒度特征知识；所述对抗扰动模块，包含一个可学习的扰动，叠加至当前增量阶段模型的输出，将上一阶段模型的输出与当前增量阶段模型的输出进行对抗学习，保留粗粒度表征知识；
13、进一步的，所述步骤s3中，实时对样本域进行预处理的方法具体如下：
14、步骤s3-1：将低光图像以预设概率进行随机水平和垂直翻转；
15、步骤s3-2：将低光图像进行统一大小的裁剪；
16、步骤s3-3：将低光图像转换为张量，数据类型转换为float；
17、步骤s3-4：对低光图像的每个像素进行标准化处理以使得像素值落在[-1,1]范围内。
18、进一步的，所述步骤s4中，采用经过预处理的训练数据集，对域增量低光图像增强模型进行高效训练包括：
19、步骤s4-1：设置训练参数，如果当前阶段为基训练阶段，对域增量低光图像增强模型进行随机初始化，如果是增量训练阶段，则直接采用上一增量阶段训练得到的网络参数进行初始化；
20、步骤s4-2：在每个训练阶段，随机初始化一个可学习的注意力和一个可学习的扰动；
21、步骤s4-3：在基训练阶段，将预处理好的训练集输入当前域模型进行训练，保存训练好的模型参数，在增量训练阶段，将同一批次的样本输入冻结的旧域模型和新域模型进行训练；
22、步骤s4-4：在基训练阶段，经过特征提取器得到多尺度特征，对每个特征图首先进行第一组操作：首先经过池化操作，获得低频特征，之后将上一层特征与当前特征相乘，进行特征之间交互，再将得到的特征进行卷积、激活函数、维度扩展，获得显著性特征，再将其与可学习注意力相乘；在增量训练阶段，第一组操作与基训练阶段的第一组操作相同；
23、步骤s4-5：在基训练阶段，进行第二组操作：将第一组操作得到的注意力特征进行求平均、卷积和激活函数操作，之后将得到的降维特征叠加至下一层；在增量训练阶段，第二组操作与基训练阶段的第二组操作相同，此外，利用当前阶段可学习注意力与上一阶段冻结的注意力计算特征注意力一致性损失；
24、步骤s4-6：在基训练阶段，只需将得到的输出图像计算原始损失函数；在增量训练阶段，将当前阶段模型的视觉输出图像叠加一个可学习扰动，之后分别将叠加了扰动的图像和上一增量阶段模型输出的视觉图像输入动态判别器网络进行对抗学习，之后使用判别器的输出结果计算相对对抗损失；
25、步骤s4-7：结合步骤s4-5和s4-6所计算的损失，对整个网络参数进行优化。
26、进一步的，所述步骤s4-5中，利用当前阶段可学习注意力与上一阶段冻结的注意力计算特征注意力一致性损失，具体实现如下：
27、首先，当前增量阶段t的低光训练数据集为其中表示低光图像，表示相对应的正常光图像，nt表示当前域样本数量，将分别输入特征提取器和冻结的特征提取器采用下式提取中间隐藏层特征：
28、
29、式中，l表示特征隐藏层的数量；表示增强的低光图片；表示第i个隐藏层，i属于1,……,l-1,l；指一个嵌套函数，其中根据特征提取器获得的相对应的隐藏层特征为，其中
30、为学习新域的重要特征以及保留旧域的重要特征，维持稳定性和可塑性的平衡，对每个增量阶段引入一个可学习的注意力a，当前增量阶段注意力为at，将上一个增量阶段注意力at-1引导当前增量阶段注意力的学习，保留旧域重要特征知识，使用基于均方误差的特征注意力一致性损失优化模型，公式如下：
31、
32、式中，表示第t个增量阶段的特本文档来自技高网...
【技术保护点】
1.一种鲁棒的增量低光图像增强方法，其特征在于，该方法包括：
2.根据权利要求1所述的一种鲁棒的增量低光图像增强方法，其特征在于：所述步骤S1中，确定增量样本库中不同域数据集的训练顺序，具体如下：
3.根据权利要求1所述的一种鲁棒的增量低光图像增强方法，其特征在于：所述步骤S2中，所述域增量低光图像增强模型包括特征注意力一致性模块和对抗扰动模块，所述特征注意力一致性模块，关注当前域特征的重要部分，保留旧域细粒度特征知识；所述对抗扰动模块，保留旧域粗粒度表征知识。
4.根据权利要求1所述的一种鲁棒的增量低光图像增强方法，其特征在于：所述步骤S3中，实时对样本域进行预处理的方法具体如下：
5.根据权利要求1所述的一种鲁棒的增量低光图像增强方法，其特征在于：所述步骤S4中，采用经过预处理的训练数据集，对域增量低光图像增强模型进行训练包括：
6.根据权利要求5所述的一种鲁棒的增量低光图像增强方法，其特征在于：所述步骤S4-5中，利用当前阶段可学习注意力与上一阶段冻结的注意力计算特征注意力一致性损失，具体实现如下：
7
8.根据权利要求5所述的一种鲁棒的增量低光图像增强方法，其特征在于：所述步骤S4-7中，为优化骨干网络，即特征提取器总的损失为以下公式：
9.根据权利要求1所述的一种鲁棒的增量低光图像增强方法，其特征在于：所述步骤S6中，采用测试数据集对模型进行全面测试，评估增强效果和遗忘率，在当前域模型训练完后，利用训练得到模型参数来初始化下一增量阶段的模型参数。
10.一种鲁棒的增量低光图像增强装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现权利要求1-9中任意一项所述的方法。
...【技术特征摘要】
1.一种鲁棒的增量低光图像增强方法，其特征在于，该方法包括：
2.根据权利要求1所述的一种鲁棒的增量低光图像增强方法，其特征在于：所述步骤s1中，确定增量样本库中不同域数据集的训练顺序，具体如下：
3.根据权利要求1所述的一种鲁棒的增量低光图像增强方法，其特征在于：所述步骤s2中，所述域增量低光图像增强模型包括特征注意力一致性模块和对抗扰动模块，所述特征注意力一致性模块，关注当前域特征的重要部分，保留旧域细粒度特征知识；所述对抗扰动模块，保留旧域粗粒度表征知识。
4.根据权利要求1所述的一种鲁棒的增量低光图像增强方法，其特征在于：所述步骤s3中，实时对样本域进行预处理的方法具体如下：
5.根据权利要求1所述的一种鲁棒的增量低光图像增强方法，其特征在于：所述步骤s4中，采用经过预处理的训练数据集，对域增量低光图像增强模型进行训练包括：
6.根据权利要求5所述的一种鲁棒的增量低光图像...
【专利技术属性】
技术研发人员：姜胜芹，邹星欣，李林飞，揭谦，刘青山，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。