【技术实现步骤摘要】
本专利技术涉及水下图像处理领域，尤其涉及一种基于强化学习调整的层次概率水下图像增强模型构建方法。
技术介绍
1、水下图像增强(uie)方法主要分为三类：基于光学成像物理模型的方法、不依赖物理模型(无模型)的增强方法和基于学习的方法。每类方法在增强图像质量方面各有优势。uie中的无模型方法调整图像像素值以增强对比度、亮度和饱和度。例如，对比度受限自适应直方图均衡(clahe)、ancuti等人基于融合的方法(fusion)[1]，以及huang等人的自适应直方图拉伸方法rgsh[2]。基于物理模型的方法通过模拟由水下环境引起的物理退化逆过程来增强水下图像。以jaffe[3]和ankaynak和treibitz[4]提出的水下成像模型为基础，利用特定先验估计模型中的主要参数：背景光和透射图。一种常用的先验是暗通道先验(dcp)。dcp的变体已被用于uie任务，如udcp[5]。另一种方法，广义dcp(gdcp)[6]通过利用场景环境光的差异来估计传输。uie中还使用了其他先验，例如用于深度图和背景估计的水下光衰减先验(underwater lightattenuation prior，ulap)[7]以及用于反射和照明估计的超拉普拉斯反射先验(hyper-laplacian reflectivity prior，hlrp)[8]。然而，应当注意的是，在先验无效的情况下会导致某此区域出现伪影和色偏。
2、深度学习方法对uie领域产生了重大影响，出现了基于卷积神经网络(cnn)、基于变换器(transformer)的模型和生
3、生成式模型涉及学习给定数据集的复杂底层分布。变分自动编码器(variationalautoencoders，vae)[16]通过结合概率建模和推理技术扩展了基本的自动编码器架构，允许将潜在空间建模为概率分布。vae已被广泛用于图像生成，但需要对过程进行更多控制。条件性vae(cvae)引入了一个额外的调节变量，使图像生成更可控和更多样化。概率u-net[17]结合了vae和u-net在图像分割任务中的优势。它通过产生多个合理的分割预测来解决不确定性问题。在此基础上，层次概率u-net[18]结合了用于图像分割的潜在变量的层次结构，捕获不同级别的数据抽象并提高复杂数据集的灵活性和准确性。在水下图像增强中，fu等人[19]引入了概率网络来学习增强图像的分布，其的puie-net通过cvae从两个后验分布中获得的随机风格属性来估计增强分布，然后执行共识过程以实现对最终增强结果的确切推断。然而，由于概率模型解决的不确定性在很大程度上取决于分布估计，有限的多样性的估计结果可能会限制其模拟不同的环境。此外，通过对一组样本求平均或选择具有最高采样概率的图像的一致性过程没有考虑图像质量本身。wang等人[20]采用在成对图像上训练的resnet来生成水下图像质量排名，并使用resnet作为水下质量评估器。这种方法需要额外的数据，以训练水下质量评估。传统的基于滤波器的水下图像质量评估方法[21,22]能够直接评估图像质量，但其评估过程不可区分，因此难以使用梯度的反向传播进行微调。
4、强化学习方法在自然语言处理(nlp)领域通过利用大型预训练语言模型和引入人为定义的奖励，已经显示出解决具有挑战性任务的能力。最近，元水下相机(muc)方法[23]采用强化学习技术来确定七种uie技术的最佳级联参数来实现水下图像增强。采用强化学习方法的一个显著优点是奖励函数不一定需要是可微的。奖励函数的固有灵活性使得引入图像质量评价方法来规范水下图像增强的方向成为可能。
5、参考文献：
6、[1]ancuti c,ancuti c o,haber t,et al.enhancing underwater imag es andvideos by fusion[c]//2012ieee conference on computer vision and pat ternrecognition.ieee,2012:81-88.
7、[2]huang d,wang y,song w,sequeira j,mavromatis s.shallow-water imageenhancement using relative global histogram stretching based on adaptiveparameter acquisition,in:multimedia modeling:24th international conference,mmm 2018,springer,bangkok,thailand,2018:453–465.
8、[3]j.s.jaffe,computer modeling and the design of optimal underwaterimaging systems,ieee journal of oceanic engineering 15(1990):101–111.
9、[4]d.akkaynak,t.treibitz,sea-thru:a method for removing water fromunderwater images,in:proc.of the 2019ieee/cvf conference on computer visionand pattern recognition(cvpr),2019:16本文档来自技高网...
【技术保护点】
1.一种基于强化学习调整的层次概率水下图像增强模型构建方法，其特征在于包括：构建HPUIE模型，对其进行监督预训练；利用强化学习对HPUIE模型进行微调；其中：
2.根据权利要求1所述的一种基于强化学习调整的层次概率水下图像增强模型构建方法，其特征在于，所述FTSD模块包括两个可学习的1×1卷积层。
3.根据权利要求1所述的一种基于强化学习调整的层次概率水下图像增强模型构建方法，其特征在于，对HPUIE模型进行有监督训练过程中，引入后向编码器Epost；对于每张输入的原始水下图像X，将其转换为向量格式后输入到先验编码器，接着将先验编码器分解出来的潜在特征输入到解码器中；同时从UIEB训练集中随机选择对应输入图像X的参考图像Y；参考图像Y与输入图像X同时作为后验输入到后验编码器，输出的各尺度特征图经过FTSD模块的1×1卷积层的处理作为PAdaIN模块的风格先验概率分布；各尺度的特征图作为PAdaIN模块的输入特征，PAdaIN模块的输出作为潜在特征输入到解码器中，解码器使用PAdaIN模块输出的潜在特征以及先验编码器输出的潜变量重建损失预测增强后的图像p>
4.根据权利要求3所述的一种基于强化学习调整的层次概率水下图像增强模型构建方法，其特征在于，对HPUIE模型进行有监督训练过程中，引入了KL散度的输入是先验编码器输出的各尺度特征在经过FTSD模块处理后得到的风格先验概率分布以及后验编码器输出的各尺度特征在经过FTSD模块处理后得到的风格先验概率分布；KL散度用于在有监督训练过程中与重建损失叠加计算ELBO损失。
5.根据权利要求4所述的一种基于强化学习调整的层次概率水下图像增强模型构建方法，其特征在于，对HPUIE模型进行微调过程，采用了三个不同非参考指标的UIE指标的组合，从多个角度评估图像质量；奖励函数的是三个评价指标的加权和，其表示如下：
6.根据权利要求5所述的一种基于强化学习调整的层次概率水下图像增强模型构建方法，其特征在于，对HPUIE模型进行微调过程，在第一轮迭代开始前使用参数初始化FTSD模块的权重θ，在随后的每一轮中微调权重θ，具体的，在每轮迭代过程中：
...【技术特征摘要】
1.一种基于强化学习调整的层次概率水下图像增强模型构建方法，其特征在于包括：构建hpuie模型，对其进行监督预训练；利用强化学习对hpuie模型进行微调；其中：
2.根据权利要求1所述的一种基于强化学习调整的层次概率水下图像增强模型构建方法，其特征在于，所述ftsd模块包括两个可学习的1×1卷积层。
3.根据权利要求1所述的一种基于强化学习调整的层次概率水下图像增强模型构建方法，其特征在于，对hpuie模型进行有监督训练过程中，引入后向编码器epost；对于每张输入的原始水下图像x，将其转换为向量格式后输入到先验编码器，接着将先验编码器分解出来的潜在特征输入到解码器中；同时从uieb训练集中随机选择对应输入图像x的参考图像y；参考图像y与输入图像x同时作为后验输入到后验编码器，输出的各尺度特征图经过ftsd模块的1×1卷积层的处理作为padain模块的风格先验概率分布；各尺度的特征图作为padain模块的输入特征，padain模块的输出作为潜在特征输入到解码器中，解码器使用padain模块输出的...
【专利技术属性】
技术研发人员：葛梦滢，宋巍，沈志豪，刘承冰，杜艳玲，
申请(专利权)人：上海海洋大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。