一种水表水雾图像生成的方法技术

本发明专利技术公开了一种水表水雾图像生成的方法，包括对抗网络生成图像阶段，具体是利用生成对抗思想训练水雾图像生成器以及鉴别器；对比学习约束生成图像阶段，具体是设计query编码器和key编码器分别编码来自水表水雾图像及干净水表图像的图像块，获得每个图像块对应的特征向量；将两个图像中同一位置的图像块获得的特征向量视作正样本对；将两个图像中不同位置的图像块获得的特征向量压入负样本队列，并将负样本队列中的所有负样本特征向量视为负样本对；一个正样本分别与所有负样本对计算infoNCE损失，得到所有正样本的infoNCE损失，反向更新水雾图像生成器得到最终的水雾图像生成器。本发明专利技术有效减少训练参数，提高训练效率。率。率。

【技术实现步骤摘要】
一种水表水雾图像生成的方法


[0001]本专利技术涉及图像处理领域，特别涉及一种水表水雾图像生成的方法。

技术介绍

[0002]随着智慧城市的推进，远程抄表系统与技术越来越受到人们的关注。远程抄表系统一方面可以大大减少能源运营单位和管理部门在水、电、气、热等不同类型能源数据的采集上的人力与物力的投入，同时也促进了这些数据在后续大数据智能分析和数据挖掘中的有效利用。智能摄像表利用图像采集终端(如智能手机、采集硬件设备等)获取仪表读数图像，并利用高性能识别模型，进行自动识别，是一种新型的远程抄表模式。智能摄像表具有(1)成本低廉；(2)即装即用：无需拆装现有计量表和管道；(3)可扩展性好：方便不同类型和规格的计量表接入；(4)采集的图像数据客观准确等特点。具有广泛应用前景。
[0003]目前的智能摄像表，在一般情况下通过采用高性能的识别方法与模型，例如人工智能算法，已经可以获得较高的识别准确率。但水表具有特殊性，其本身有较大的可能会被水雾所污染，而目前计算机视觉对于该类水表的识别会出现一定的误差。为解决该问题，最常见的方式便是先将水表图像中的水雾去除使其干净的水表图像，然后再送入后续的检测与识别系统中进行检测识别。然而，在实际应用中，目前用于水表水雾去除网络训练的数据集里的数据数量非常少，从而使得网络并不能很有效地被训练，训练出来的网络并不能有效清除水表水雾，因此亟需一种水表水雾数据集的扩充方法或者网络训练数据增强的方法来解决当前存在的数据集问题。

技术实现思路

[0004]为了克服现有技术的上述缺点与不足，本专利技术的目的在于提供一种水表水雾图像生成的方法。
[0005]本专利技术将生成对抗思想和对比学习思想结合起来，并利用了动量编码器的思想改善了模型表现，不仅保证了模型生成水表水雾图像的能力，而且大量减少了模型训练参数，缩短模型的训练时间。同时本专利技术可为水表水雾去除网络的训练起数据扩充或数据增强的效果，提升水雾去除网络训练的有效性和可靠性。
[0006]本专利技术的目的通过以下技术方案实现：
[0007]一种水表水雾图像生成的方法，包括：
[0008]对抗网络生成图像阶段：具体为：
[0009]将干净水表图像输入水雾图像生成器，输出水表水雾图像；
[0010]将水表水雾图像输入鉴别器，输出特征图，将其与真标签计算损失生成对抗损失，反向更新水雾图像生成器；
[0011]将干净水表图像及水表水雾图像输入鉴别器，分别与真标签与假标签计算损失，生成对抗损失，反向更新鉴别器；
[0012]对比学习约束生成图像阶段：具体为：
[0013]设计query编码器和key编码器，用于分别编码来自水表水雾图像及干净水表图像的图像块，获得每个图像块对应的特征向量；
[0014]将两个图像中同一位置的图像块获得的特征向量视作正样本对；
[0015]将两个图像中不同位置的图像块获得的特征向量压入负样本队列，并将负样本队列中的所有负样本特征向量视为负样本对；
[0016]一个正样本分别与所有负样本对计算infoNCE损失，得到所有正样本的infoNCE损失，并反向更新水雾图像生成器得到最终的水雾图像生成器。
[0017]进一步，利用query编码器及key编码器的多个中间层输出，重复对比学习约束生成图像阶段，计算得到整体的infoNCE损失，整合并反向更新水雾图像生成器。
[0018]进一步，水雾图像生成器的主体结构为resNet网络。
[0019]进一步，鉴别器具体为patchGAN。
[0020]进一步，所述query编码器是裁剪后的水雾图像生成器和一个MLP层构成，与水雾图像生成器共享参数。
[0021]进一步，所述key编码器是指是让query编码器从编码出的key特征向量中寻找与query特征向量相似的向量，key编码器的网络结构与query编码器结构相同，但key编码器不与query编码器共享参数，其采用动量更新的方式。
[0022]进一步，负样本更新过程如下：
[0023]负样本队列存储每一次计算出来的负样本特征向量，并将里所有的样本特征当作这一次训练的负样本；
[0024]负样本队列的大小为65536，若此时负样本队列未满，则继续压入当前训练计算得出的样本特征向量；
[0025]若负样本队列已满，则按照队列先进先出的特性，将位于队列头的最老的一批样本特征压向量出队列，将最新获得的样本特征压入队列。
[0026]进一步，所述query编码器及key编码器的多个中间层输出，随机选取多个相同位置的神经元作为中间样本特征，重复对比学习约束生成图像阶段，计算得到多个infoNCE损失，整合并反向更新水雾图像生成器，具体为：
[0027]将query编码器及key编码器的中间层输出特征图中对应图像块的神经元作为样本特征，输入相应的MLP层计算分别得到特征向量；
[0028]选取多个中间层的输出并选取相同位置的神经元，重复对比学习约束生成图像阶段，最终计算整体infoNCE损失；
[0029]每选取一个中间层都需要设置一个新的负样本队列，动态更新本层的样本特征和对应的所有的负样本特征。
[0030]进一步，选取四个中间层辅助网络学习。
[0031]进一步，所述裁剪后的水雾图像生成器具体指将水雾图像生成器的最后几层卷积层和激活层裁减掉，优选方式裁剪最后三层，分别裁减掉最后的激活层、卷积层及转置块中的激活层。
[0032]与现有技术相比，本专利技术具有以下优点和有益效果：
[0033](1)本专利技术提供的水表水雾图像生成方法，通过生成对抗网络以及对比学习的思想，结合动量编码器、负样本队列等技术，使网络可以通过不成对的水表水雾数据集训练，
使用干净的水表图像生成水表水雾图像。本专利技术所提供的模型既保证了模型的有效性，使其可以生成水表水雾图像，也有效的减少了训练参数，降低了训练时间，提高了训练效率，具有明显的优势。
[0034](2)本专利技术提供的水表水雾图像生成方法，实现通过不成对的水表水雾数据集训练网络，使其可以通过干净的水表图像生成出水表水雾图像，生成的水雾图像既可以作为数据扩充到成对的水表水雾数据集上，也可以作为后续的水表水雾去除网络的数据增强方式，上述两种方式均可以提高后续水表水雾网络训练的有效性和可靠性。
附图说明
[0035]图1是本专利技术的模型结构；
[0036]图2是本专利技术生成器的模型结构；
[0037]图3是本专利技术鉴别器的模型结构；
[0038]图4(a)及图4(b)是本专利技术选取正负样本方式示意图；
[0039]图5(a)及图5(b)分别是本专利技术query编码器及可以编码器计算样本特征的示意图；
[0040]图6是本专利技术每个中间层计算infoNCE损失方式的示意图；
[0041]图7是本专利技术与其他模型参数量及训练时间对比示意图；
[0042]图8是本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种水表水雾图像生成的方法，其特征在于，包括：对抗网络生成图像阶段：具体为：将干净水表图像输入水雾图像生成器，输出水表水雾图像；将水表水雾图像输入鉴别器，输出特征图，将其与真标签计算损失生成对抗损失，反向更新水雾图像生成器；将干净水表图像及水表水雾图像输入鉴别器，分别与真标签与假标签计算损失，生成对抗损失，反向更新鉴别器；对比学习约束生成图像阶段：具体为：设计query编码器和key编码器，用于分别编码来自水表水雾图像及干净水表图像的图像块，获得每个图像块对应的特征向量；将两个图像中同一位置的图像块获得的特征向量视作正样本对；将两个图像中不同位置的图像块获得的特征向量压入负样本队列，并将负样本队列中的所有负样本特征向量视为负样本对；一个正样本分别与所有负样本对计算infoNCE损失，得到所有正样本的infoNCE损失，并反向更新水雾图像生成器得到最终的水雾图像生成器。2.根据权利要求1所述的方法，其特征在于，利用query编码器及key编码器的多个中间层输出，重复对比学习约束生成图像阶段，计算得到整体的infoNCE损失，整合并反向更新水雾图像生成器。3.根据权利要求1所述的方法，其特征在于，水雾图像生成器的主体结构为resNet网络。4.根据权利要求1所述的方法，其特征在于，鉴别器具体为patchGAN。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述query编码器是裁剪后的水雾图像生成器和一个MLP层构成，与水雾图像生成器共享参数。6.根据权利要求1
‑
4任一项所述的方法，其特征...

【专利技术属性】
技术研发人员：高学，梁正聪，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：