用于学习雾不变特征的方法和设备技术

一种用于学习雾不变特征的设备包括：雾通滤波器，其被训练为使得相同雾域的雾因子彼此接近且不同雾域的雾因子彼此分开，以便将输入图像的雾状态确定为雾因子，以及分割网络，其被训练为使得不同雾域之间的雾风格差距减小，其中雾通滤波器的训练和分割网络的训练通过使用三个雾域数据集而交替执行。使用三个雾域数据集而交替执行。使用三个雾域数据集而交替执行。

【技术实现步骤摘要】
用于学习雾不变特征的方法和设备
[0001]相关申请的交叉引用
[0002]本申请要求2022年6月22日在韩国知识产权局提交的第10
‑
2022
‑
0076456号韩国专利申请和2023年5月4日在韩国知识产权局提交的第10
‑
2023
‑
0058557号韩国专利申请的权益，其公开内容通过引用整体结合于此。


[0003]本公开涉及用于学习雾不变(fog
‑
invariant)特征以准确识别有雾场景的方法和设备。本研究由三星未来技术发展项目(项目号：SRFC
‑
IT1801
‑
05)支持。

技术介绍

[0004]因为有雾图像严重削弱能见度，所以有雾场景不容易识别。此外，因为只能在特定条件下拍摄有雾场景，所以有雾场景很难采集，并且因为由于雾而受限的能见度，所以也很难注释。
[0005]由于这个问题，为了识别有雾场景，已经使用了合成雾数据集来执行机器学习，在合成雾数据集中，将雾效果应用于注释的晴朗天气图像。
[0006]然而，当使用合成雾数据集训练神经网络时，神经网络被训练为偏向雾场景，使得晴朗天气下的图像识别劣化。
[0007][现有技术文档][0008][专利文献][0009]KR 10
‑
2021
‑
0171677

技术实现思路

[0010]提供了一种用于学习雾不变特征的方法和设备，其中，执行训练，使得输入图像中的雾状态被认为是与分割网络中的输入图像的内容独立的风格。通过这样做，分割网络学习对输入图像中的雾而言不变的特征。
[0011]根据本公开的一个方面，一种用于学习雾不变特征的设备包括：雾通(fog
‑
pass)滤波器，其被训练为使得相同雾域的雾因子彼此接近且不同雾域的雾因子彼此分开，以便将输入图像的雾状态确定为雾因子；以及分割网络，其被训练为使得不同雾域之间的雾风格差距(gap)减小，其中，雾通滤波器的训练和分割网络的训练通过使用三个雾域数据集交替执行。
[0012]在一个实施例中，三个雾域可以包括晴朗天气域、合成雾域和真实雾域，并且晴朗天气域和合成雾域各自被标记，真实雾域可以不被标记。
[0013]在一个实施例中，当训练雾通滤波器时，分割网络的参数可以是固定的，并且当训练分割网络时，雾通滤波器的参数可以是固定的。
[0014]在一个实施例中，雾通滤波器可以连接到分割网络，并且可以接收分割网络的特征图的格拉姆(Gram)矩阵作为输入。
[0015]在一个实施例中，雾因子可以指示以实数向量表示从输入图像提取的风格信息中的雾的效果的值，并且从输入图像提取的风格信息可以被表示为特征图的格拉姆矩阵。
[0016]在一个实施例中，分割网络的特征图的格拉姆矩阵可以包括晴朗天气域的格拉姆矩阵、合成雾域的格拉姆矩阵和真实雾域的格拉姆矩阵。
[0017]在一个实施例中，可以基于计算与正确答案靠近的预测值的分割损失、可以被计算以使得在不同雾条件下获得的训练图像的雾状态不可区分的雾风格匹配损失、以及可以被计算以导出具有图像识别正确答案的训练图像对的相似推断值的预测一致性损失，针对(晴朗天气图像和合成雾图像)的训练图像对来训练分割网络。
[0018]在一个实施例中，可以基于计算与从晴朗天气域和合成雾域当中选择的域的正确答案靠近的预测值的分割损失、以及可以被计算以使得从所选择的域获得的训练图像和从真实雾域获得的训练图像的雾状态不可区分的雾风格匹配损失，针对(晴朗天气图像和真实雾图像)的训练图像对以及(真实雾图像和合成雾图像)的训练图像对来训练分割网络。
[0019]根据本公开的另一方面，一种学习雾不变特征的方法包括：将输入图像上雾的效果表示为连接到分割网络的雾通滤波器中的雾因子，并且接收分割网络的特征图的格拉姆矩阵作为输入，通过固定分割网络的参数，并且在雾通滤波器中进行训练以使得相同雾域的雾因子彼此接近且不同雾域的雾因子彼此分开，来将输入图像的雾状态确定为雾因子；以及固定雾通滤波器的参数，并且在分割网络中进行训练以使得不同雾域之间的雾风格差距减小，其中，雾通滤波器的训练和分割网络的训练交替执行。
[0020]在一个实施例中，可以基于计算与正确答案靠近的预测值的分割损失来训练分割网络，并且还基于可以被计算以使得在不同雾条件下获得的训练图像的雾状态不可区分的雾风格匹配损失或者可以被计算以导出具有图像识别正确答案的训练图像对的相似推断值的预测一致性损失中的至少一个来训练分割网络。
附图说明
[0021]从以下结合附图的实施例的描述中，这些方面和/或其他方面将变得清晰和更容易理解，其中：
[0022]图1示出了一个示例，其中，在根据相关技术的分割网络中和在根据本公开的分割网络中，对在晴朗天气中捕获的图像和在真实有雾天气中捕获的图像执行图像识别；
[0023]图2是根据一个实施例的用于学习雾不变特征的设备的内部结构的示图；
[0024]图3示出了一个示例，其中，在一个实施例中，在雾通滤波器中从特征图的格拉姆矩阵中分离出雾因子；以及
[0025]图4是根据一个实施例的学习雾不变特征的方法的流程图。
具体实施方式
[0026]现在将详细参考示例在附图中示出的实施例，其中相同的附图标记始终指代相同的元素。在这点上，本实施例可以具有不同的形式，并且不应被解释为限于本文阐述的描述。相应地，下面仅通过参考附图来描述实施例，以解释本说明书的各方面。如本文所使用的，术语“和/或”包括一个或多个相关联的列出项目的任何和所有组合。当在元素列表之前时，诸如
“……
中的至少一个”之类的表述修饰整个元素列表，而不修饰列表的单个元素。
[0027]图1示出了一个示例，其中，在根据相关技术的分割网络中和在根据本公开的分割网络中，对在晴朗天气中捕获的图像120和在真实有雾天气中捕获的图像110执行图像识别。
[0028]对于在晴朗天气中捕获的图像120，确认了在通过现有方法训练的分割网络中识别图像的结果图像122和在通过根据本公开的方法训练的分割网络中识别图像的结果图像124两者具有高准确度。
[0029]与上述内容不同，对于在真实有雾天气中捕获的图像110，确认了在通过现有方法训练的分割网络中识别图像的结果图像112具有低准确度。相比之下，在根据本公开的已经学习了雾不变特征的分割网络中识别图像的结果图像114是相对准确的。
[0030]图2是根据一个实施例的用于学习雾不变特征的设备200的内部结构的示图。
[0031]在一个实施例中，用于学习雾不变特征的设备200可以以个人计算机(personal computer，PC)、计算机、笔记本计算机、手持设备、可穿戴设备、平板计算机、手机、智能电话、智能手表等形式实现。
[0032]在一个实施例中，用于学习雾不变特征的设备本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于学习雾不变特征的设备，所述设备包括：雾通滤波器，其被训练为使得相同雾域的雾因子彼此接近且不同雾域的雾因子彼此分开，以便将输入图像的雾状态确定为雾因子；以及分割网络，其被训练为使得不同雾域之间的雾风格差距减小，其中，所述雾通滤波器的训练和所述分割网络的训练通过使用三个雾域数据集而交替执行。2.根据权利要求1所述的设备，其中，所述三个雾域包括晴朗天气域、合成雾域和真实雾域，并且所述晴朗天气域和所述合成雾域各自被标记，所述真实雾域未被标记。3.根据权利要求1所述的设备，其中，当训练所述雾通滤波器时，所述分割网络的参数是固定的，并且当训练所述分割网络时，所述雾通滤波器的参数是固定的。4.根据权利要求1所述的设备，其中，所述雾通滤波器连接到所述分割网络，并且接收分割网络的特征图的格拉姆矩阵作为输入。5.根据权利要求1所述的设备，其中，所述雾因子指示以实数向量表示从所述输入图像提取的风格信息中的雾的效果的值，并且从所述输入图像提取的风格信息被表示为特征图的格拉姆矩阵。6.根据权利要求4所述的设备，其中，所述分割网络的特征图的格拉姆矩阵包括晴朗天气域的格拉姆矩阵、合成雾域的格拉姆矩阵和真实雾域的格拉姆矩阵。7.根据权利要求1所述的设备，其中，基于计算与正确答案靠近的预测值的分割损失、被计算以使得在不同雾条件下获得的训练图像的雾状态不可区分的雾风格匹配损失、以及被计算以导出具有图像识别正确答案的训练图像对的相似推断值的预测一致性损失，针对晴朗天气图像和合成雾图像的训练图像对训练所述分割网络。8.根据权利要求1所述的设备，其中，基于计算与从晴朗天气域和合成雾域当中选择的域的正确答案靠近的预测值的分割损失、以及被计算以使得从所选择的域获得的训练图像和从所述真实雾域获得的训练图像的雾状态不可区分的雾风格匹配损失，针对晴朗天气图像和真实雾图像的训练图像对以及真实雾图像和合成雾图像的训练图像对来训练所述分割网络。9.一种学习雾不变特征的方法...

【专利技术属性】
技术研发人员：郭秀夏，孙台暎，李昭弦，
申请(专利权)人：浦项工科大学校产学协力团，
类型：发明
国别省市：