基于边界感知和对抗学习的湍流退化图像语义分割方法技术

本发明专利技术涉及基于边界感知和对抗学习的湍流退化图像语义分割方法，包括以下步骤：(1)针对湍流退化图像，基于湍流成像物理模型，将仿真湍流退化图像与真实湍流退化图像相结合，构建湍流退化图像语义分割数据集；(2)针对步骤(1)获得的数据集，结合湍流退化图像的模糊和畸变特性，构建基于边界感知的DeepLabV3+语义分割模型；(3)将步骤(2)中基于边界感知的DeepLabV3+语义分割模型作为生成器，并结合由五个卷积层组成的鉴别器，构建基于对抗学习的边界感知生成对抗网络GAN模型；(4)针对步骤(3)获得的GAN模型，在步骤(1)获得的湍流退化图像语义分割数据集上进行模型的训练，获得训练后的语义分割GAN模型，利用训练后的语义分割对抗网络GAN模型对湍流退化图像进行语义分割，获得预测分割图。

A semantic segmentation method of turbulence degraded image based on boundary perception and confrontation learning

【技术实现步骤摘要】
基于边界感知和对抗学习的湍流退化图像语义分割方法
本专利技术涉及基于边界感知和对抗学习的湍流退化图像语义分割方法，这是一种结合边界感知算法和生成对抗网络(GAN)的深度模型，适用于受到大气湍流影响而产生退化的图像的语义分割任务。
技术介绍
语义分割在智能驾驶、安防监控、工业检测等多种行业中都有广泛的应用，是计算机视觉领域中极具挑战性的任务。湍流退化图像语义分割是指对受到大气湍流影响而形成的降质图像进行像素级分类的任务。大气湍流会对光学系统的成像性能产生严重的影响，造成观测图像出现畸变、模糊等退化现象，从而降低了图像语义分割模型的准确性。因此，湍流退化图像语义分割任务的困难性不容小觑，实现退化图像的精确语义分割至关重要。对于图像语义分割任务，过去通常使用各种传统的机器学习技术。传统的图像分割方法，往往只进行相似区域的分割，并不能获得语义信息，而且过于依靠先验知识和人工选择，消耗大量的人力成本和时间成本，难以保证最终结果的精度，具有很大的应用局限性。语义分割任务本身具有许多难点，例如，在物体层次，同一物体在不同拍摄条件下展现出不同外观形象；在类别层次，同类物体的相异性和异类物体的相似性等；背景层次，实际场景中的背景往往复杂多变等。此外，相比常规图像，湍流退化图像的图像质量受到大气湍流现象的严重影响，为降质图像，表现出空间模糊和时空畸变，为语义分割任务带来了很大难度。通过深度CNN网络进行监督学习，已经成为近年来解决图像语义分割任务的主要方法，例如FCN、U-Net、DeepLab系列模型等，进行端到端的训练，获得预测分割图。然而，针对湍流退化图像进行语义分割任务的方法很少，目前的研究难点主要表现在以下几个方面：(1)湍流退化图像具有模糊和畸变两大特点，较常规图像而言，图像质量较差、边缘模糊、物体畸变、对比度低、纹理信息难以表达，且往往含有噪声，进行准确的语义分割较为困难；(2)退化图像语义分割任务始终存在着“高层语义”和“低层细节”的双重挑战，不仅需要利用全局信息来解决语义判别的问题，而且需要利用局部信息解决细节定位的问题；(3)目前针对湍流退化图像语义分割研究的数据集还十分匮乏，需要人工获取和建立湍流退化图像数据集，难度较大；(4)现有的基于深度学习的语义分割方法一般只针对常见场景的较高质量图像，不适用于湍流退化图像。
技术实现思路
本专利技术的技术解决问题是：克服现有技术不足，针对湍流场景条件下图像的模糊、畸变问题，提供基于边界感知和对抗学习的湍流退化图像语义分割方法，改善湍流退化图像的分割边缘细节，提升语义识别准确性，提高模型的语义分割精度。本专利技术的技术解决方案为基于边界感知和对抗学习的湍流退化图像语义分割方法，包括以下步骤：(1)基于湍流成像物理模型，将仿真湍流退化图像与真实湍流退化图像相结合，构建湍流退化图像语义分割数据集；(2)针对步骤(1)获得的数据集，结合湍流退化图像的模糊和畸变特性，构建基于边界感知的DeepLabV3+语义分割模型；(3)将步骤(2)中基于边界感知的DeepLabV3+语义分割模型作为生成器，并结合由五个卷积层组成的鉴别器，构建基于对抗学习的边界感知生成对抗网络GAN模型；(4)针对步骤(3)获得的GAN模型，在步骤(1)获得的湍流退化图像语义分割数据集上进行模型的训练，获得训练后的语义分割GAN模型，利用训练后的语义分割对抗网络GAN模型对湍流退化图像进行语义分割，获得预测分割图。进一步的，所述步骤(1)中，湍流退化图像语义分割数据集的构建方法如下：将湍流物理成像模型与图像处理算法即图像插值和图像卷积方法相结合，利用大气湍流物理成像模型，进行图像的湍流退化仿真，湍流物理成像模型的参数包括湍流调制传递函数MTF和光波到达角AOA起伏；图像模糊特性通过频域中的大气湍流调制传递函数MTF和空域中的点扩展函数PSF来描述，图像畸变失真与光波到达角AOA的波动有关；真实湍流具有各向异性和非柯尔莫哥洛夫(Kolmogorov)性质，其中，各向异性因子能够在水平和垂直方向上对湍涡尺度分布的不对称性进行参数化；而湍流谱指数α在3到4之间进行取值；给定原始图像I(x,y)，O(x,y)表示仿真后的湍流退化图像，F()和D()分别代表图像模糊算子和图像畸变算子，使用以下公式获取仿真后的湍流退化图像：O(x,y)＝F(D(I(x,y)))首先，设置仿真条件和参数数值，即各向异性因子、湍流谱指数、湍流强度、湍流内外尺度和成像距离，确定各向异性非Kolmogorov湍流MTF和光波AOA方差理论模型；然后，计算图像x和y两个方向上的位移矩阵，即δx和δy；第三，计算与湍流MTF的傅立叶逆变换有关的湍流点扩展函数PSF；第四，在已知δx和δy的条件下，使用图像双线性插值算法进行图像畸变仿真；最后，将畸变图像与湍流点扩展函数PSF进行卷积，得到各向异性非Kolmogorov湍流中的退化图像；对于真实的湍流退化图像，参考现有数据集的标注规则，进行图像标签的标注。进一步的，所述步骤(2)中，构建基于边界感知的DeepLabV3+语义分割模型，方法如下：首先以DeepLabV3+为基础网络，然后在此基础上添加边界辅助监督模块，作为边界信息的监督指引；边界辅助监督模块使用边缘检测滤波器，在预测分割图F和真实标签图GT上分别与边缘检测滤波器fB进行卷积，从而获得边界预测FB和边界真值GTB；边缘检测滤波器为3×3的Sobel滤波器；两个滤波器Sx,Sy分别描述了水平和垂直梯度，将两个滤波器连接成3×3×2维张量即为Sobel滤波器；随后，对边界标签采用高斯模糊fG进行高斯滤波，从而得到最终的边界真值GTBG；平滑步骤中使用3×3高斯核；边界辅助监督任务分支的训练：构造有效的边界辅助损失LBAS，定义为预测值和与之对应的标签真值y之间的L2损失：其中，s是样本，n是样本数量；总损失Ltot包括原始语义分割损失Lce和新的边界辅助损失LBAS，其中边界权重因子β用于调节了全局信息和边界信息之间的比重；Ltot＝Lce+βLBAS通过最终损失函数提取准确的语义边界，同时增大特征的类别之间的差异性。进一步的，所述步骤(3)中，构建基于对抗学习的边界感知对抗网络GAN模型，方法如下：对抗网络GAN模型中，生成器采用边界感知DeepLabV3+模型，鉴别器采用由5个卷积层组成的神经网络模型，GAN网络的训练过程使用合成损失函数，即两组损失函数的加权和：其中，N为数据集中的图像数量，Xi表示某一输入训练图像，Yi表示对应真实标签图，输入图像的维度为H×W×3；H为图像高度，W为图像宽度，第一项为生成器中的损失项，促进分割模型预测每个像素的正确类别；S(Xi)表示生成器输出的维度为H×W×C的类别概率图，C为类别个数，E(Yi)表示通过对具有离散标签的真实标签图Yi进行独热编码而获得的C个通道的标签概率向量；第二项为鉴别器的损失函数；当对本文档来自技高网...

【技术保护点】
1.基于边界感知和对抗学习的湍流退化图像语义分割方法，其特征在于，包括以下步骤：/n(1)基于湍流成像物理模型，将仿真湍流退化图像与真实湍流退化图像相结合，构建湍流退化图像语义分割数据集；/n(2)针对步骤(1)获得的数据集，结合湍流退化图像的模糊和畸变特性，构建基于边界感知的DeepLabV3+语义分割模型；/n(3)将步骤(2)中基于边界感知的DeepLabV3+语义分割模型作为生成器，并结合由五个卷积层组成的鉴别器，构建基于对抗学习的边界感知生成对抗网络GAN模型；/n(4)针对步骤(3)获得的GAN模型，在步骤(1)获得的湍流退化图像语义分割数据集上进行模型的训练，获得训练后的语义分割GAN模型，利用训练后的语义分割对抗网络GAN模型对湍流退化图像进行语义分割，获得预测分割图。/n

【技术特征摘要】
1.基于边界感知和对抗学习的湍流退化图像语义分割方法，其特征在于，包括以下步骤：
(1)基于湍流成像物理模型，将仿真湍流退化图像与真实湍流退化图像相结合，构建湍流退化图像语义分割数据集；
(2)针对步骤(1)获得的数据集，结合湍流退化图像的模糊和畸变特性，构建基于边界感知的DeepLabV3+语义分割模型；
(3)将步骤(2)中基于边界感知的DeepLabV3+语义分割模型作为生成器，并结合由五个卷积层组成的鉴别器，构建基于对抗学习的边界感知生成对抗网络GAN模型；
(4)针对步骤(3)获得的GAN模型，在步骤(1)获得的湍流退化图像语义分割数据集上进行模型的训练，获得训练后的语义分割GAN模型，利用训练后的语义分割对抗网络GAN模型对湍流退化图像进行语义分割，获得预测分割图。


2.根据权利要求1所述的基于边界感知和对抗学习的湍流退化图像语义分割方法，其特征在于：所述步骤(1)中，湍流退化图像语义分割数据集的构建方法如下：
将湍流物理成像模型与图像处理算法即图像插值和图像卷积方法相结合，利用大气湍流物理成像模型，进行图像的湍流退化仿真，湍流物理成像模型的参数包括湍流调制传递函数MTF和光波到达角AOA起伏；图像模糊特性通过频域中的大气湍流调制传递函数MTF和空域中的点扩展函数PSF来描述，图像畸变失真与光波到达角AOA的波动有关；
真实湍流具有各向异性和非柯尔莫哥洛夫(Kolmogorov)性质，其中，各向异性因子能够在水平和垂直方向上对湍涡尺度分布的不对称性进行参数化；而湍流谱指数α在3到4之间进行取值；
给定原始图像I(x,y)，O(x,y)表示仿真后的湍流退化图像，F()和D()分别代表图像模糊算子和图像畸变算子，使用以下公式获取仿真后的湍流退化图像：
O(x,y)＝F(D(I(x,y)))
首先，设置仿真条件和参数数值，即各向异性因子、湍流谱指数、湍流强度、湍流内外尺度和成像距离，确定各向异性非Kolmogorov湍流MTF和光波AOA方差理论模型；然后，计算图像x和y两个方向上的位移矩阵，即δx和δy；第三，计算与湍流MTF的傅立叶逆变换有关的湍流点扩展函数PSF；第四，在已知δx和δy的条件下，使用图像双线性插值算法进行图像畸变仿真；最后，将畸变图像与湍流点扩展函数PSF进行卷积，得到各向异性非Kolmogorov湍流中的退化图像；
对于真实的湍流退化图像，参考现有数据集的标注规则，进行图像标签的标注。


3.根据权利要求1所述的基于边界感知和对抗学习的湍流退化图像语义分割方法，其特征在于：所述步骤(2)中，构建基于边界感知的DeepLabV3+语义分割模型，方法如下：
首先以DeepLabV3+为基础网络，然后在此基础上添加边界辅助监督模块，作为边界信息的监督指引；
边界辅助监督模块使用边缘检测滤波器，在预测分割图F和真实标签图GT上分别与边缘检测滤波器fB进行卷积，从而获得边界预测FB和边界真值GTB；边缘检测滤波器fB为3×3的Sobel滤波器；两个滤波器Sx,Sy分别描述了水平和垂直梯度，将两个滤波器连接成3×3×2维张量即为Sobel滤波器；



随后，对边界标签采用高斯模糊fG进行高斯滤波，从而得到最终的边界真值GTBG；平滑步...

【专利技术属性】
技术研发人员：崔林艳，张妍，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11