基于语义分割和孪生神经网络的无人机图像变化检测方法技术

本发明专利技术属于多时相无人机图像变化检测技术领域，更具体地，涉及基于语义分割和孪生神经网络的无人机图像变化检测方法。包括以下步骤：S1.扩展数据集并划分数据集；S2.搭建基于语义分割框架DeeplabV3和孪生网络结合的深度神经网络模型；S3.利用训练数据集训练基于DeeplabV3的孪生神经网络模型；S4.基于测试数据集和训练后的模型，验证训练结果。本发明专利技术结合了语义分割的思想，并利用孪生网络权值共享特点，有利于提取有现实含义的特征，考虑像素间的语义关系和变化区域的多尺度问题，并解决噪声敏感、变化检测精度较低等问题，提高差异图的质量和鲁棒性。

【技术实现步骤摘要】
基于语义分割和孪生神经网络的无人机图像变化检测方法
本专利技术属于多时相无人机图像变化检测
，更具体地，涉及基于语义分割和孪生神经网络的无人机图像变化检测方法。
技术介绍
近年来，随着无人机技术的蓬勃发展，无人机自身特点与航拍相结合，成为了一种新的发展方向。无人机遥感技术具有实时、高分辨率、高性价比、灵活性强的优点，应用在了生态环境保护、土地利用调查、河道检测中。无人机多时相图像变化检测(ChangeDetection)，本质上，是为了检测出在同一位置、不同时相的两幅图像的显著变化区域，但是由于受光照、天气、相机因素等影响，成为了制约变化检测发挥的重要因素。目前变化检测方法主要分成先分类后分析、先比较后分析。(1)先分类后分析，先分别将两时相的图像分类，对比分析各自的分类类别图，得到变化检测的结果。(2)先比较后分析，两时相图通过比较产生差异图，然后分析差异图并得到变化检测结果。目前后者是主流的变化检测方法，产生高质量差异图是变化检测的重要方向。语义分割(SemanticSegmentation)是将图像中的每个像素点按照所属目标的语义类别进行分割，获取的是逐像素分类的分类结果，语义分割可以有效检测图像的语义信息。孪生神经网络(SimaeseNeuralNetwork)是一种包含两个子网络的架构，子网络具有相同的网络结构、参数和权重，参数的更新是在两个子网络上同时进行，共享权重可以减少训练的参数数量，提高训练效率。孪生神经网络可应用于涉及相似性的问题中，可以衡量相似度。目前已有很多学者在研究变化检测技术，论文“ANeighborhood-BasedRatioApproachforChangeDetectioninSARImages”提出基于邻域的比值算子，该算子将灰度信息与相邻像素的空间信息相结合来生成差异图，但是特征鲁棒性不高；论文“UnsupervisedChangeDetectioninSatelliteImagesUsingPrincipalComponentAnalysisandk-MeansClustering”提出了将主成分分析与K-means聚类相结合的非监督变化检测，但是手动特征的特征表达力不高；论文“ChangeDetectionBasedonDeepFeaturesandLowRank”提出多尺度分割与低秩分解的方法，从视觉显著性的角度解决变化检测问题，但却在一定程度上损失了检测精确度。以上的方法都是从像素角度实现变化检测，没有考虑到其他几何、语义信息和变化区域多尺度，并且没有解决图像变化检测对噪声敏感的问题。
技术实现思路
本专利技术为克服上述现有技术所述的至少一种缺陷，提供一种基于语义分割和孪生神经网络的无人机图像变化检测方法，结合了语义分割的思想，并利用孪生网络权值共享特点，有利于提取有现实含义的特征。为解决上述技术问题，本专利技术采用的技术方案是：一种基于语义分割和孪生神经网络的无人机图像变化检测方法，包括以下步骤：S1.扩展数据集并划分数据集；S2.搭建基于语义分割框架DeeplabV3和孪生网络结合的深度神经网络模型；S3.利用训练数据集训练基于DeeplabV3的孪生神经网络模型；S4.基于测试数据集和训练后的模型，验证训练结果。本专利技术的核心是构建基于语义分割框架DeeplabV3和孪生网络结合的深度神经网络模型；结合了语义分割的思想，并利用孪生网络权值共享特点，有利于提取有现实含义的特征，考虑像素间的语义关系和变化区域的多尺度问题，并解决噪声敏感、变化检测精度较低等问题，提高差异图的质量和鲁棒性。进一步的，所述的S1步骤具体包括：S11.通过数据增强扩展数据集：使用的数据增强方法有，翻转、改变对比度、改变亮度、锐化、截取操作；S12.划分数据集：将数据集按照7:3的比例划分训练集和测试集。进一步的，所述的S2步骤具体包括：S21.使用AID数据集以及迁移学习的方法微调ResNet50网络，构建为ResNet-AID网络；S22.以ResNet-AID作为基准网络，结合ASPP模块，构建DeeplabV3架构；S23.以DeeplabV3作为孪生神经网络的子网络，搭建基于DeeplabV3的孪生神经网络。在搭建基于DeeplabV3的孪生神经网络时，在设置中间层时，在变化特征提取模块的基础上，使用超列策略形成两时相特征图。本专利技术使用航空数据集AID以及迁移学习的方法对基准网络ResNet微调，可以使网络提取出的特征更符合无人机图像的特征；本专利技术所使用的DeeplabV3网络是一种语义分割架构，能够缓解现有变化检测技术方法所忽略的像素间语义关系以及变化区域多尺度问题，提高差异图的质量。本专利技术结合孪生神经网络架构，同时处理两幅输入图像，两个子网络共享权值，用相同方法提取两时相图像特征，有利于衡量两时相图像的相似度，提高检测精确度。进一步的，所述的S3步骤具体包括：S31.使用S2步骤中基于DeeplabV3的孪生神经网络提取训练集特征，并采用超列(hypercolumns)的策略，将不同层不同通道同一像素位置的特征通过级联层，级联成一个特征图；S32.设置对比损失函数作为模型的损失函数，并计算特征图与参考图的损失函数；该损失函数可以拉开不同特征之间的距离，缩小相似特征之间的距离，表达式为：式中，使用上述模型提取两时相图像X1、X2的特征图FW(X1)、FW(X1)的欧式距离；Y为变化检测的参考图，Yi＝1表示两图的特征图对应像素位置产生变化，Yi＝0表示两图的特征图对应像素位置未产生变化，margin表示设定的阈值；S33.使用Adam优化算法，优化网络参数，降低损失函数；S34.训练基于DeeplabV3的孪生神经网络。在搭建基于DeeplabV3的孪生神经网络时，在设置损失函数层时，本方法使用对比损失函数(ContrastiveLoss)作为损失函数，用两时相特征图和参考图进行对比，计算对比损失。进一步的，所述的S4步骤具体包括：S41.提取测试集特征：基于训练后的网络提取测试集两时相图像多通道特征，并构建成特征图；S42.计算两时相特征图之间的距离，得到差异图；S43.利用最大类间方差(OSTU)算法对差异图进行阈值分割，实现二值化处理，得到变化检测结果；S44.通过评价标准定量分析变化检测结果。在验证基于DeeplabV3的孪生神经网络时，使用训练后的模型提取测试集多时相图像的特征，构成特征图；在验证基于DeeplabV3的孪生神经网络时，对特征图计算两特征图之间的L2距离，得到差异图。进一步的，在训练基于DeeplabV3的孪生神经网络时，选用的优化方法选择Adam法，初始学习率设为0.0005，权重衰减设为0.90，在此基础上迭代训练神经网络。进一步的，在训练基于DeeplabV3的孪生神经网络时，具体的迭代训练步骤如下：S341.输入训练图像并通过前向传播得到两时相图像的特征图；S342.计算特征图与参考图之间的对比损失函数；S343.通过反向传播误差调整神经网络的权重和偏置；S344.重复以上步骤，直到达到最大迭代次数。与现有技术相比，有益效果是：本专利技术提供的一种基于语义分割和孪生神经网络的无人机图像变化检测方法，结合了语义分割的思想，并利用孪生网络本文档来自技高网...

【技术保护点】
1.一种基于语义分割和孪生神经网络的无人机图像变化检测方法，其特征在于，包括以下步骤：S1.扩展数据集并划分数据集；S2.搭建基于语义分割框架DeeplabV3和孪生网络结合的深度神经网络模型；S3.利用训练数据集训练基于DeeplabV3的孪生神经网络模型；S4.基于测试数据集和训练后的模型，验证训练结果。

【技术特征摘要】
1.一种基于语义分割和孪生神经网络的无人机图像变化检测方法，其特征在于，包括以下步骤：S1.扩展数据集并划分数据集；S2.搭建基于语义分割框架DeeplabV3和孪生网络结合的深度神经网络模型；S3.利用训练数据集训练基于DeeplabV3的孪生神经网络模型；S4.基于测试数据集和训练后的模型，验证训练结果。2.根据权利要求1所述的基于语义分割和孪生神经网络的无人机图像变化检测方法，其特征在于，所述的S1步骤具体包括：S11.通过数据增强扩展数据集：使用的数据增强方法有，翻转、改变对比度、改变亮度、锐化、截取操作；S12.划分数据集：将数据集按照7:3的比例划分训练集和测试集。3.根据权利要求1所述的基于语义分割和孪生神经网络的无人机图像变化检测方法，其特征在于，所述的S2步骤具体包括：S21.使用AID数据集以及迁移学习的方法微调ResNet50网络，构建为ResNet-AID网络；S22.以ResNet-AID作为基准网络，结合ASPP模块，构建DeeplabV3架构；S23.以DeeplabV3作为孪生神经网络的子网络，搭建基于DeeplabV3的孪生神经网络。4.根据权利要求3所述的基于语义分割和孪生神经网络的无人机图像变化检测方法，其特征在于，所述的S3步骤具体包括：S31.使用S2步骤中基于DeeplabV3的孪生神经网络提取训练集特征，并采用超列的策略，将不同层不同通道同一像素位置的特征通过级联层，级联成一个特征图；S32.设置对比损失函数作为模型的损失函数，并计算特征图与参考图的损失函数；该损失函数可以拉开不同特征之间的距...

【专利技术属性】
技术研发人员：周虹君，陈佩，郑慧诚，沈伟，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44