【技术实现步骤摘要】
本专利技术涉及深度学习，尤其是涉及一种基于多模态语义学习的农田地膜遥感提取方法。
技术介绍
1、农田地膜铺设是干旱半干旱地区作物种植的重要步骤。由于塑料地膜具有保温保湿的作用，因此能大幅减少作物播种及发芽阶段的土壤水分蒸发损耗，提高土地的灌溉效率。但是，由于农田地膜的材质属于塑料产品，难以被土壤自然降解，因此会对土壤和自然环境造成污染。近年来，随着我国大力推动黑土地保护和绿色农业发展，探索农田地膜的大范围、高效监测方法成为了当前亟待解决的关键科学问题之一。
2、传统的农田地膜监测主要以实地调查为主，主要依靠调查人员前往具体的农田区域开展走访测量，虽然可以实地记录具体的地膜状态，但是监测效率较低，难以满足当前大范围的农田地膜监测需求。
3、近年来，随着空间科学技术的发展，空间遥感技术为开展大范围地表地物监测提供了新途径。遥感卫星影像可以分为主动遥感、被动影像两类不同模态的数据。主动遥感成像方式具有穿透能力强，不易受云雾干扰的优势，但是其空间分辨率较低，如合成孔径雷达遥感影像等。被动遥感数据具有空间分辨率多样、光谱分辨率较高的特点，但是容易受到云雾干扰。被动遥感数据主要包括了多光谱遥感影像等。如果能够将不同模态的遥感影像进行联合分析，即开展多模态的遥感影像分析，将有望提高遥感影像内容解译的有效性。
4、另外，在农田地膜遥感提取方面，当前主流的农田地膜提取主要依靠人工方式来完成。一方面，需要对从事遥感手工地物标注的人员进行大量前期培训。另一方面，从事遥感手工地物标注的人员存在因工作疲劳导致的错标、漏
5、当前，以深度学习为代表的人工智能技术飞速发展。特别是面向目标提取的语义学习模型已经在传统的农业信息统计、工业流程控制、商业数据分析、图像文本识别等领域开展了一定的应用。相较于遥感地物中的建筑物、道路等常见的地物类型，农田地膜因透光率高、地膜宽度较窄，因此农田地膜的图像纹理更为复杂，需要对语义学习模型的网络结构开展针对性设计，以适应包括多光谱遥感影像和合成孔径雷达遥感影像在内的不同光谱分辨率、空间分辨率的多模态遥感影像的特点，进而实现农田地膜的遥感精确提取。
6、本专利技术针对现有农田遥感提取的人工标注方法存在的人工成本高、效率低的问题，以及遥感影像中农田地膜图像纹理复杂的特点，提出了基于多模态语义学习的农田地膜遥感提取方法，从提取不同颗粒度级别的多模态遥感影像特征信息角度出发，通过设计和构建多模态语义学习模型，实现自动化的农田地膜遥感提取过程，提高农田地膜监测效率。
技术实现思路
1、本专利技术所要解决的技术问题是现有农田地膜遥感提取的人工标注方法存在的效率低下问题，因此提出一种基于多模态语义学习的农田地膜遥感提取方法，实现自动化的农田地膜的遥感提取过程，提高农田地膜监测效率。
2、本专利技术解决上述技术问题所采用的技术方案为：一种基于多模态语义学习的农田地膜遥感提取方法，特别是所提出的多模态语义学习模型能够针对农田地膜在农田尺度和田间尺度上不同的影像纹理特点，通过提取和融合不同颗粒度级别的多模态遥感影像特征信息，进而实现从多模态的遥感影像中提取农田地膜的过程。本专利技术的技术方案流程如图1所示。本专利技术的方法包含如下步骤：
3、1)多模态遥感影像读入：
4、多模态遥感影像样本集包括了多光谱遥感影像样本集a、合成孔径雷达遥感影像样本集b，共两种模态的遥感影像样本数据。对多模态遥感影像样本集中的农田地膜区域进行样本真值标注，为下一步的模型训练提供影像样本与标注真值。
5、2)多模态语义学习模型训练：
6、图2为多模态语义学习模型的结构示意图。多模态语义学习模型由图3所示的粗颗粒度特征提取模块、图4所示的中颗粒度特征提取模块、图5所示的细颗粒度特征提取模块、图6所示的多光谱遥感影像的多级颗粒度特征融合模块、图7所示的合成孔径雷达遥感影像的多级颗粒度特征融合模块、图8所示的多模态遥感影像的特征融合模块、图9所示的农田地膜的识别模块，共7种类别的模块组成。各模块分别由卷积层、残差卷积层、池化层、合并层、上采样层组成。其中，卷积层的核函数尺寸包括了1×1和3×3两种，残差卷积层的核函数尺寸包括了1×1和3×3两种，池化层的池化窗口尺寸为2×2，上采样层的采样倍数为2。
7、首先，设定多模态语义学习模型的多模态遥感影像输入尺寸：多光谱遥感影像为128像素×128像素×9通道，合成孔径雷达遥感影像为128像素×128像素×2通道。
8、基于图2所示的多模态语义学习模型，采用多光谱遥感影像样本集a、合成孔径雷达遥感影像样本集b作为模型的多光谱遥感影像输入和合成孔径雷达遥感影像输入。
9、多光谱遥感影像分别输入到粗颗粒度特征提取模块、中颗粒度特征提取模块、细颗粒度提取模块中进行不同颗粒度等级的特征提取，随后将多级颗粒度特征提取结果输入到多光谱遥感影像的多级颗粒度特征融合模块进行特征融合，得到多光谱遥感影像的多级颗粒度融合特征。合成孔径雷达遥感影像分别输入到粗颗粒度特征提取模块、细颗粒度提取模块中进行不同颗粒度等级的特征提取，随后将多级颗粒度特征提取结果输入到合成孔径雷达遥感影像的多级颗粒度特征融合模块进行特征融合，得到合成孔径雷达遥感影像的多级颗粒度融合特征。进一步，将多光谱遥感影像的多级颗粒度融合特征与合成孔径雷达遥感影像的多级颗粒度融合特征输入到多模态遥感影像的特征融合模块进行特征融合，得到多模态遥感影像的融合特征。最后，将多模态遥感影像的融合特征输入到农田地膜的识别模块，得到农田地膜识别结果。
10、在设计各模块的网络层结构的过程中，本专利技术充分考虑了包含多光谱遥感影像和合成孔径雷达遥感影像在内的多模态遥感影像的光谱分辨率、空间分辨率的不同，以及两种遥感影像对于云雾穿透力、光谱波段范围的特点，进而对卷积层的卷积核尺寸设置、残差卷积层与卷积层的交替排列、卷积层和池化层的递进式布局进行了有针对性地专门设计，进而实现更好的农田地膜识别效果。具体而言，多光谱遥感影像相比于合成孔径雷达遥感影像而言，空间分辨率和光谱分辨率更高，因此在图2所示的多模态语义学习模型中，多光谱遥感影像分别输入到了粗、中、细，共三级颗粒度的特征提取模块中进行不同颗粒度等级的特征信息提取。相比之下，合成孔径雷达遥感影像因空间分辨率和光谱分辨率相对较低，因此仅使设计了粗、细，共两级颗粒度的特征提取模块。另外，在各颗粒度级别的特征提取模块中，卷积层采用了串联布局，卷积核尺寸为1×1和3×3共两种，其目的是采用1×1的小尺度卷积核来获取局部的特征信息，采用3×3的大尺度卷积核来获取全局的特征信息。同时，利用残差卷积层来提高网络参数传递的鲁棒性，提高模型训练效率。
11、在多光谱遥感影像的多级颗粒度特征融合模块和合成孔径雷达遥感影像的多级颗粒度特征融合模块中，按照两者在特征信息的颗粒度等级多样性本文档来自技高网...
【技术保护点】
1.一种基于多模态语义学习的农田地膜遥感提取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态语义学习的农田地膜遥感提取方法，其特征在于，多模态语义学习模型由粗颗粒度特征提取模块、中颗粒度特征提取模块、细颗粒度特征提取模块、多光谱遥感影像的多级颗粒度特征融合模块、合成孔径雷达遥感影像的多级颗粒度特征融合模块、多模态遥感影像的特征融合模块、农田地膜的识别模块，共7种类别的模块组成；各模块分别由卷积层、残差卷积层、池化层、合并层、上采样层组成；其中，卷积层的核函数尺寸包括了1×1和3×3两种，残差卷积层的核函数尺寸包括了1×1和3×3两种，池化层的池化窗口尺寸为2×2，上采样层的采样倍数为2。
3.根据权利要求1所述的一种基于多模态语义学习的农田地膜遥感提取方法，其特征在于，多模态语义学习模型的网络训练中，损失函数为二元交叉熵，优化器为Adam，迭代次数为80，批处理数为20，学习率为0.001；通过上述过程，得到训练好的多模态语义学习模型。
4.根据权利要求1所述的一种基于多模态语义学习的农田地膜遥感提取方法，其特征在于，所
...【技术特征摘要】
1.一种基于多模态语义学习的农田地膜遥感提取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态语义学习的农田地膜遥感提取方法，其特征在于，多模态语义学习模型由粗颗粒度特征提取模块、中颗粒度特征提取模块、细颗粒度特征提取模块、多光谱遥感影像的多级颗粒度特征融合模块、合成孔径雷达遥感影像的多级颗粒度特征融合模块、多模态遥感影像的特征融合模块、农田地膜的识别模块，共7种类别的模块组成；各模块分别由卷积层、残差卷积层、池化层、合并层、上采样层组成；其中，卷积层的核函数尺寸包括了1×1和3×3两种，残差卷积层...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。