基于大模型和提示指引的河湖管理违规问题遥感监测方法技术

本发明专利技术涉及基于大模型和提示指引的河湖管理违规问题遥感监测方法，属于遥感图像处理和监督数据处理技术领域

【技术实现步骤摘要】
基于大模型和提示指引的河湖管理违规问题遥感监测方法


[0001]本专利技术涉及一种河湖管理违规问题遥感监测方法，特别是基于大模型和提示指引的河湖管理违规问题遥感监测方法，属于遥感图像处理和监督数据处理

。

技术介绍

[0002]河湖资源在维护生态平衡
、
保护水环境以及促进可持续发展方面扮演着至关重要的角色
。
然而，在河湖管理中，存在着乱建
、
乱占
、
乱采
、
乱堆等违规问题，这些问题严重破坏了河湖生态系统，导致水资源过度开采
、
水污染加剧以及生态环境恶化
。
因此，治理河湖违规问题是关乎环境保护和可持续发展的紧迫任务
。
[0003]传统的河湖管理方法通常采用人工巡查和常规调查，但这种方式存在诸多问题，包括高投入的人力资源
、
低效率以及有限的覆盖范围
。
为了更有效地治理河湖违规问题，提高河湖管理的效率和准确性，可以借助丰富的河湖周边遥感影像
。
遥感技术利用卫星
、
航空器或其他无人机平台上的传感器来捕捉地面
、
大气和水体等信息，提供高分辨率
、
广泛覆盖范围的图像数据
。
通过分析遥感图像，可以获得河湖资源的详细信息，包括水体边界
、
水质状况
、
岸线变化等
。
同时，结合地理信息系统（
GIS
）和全球定位系统（
GPS
）等技术，实现了对河湖资源的准确定位和实时监测
。
然而，遥感图像通常分辨率高
、
信息丰富，单依赖人工解译耗时耗力，因此，在处理大规模的河湖遥感影像时，如何快速
、
自动地监测河湖违规问题仍然是一个亟需解决的挑战
。
[0004]目前，许多遥感分割方法采用深度学习技术来提取河湖影像中的深层语义特征
。
然而，深度学习通常伴随着特征图尺寸的显著缩小
。
考虑到河湖影像通常具有高分辨率和丰富的细节，河湖违规问题往往涉及小尺寸地面物体，特征图尺寸的缩小可能导致这些小尺寸物体的特征丢失，进而影响了河湖违规问题检测的准确性
。
与此同时，现有的遥感分割方法通常采用大量堆叠的模块来提高监测精度，然而这也牺牲了方法的执行效率，导致在实际应用中时间开销过大
。
[0005]近年来，大模型如
GPT
‑4和
SAM
取得了显著的进展，为人类社会的进步做出了重要贡献
。
其中经过十亿级掩码标签训练的
SAM
通过采用由点
、
边界框或粗掩码组成的提示作为输入，能够在不同的场景中分割各种各样的对象
、
部件和视觉结构
。
由于在自然图像中学习到的归纳偏差，大模型在某些特定领域（如医学图像和遥感图像）的图像识别中表现出局限性
。 现有的图像处理有用
SAM
模型的，
SAM
模型一般由图像编码器
、
提示编码器
、
掩码解码器组成
。
其中，
SAM
图像编码器拥有大量的可学习参数，导致其很难通过普通的
GPU
进行训练，因而限制了
SAM
模型的应用范围；同时，
SAM
模型的强大效果较为依赖好的提示引导，而目前的提示大多凭借人为标注产生，因而过多地消耗了人力物力，也对训练的数据集提出了更高的要求
。

技术实现思路

[0006]本专利技术的目的是克服上述不足而提供一种基于大模型和提示指引的河湖管理违
规问题遥感监测方法，在使用少量参数的同时提高了河湖违规问题遥感监测的效率和检测精度
。
[0007]本专利技术采取的技术方案为：基于大模型和提示指引的河湖管理违规问题遥感监测方法，包括步骤如下：
S1.
选取遥感图像，划分数据集并预处理；
S2.
将预处理后的遥感图像一路输入浅层特征提取器获得低级语义信息，一路输入
SAM
图像编码器提取图像特征并通过特征适配器微调；
S3.
根据提示引导策略使用标签数据产生适合的点采样，将点采样送入
SAM
提示编码器生成点提示；
S4.
将点提示和提取的图像特征送入
SAM
掩码解码器生成初步预测掩码；将初步预测掩码与低级语义信息进行元素相加，上采样得预测结果图；
S5.
利用训练集训练模型，用训练好的模型，将测试集送入模型，在不使用标签数据提取点提示下，利用提取的图像特征生成的初步预测掩码和低级语义信息生成预测结果
。
[0008]上述方法，步骤
S2
中
SAM
图像编码器，即
Vision Transformer
，总共有四层，每层分别包含2，2，6，2个注意力块；特征适配器由两个结构相同的卷积层组成，每个卷积层后面都跟随着
ReLU
激活与正则化操作
。
[0009]步骤
S2
中浅层特征提取器由三层卷积层组成，每个卷积层后面都跟随着
ReLU
激活与正则化操作，第一层扩展了图像的通道数，其卷积核大小为3，边缘填充大小为1，在不改变图片结构的同时获取特征信息；第二层为卷积核大小为1的卷积层，引入非线性映射，以在不同层次的特征表示中引入更多的非线性性质；第三层为卷积核大小为4，步长为4，边缘填充大小为1的卷积层，目的是实现图像特征的空间维度缩小
。
[0010]步骤
S3
所述的提示引导策略，使用标签数据，模仿人眼的选择点提示方式来生成点采样，将标签数据分为标记区域（即白色区域）和非标记区域（即黑色区域），选择随机的一个白色区域
f
为例，为了找到区域的中心点
C
，对该区域使用
L1
距离变换方法，该步骤可表示为：，使用该公式计算
f
区域中每个点与区域边界
Ω
之间的最小
L1
距离（
L1
距离衡量了两个向量在每个坐标轴上的差异的绝对值之和），其中
b
为区域边界上的点；选择这个集合中值最大的点作为该区域的中心点，如果不止一个点满足条件，我们按顺序选择第一个点，以此作为标记区域的点采样，其他标记区域的点采样操作与上面相同；对于非标记区域，随机选取五个点作为点采样
。
[0011]步骤
S3
中
SAM
提示编码器能够接收点采样的输入并将其编码为嵌入表示，这些嵌入表示可以作为点提示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于大模型和提示指引的河湖管理违规问题遥感监测方法，其特征是，包括步骤如下：
S1.
选取遥感图像，划分数据集并预处理；
S2.
将预处理后的遥感图像一路输入浅层特征提取器获得低级语义信息，一路输入
SAM
图像编码器提取图像特征并通过特征适配器微调；
S3.
根据提示引导策略使用标签数据产生适合的点采样，将点采样送入
SAM
提示编码器生成点提示；
S4.
将点提示和提取的图像特征送入
SAM
掩码解码器生成初步预测掩码；将初步预测掩码与低级语义信息进行元素相加，上采样得预测结果图；
S5.
利用训练集训练模型，用训练好的模型，将测试集送入模型，在不使用标签数据提取点提示下，利用提取的图像特征生成的初步预测掩码和低级语义信息生成预测结果
。2.
根据权利要求1所述的基于大模型和提示指引的河湖管理违规问题遥感监测方法，其特征是，步骤
S2
中浅层特征提取器由三层卷积层组成，每个卷积层后面都跟随着
ReLU
激活与正则化操作，第一层扩展了图像的通道数，其卷积核大小为3，边缘填充大小为1，在不改变图片结构的同时获取特征信息；第二层为卷积核大小为1的卷积层，引入非线性映射，以在不同层次的特征表示中引入更多的非线性性质；第三层为卷积核大小为4，步长为4，边缘填充大小为1的卷积层，目的是实现图像特征的空间维度缩小
。3.
根据权利要求1所述的基于大模型和提示指引的河湖管理违规问题遥感监测方法，其特征是，步骤
S2
中
SAM
图像编码器，总共有四层，每层分别包含2，2，6，2个注意力块；特征适配器由两个结构相同的卷积层组成，每个卷积层后面都跟随着
ReLU
激活与正则化操作
。4.
根据权利要求1所述的基于大模型和提示指引的河湖管理违规问题遥感监测方法，其特征是，步骤
S3
所述的提示引导策略，使用标签数据，模仿人眼的选择点提示方式来生成点采样，将标...

【专利技术属性】
技术研发人员：刘玉峰，孙启玉，孙平，杨公平，
申请(专利权)人：山东锋士信息技术有限公司，
类型：发明
国别省市：