一种适配制造技术

本发明专利技术公开了一种适配

【技术实现步骤摘要】
一种适配SAM模型用于细粒度建筑毁伤变化检测的方法


[0001]本专利技术属于遥感图像
，具体涉及一种细粒度建筑毁伤变化检测的方法
。

技术介绍

[0002]建筑作为人类活动一个重要载体，反映了城市的扩张
、
社会的发展和土地的利用
。
建筑变化的动态监测对于城市规划
、
土地资源调查
、
违法建筑监测和灾害评估等领域十分重要
。
在人为或自然灾害导致的建筑毁伤变化场景中，通常要求获取变化建筑目标的完全消失或部分损毁的细粒度状态，其可以分别抽象为消失和重建两种类型
。
在耕地和生态环境保护场景中，则对新增建筑更加关注
。
此外，对于新增或重建建筑的分析还可应用于灾后恢复监测
。
综上，建筑变化类型根据实际应用可以概述为消失
、
新建和重建三种细粒度类型
。
然而目前主流的建筑变化检测方法通常仅关注感兴趣区域是否有建筑发生变化，无法反映变化的建筑目标的细粒度状态
。Sun
等人在文献中“Y.Sun,X.Zhang,J.Huang,H.Wang and Q.Xin,Fine
‑
Grained Building Change Detection From Very High
‑
Spatial
‑
Resolution Remote Sensing Images Based on Deep Multitask Learning,in IEEE Geoscience and Remote Sensing Letters,vol.19,pp.1
‑
5,2022.”采用多任务学习策略在对双时相图像进行变化检测的同时执行建筑物提取，进而根据变化建筑所在的时相判断其所属的细粒度变化类别
。
该方法能够有效判断消失或者新建的建筑物，而重建的建筑物受变化检测结果完整性影响要求复杂的后处理才能准确辨别
。
此外该方法要求对双时相图像的全部建筑目标进行标注进而训练建筑物提取分支，增加了数据标注的负担且要求较高的人力成本
。

技术实现思路

[0003]为了克服现有技术的不足，本专利技术提供了一种适配
SAM
模型用于细粒度建筑毁伤变化检测的方法，首先构建细粒度建筑变化检测数据集，然后注入轻量参数微调
SAM
模型，再预测建筑变化提示掩码，之后解码建筑目标细粒度变化类型，最后映射目标变化类型为毁伤程度，对于消失的建筑目标评估为完全损毁，对于重建建筑目标评估为部分损毁
。
本专利技术通过掩码提示策略将变化区域预测转换为建筑提取，使得建筑目标变化检测结果准确性增加
。
[0004]本专利技术解决其技术问题所采用的技术方案包括如下步骤：
[0005]步骤1：构建细粒度建筑变化检测数据集；
[0006]对变化建筑目标所在的时相图像进行标注，仅对应于前一时相为消失类型，仅对应于后一时相为新建类型，前后时相建筑物实例变化则为重建类型；
[0007]步骤2：注入轻量参数微调
SAM
模型图像编码器；
[0008]步骤3：预测建筑变化提示掩码；
[0009]通过聚合微调
SAM
模型图像编码器不同阶段双时相差分特征预测变化区域，并将变化置信度图二值化得到提示掩码；
[0010]步骤4：解码建筑目标细粒度变化类型；
[0011]结合提示掩码和微调
SAM
模型图像编码器输出表征在双时相图像内分别提取变化建筑目标，根据变化建筑目标所在的时相判断其所属的变化类型；
[0012]步骤5：映射目标变化类型为毁伤程度；
[0013]对于消失的建筑目标评估为完全损毁，对于重建建筑目标评估为部分损毁
。
[0014]进一步地，所述步骤1具体为：
[0015]收集双时相遥感影像，对前后时相影像内发生变化的建筑物实例进行标注，0表示非变化建筑和非建筑区域，1表示变化建筑；假设前后时相影像分别记为
I
pre
和
I
post
，对应标注分别为
L
pre
和
L
post
，则根据如下公式得到变化区域标签及细粒度建筑变化类型：
[0016]L
f
(i,j)
＝
L
pre
(i,j)+2*L
post
(i,j)
[0017][0018]其中
L
f
(i,j)∈{0,1,2,3}
，“1”、“2”和“3”分别表示建筑消失
、
新建和重建三种类型对应的标签，
C
l
(i,j)∈{0,1}
，其中“1”表示建筑变化区域，“0”表示其他区域
。
[0019]进一步地，所述步骤2具体为：
[0020]将少量可学习的参数嵌入
SAM
模型图像编码器的不同层级；假设
SAM
模型图像编码器的变换器深度为
n
，第
i
个变换器
T
i
的输出表征为
F
i
∈R
C
×
H
×
W
，可学习的嵌入记为
E
i
∈R
m
×
C
，将输出表征
F
i
与可学习嵌入
E
i
融合并输入第
i+1
个变换器
T
i+1
即得到微调的表征
F
i+1
，上述过程由下式表示：
[0021]F
i+1
＝
T
i+1
(Cat(F
i
,E
i
))
，
i
＝
0,1,
…
,n
‑1[0022]其中
F0为
SAM
模型图像编码器未经微调的浅层表征，
Cat(x,y)
表示空间维度串接操作
。
[0023]进一步地，所述步骤3具体为：
[0024]根据微调的
SAM
模型图像编码器的不同层级的表征获得双时相差分表征，对应于第
i
个变换器的差分表征记为
D
i
，则：
[0025][0026]其中
f
i1
(x)
代表维度降低函数，由一个核为1的卷积
、
一个批量标准化层和一个线性整流单元激活函数组成，用于压缩原始表征的通道本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种适配
SAM
模型用于细粒度建筑毁伤变化检测的方法，其特征在于，包括如下步骤：步骤1：构建细粒度建筑变化检测数据集；对变化建筑目标所在的时相图像进行标注，仅对应于前一时相为消失类型，仅对应于后一时相为新建类型，前后时相建筑物实例变化则为重建类型；步骤2：注入轻量参数微调
SAM
模型图像编码器；步骤3：预测建筑变化提示掩码；通过聚合微调
SAM
模型图像编码器不同阶段双时相差分特征预测变化区域，并将变化置信度图二值化得到提示掩码；步骤4：解码建筑目标细粒度变化类型；结合提示掩码和微调
SAM
模型图像编码器输出表征在双时相图像内分别提取变化建筑目标，根据变化建筑目标所在的时相判断其所属的变化类型；步骤5：映射目标变化类型为毁伤程度；对于消失的建筑目标评估为完全损毁，对于重建建筑目标评估为部分损毁
。2.
根据权利要求1所述的一种适配
SAM
模型用于细粒度建筑毁伤变化检测的方法，其特征在于，所述步骤1具体为：收集双时相遥感影像，对前后时相影像内发生变化的建筑物实例进行标注，0表示非变化建筑和非建筑区域，1表示变化建筑；假设前后时相影像分别记为
I
pre
和
I
post
，对应标注分别为
L
pre
和
L
post
，则根据如下公式得到变化区域标签及细粒度建筑变化类型：
L
f
(i,j)
＝
L
pre
(i,j)+2*L
post
(i,j)
其中
L
f
(i,j)∈{0,1,2,3}
，“1”、“2”和“3”分别表示建筑消失
、
新建和重建三种类型对应的标签，
C
l
(i,j)∈{0,1}
，其中“1”表示建筑变化区域，“0”表示其他区域
。3.
根据权利要求2所述的一种适配
SAM
模型用于细粒度建筑毁伤变化检测的方法，其特征在于，所述步骤2具体为：将少量可学习的参数嵌入
SAM
模型图像编码器的不同层级；假设
SAM
模型图像编码器的变换器深度为
n
，第
i
个变换器
T
i
的输出表征为
F
i
∈R
C
×
H
×
W
，可学习的嵌入记为
E
i
∈R
m
×
C
，将输出表征
F
i
与可学习嵌入
E
i
融合并输入第
i+1
个变换器
T
i+1
即得到微调的表征
F
i+1
，上述过程由下式表示：
F
i+1
＝
T
i+1
(Cat(F
i
,E
i
))
，
i
＝
0,1,
…
,n
‑1其中
F0为
SAM
模型图像编码器未经微调的浅层表征，
Cat(x,y)
表示空间维度串接操作
。4.
根据权利要求3所述的一种适配
SAM
模型用于细粒度建筑毁伤变化检测的方法，其特征在于，所...

【专利技术属性】
技术研发人员：王琦，张铭威，任嘉伟，李学龙，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：