一种基于Transformer的宅基地遥感图像违建识别方法及系统技术方案

本发明专利技术涉及G06K9/00领域，具体为一种基于Transformer的宅基地遥感图像违建识别方法及系统。本发明专利技术提供了一种基于Transformer的宅基地遥感图像违建识别方法及系统，通过利用Transformer作为骨干网络的全局自注意力机制捕获农房宅基地，结合Faster RCNN范式进行目标检测与标注，避免识别结果受到遥感图像尺度与检测目标大小变化的影响，有效提高目标提取、定位和判定精确度；解决了传统方法识别准确度不足，人力资源投入大，效率低下，费时费力等问题。为农村违建宅基地的快速准确识别提供了一种新的技术手段，有助于相关管理部门提高工作效率，具有很高的实际应用价值。具有很高的实际应用价值。

【技术实现步骤摘要】
一种基于Transformer的宅基地遥感图像违建识别方法及系统


[0001]本专利技术涉及G06K9/00领域，具体为一种基于Transformer的宅基地遥感图像违建识别方法及系统。

技术介绍

[0002]目前，宅基地违规建设的识别方法主要是通过人工对高分辨率遥感图像的目测比较与标注。近年来，随着机器学习以及深度学习的发展，不少研究人员提出基于相关研究的方法，虽然取得了一定的效果，但是传统的人工对高分辨率遥感图像的目测比较与标注存在人力资源投入大、效率低下、费时费力等问题。
[0003]中国专利CN111692978A公开了一种基于多源影像数据的违章建筑识别方法，主要通过卫星图像识别并根据建筑物的本地太阳高度角信息以及建筑物的影子，求解获得建筑物的实际占地面积以及建筑物高度，并与备案信息相对比识别，虽然可以应用于城市建筑违章识别中，但是这种基于像素特征的统计学习或者机器学习方法存在过程复杂，容易因为输入照片特征的变化而出现精度低下的问题。中国专利CN109101984A公开了一种基于卷积神经网络的图像识别方法及装置，虽然一定程度提高了识别准确度，但是基于卷积神经网络的识别系统往往需要经过数次局部的卷积操作之后，经过堆叠的卷积层进行上采样和下采样，最后输出结果；然而农村违建宅基地在卫星或者无人机拍摄的遥感图像中占据很小的面积，多次下采样容易造成特征的丢失，严重影响识别的精度。
[0004]因此，提供一种基于Transformer的宅基地遥感图像违建识别方法，充分利用计算机视觉与深度学习方法根据遥感图像精确识别与定位宅基地，解决传统方法下精确度低、人力资源投入大、效率低下、费时费力等问题，满足农村宅基地违建识别领域的实际应用要求，具有重要的现实研究和应用意义。

技术实现思路

[0005]为了解决上述问题，本专利技术提供了一种基于Transformer的宅基地遥感图像违建识别方法及系统，通过利用Transformer作为骨干网络的全局自注意力机制捕获需要重点关注的区域，即遥感中的宅基地，最后结合Faster RCNN范式进行目标检测与标注。
[0006]本专利技术一方面提供了一种基于Transformer的宅基地遥感图像违建识别方法，至少包括以下步骤：
[0007]步骤1：获取农村宅基地的遥感图像；
[0008]步骤2：通过获取的遥感图像数据，构建数据集并对数据集进行划分；
[0009]步骤3：图像预处理与图像增强；
[0010]步骤4：将经过预处理与增强的图像输入到Transformer模型中进行全局自注意力特征提取得到特征图；
[0011]步骤5：采用RPN网络通过特征图提出区域提案；
[0012]步骤6：收集特征图和区域提案，提取提案特征图；
[0013]步骤7：将提案特征图送入分类器进行分类并且得到候选框
[0014]步骤8：构建基于Transformer的宅基地遥感图像违建识别系统。
[0015]作为一种优选的技术方案，所述步骤1中获取农村宅基地的遥感图像的的方式包括卫星拍摄、航空拍摄以及近景拍摄，可以充分适应不同地区农村的实际情况，结合卫星拍摄、航空拍摄以及近景拍摄以提供全方位、高准确度、高清晰度的农村宅基地遥感图像。
[0016]作为一种优选的技术方案，所述步骤2中数据集在机器学习/深度学习流程中进行划分，划分为训练集和测试集；训练集的作用是模型的训练，给予模型输入特征以及真实值，让模型学习其对应关系，在训练的过程中，训练集随机划分得到验证集，所述训练集与验证集的比例为9：1，作用是在模型对训练集进行一次完整的训练之后，验证模型的收敛程度；测试集的作用是在训练结束之后，测试模型的拟合程度。
[0017]作为一种优选的技术方案，所述步骤3中图像预处理与图像增强方式至少包括：
[0018](1)将图像重新调整到符合模型输入的大小；
[0019](2)对图像进行几何变换；
[0020](3)对图像进行标准化和归一化；
[0021](4)对图像的属性进行随机调整；
[0022](5)对图像进行随机的遮挡。
[0023]优选的，所述方式2中几何变换至少包括平移、翻转和旋转；优选的，所述方式4中随机调整至少包括亮度调整、对比度调整。
[0024]本申请在设计及探究过程中发现，通过采用上述方式进行图像预处理和图像增强，使输入的遥感图像符合Transformer模型的要求，另一方面提高了Transformer模型的泛化能力，便于后续特征提取。
[0025]作为一种优选的技术方案，所述步骤4中Transformer模型具体为Swin Transformer模型，采用分层和滑窗的设计，引入了计算机视觉先验的局部操作，在不丢失全局信息的同时，更好的提取局部的信息，因此也更加适用于农房宅基地目标检测的任务。
[0026]作为一种优选的技术方案，所述Swin Transformer模型经过ImageNet
‑
22K预训练的版本进行微调迁移学习，以求更快的收敛以及达到更好的效果。优选的，在后续的训练中，我们采用AdamW优化器训练模型进行训练；
[0027]作为一种优选的技术方案，所述Swin Transformer模型提取特征的过程包括：输入224*224*1的图像，经过四层特征提取块的提取得到最终的特征图，所述特征图的尺寸分别为56*56*4、28*28*8、14*14*16、7*7*32。优选的，所述四层特征提取块中每一层中堆叠数个Swin自注意力模块和多层感知机，输入的图像经过Swin自注意力模块会通过滑窗操作将图片进行分窗、自注意力机制计算、移位和重新组合，通过引入计算机视觉先验，即层次性、局部性和平移不变性，更加适用于目标检测的任务中的特征提取。输入的图像向量与参数权重矩阵Wq，Wk，Wv相乘得到三个矩阵Q，V，K，最后再通过计算得到最后的注意力特征。优选的，所述Swin自注意力模块中引入一个相对位置偏置B，进一步加强了Swin Transformer模型的泛化性能。
[0028]所述自注意力机制算法公式如下：
[0029][0030]其中，Attention(Q，K，V)为自注意力机制的输出结果。Q为查询(query)矩阵，K为键值(key)矩阵，d为K的维度，T表示转置，B表示相对位置偏置，V表示真值(value)矩阵，SoftMax为激活函数。
[0031]本申请中采用的多层感知机是简单高效的前馈人工神经网络模型，将输入的多个数据集通过前馈人工神经网络模型映射到单一数据集上进行输出。
[0032]作为一种优选的技术方案，所述步骤5中采用RPN网络通过特征图提出区域提案具体分为路径1和路径2；所述路径1为通过softmax激活函数分类锚点获得positive和negative分类；所述路径2为用于计算对应锚点的边框回归偏移量；通过提案层综合positive锚点和对应边框回归偏移量获取精确的提案，同时剔除太小本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer的宅基地遥感图像违建识别方法，其特征在于，至少包括以下步骤：步骤1：获取农村宅基地的遥感图像；步骤2：通过获取的遥感图像数据，构建数据集并对数据集进行划分；步骤3：图像预处理与图像增强；步骤4：将经过预处理与增强的图像输入到Transformer模型中进行全局自注意力特征提取得到特征图；步骤5：采用RPN网络通过特征图提出区域提案；步骤6：收集特征图和区域提案，提取提案特征图；步骤7：将提案特征图送入分类器进行分类并且得到候选框；步骤8：构建基于Transformer的宅基地遥感图像违建识别系统。2.根据权利要求1所述的一种基于Transformer的宅基地遥感图像违建识别方法，其特征在于，所述步骤1中获取农村宅基地的遥感图像的的方式包括卫星拍摄、航空拍摄以及近景拍摄。3.根据权利要求1所述的一种基于Transformer的宅基地遥感图像违建识别方法，其特征在于，所述步骤2中数据集在机器学习或深度学习流程中进行划分，划分为训练集和测试集。4.根据权利要求1所述的一种基于Transformer的宅基地遥感图像违建识别方法，其特征在于，所述步骤3中图像预处理与图像增强方式至少包括：(1)将图像重新调整到符合模型输入的大小；(2)对图像进行几何变换；(3)对图像进行标准化和归一化；(4)对图像的属性进行随机调整；(5)对图像进行随机的遮挡。5.根据权利要求1所述的一种基于Transformer的宅基地遥感图像违建识别方法，其特征在于，所述步骤4中Transformer模型具体为Swin Transformer模型，采用分层和滑窗的设计，引入了计算机视觉先验的局部操作。6.根据权利要求1所述的一种基于Transformer的宅基地遥感图像违建识别方法，...

【专利技术属性】
技术研发人员：李琦伟，林海，陈德锋，林继红，邱少健，
申请(专利权)人：诺维艾创广州科技有限公司，
类型：发明
国别省市：