一种基于交叉域师生互训的倒塌建筑物检测方法和系统技术方案

本发明专利技术提出一种基于交叉域师生互训的倒塌建筑物检测方法和系统。其中，方法包括：应用航空光学遥感数据的人工标注和航空光学遥感数据作为输入，训练教师网络，得到伪标签；应用航空光学遥感数据和卫星光学遥感数据作为输入，训练航空卫星风格迁移网络，生成伪卫星光学遥感数据；将伪卫星光学遥感数据、人工标注和伪标签作为输入，训练学生网络；应用EMA算法将本轮训练完成的学生网络中的参数更新到教师网络中，对教师网络的参数进行更新，并进行训练迭代，训练完成的教师网络即为最终获取的目标检测模型；将航空光学遥感数据输入目标检测模型，检测倒塌建筑物。本发明专利技术提出的方案能够通过航空遥感和卫星遥感图像数据有效地检测出损坏建筑物。测出损坏建筑物。测出损坏建筑物。

【技术实现步骤摘要】
一种基于交叉域师生互训的倒塌建筑物检测方法和系统


[0001]本专利技术属于灾害响应和倒塌建筑物检测领域，尤其涉及一种基于交叉域师生互训的倒塌建筑物检测方法和系统。

技术介绍

[0002]检测受损或倒塌建筑对于地震灾害应急响应至关重要。在倒塌建筑物检测的相关算法中，可以通常分为两类：一类是基于灾前和灾后图像之间的变化检测；另一类是仅基于灾后图像的检测。由于变化检测需要进行大量的预处理，且地震灾害存在很大的偶然性，导致即时的灾前航空数据很难获取。因此，大多数算法和技术是基于灾后图像上构建检测模型。
[0003]近年来，深度学习在目标检测领域得到了广泛应用，提出了许多成功的目标检测模型，如Faster
‑
Rcnn和YOLO等这些成熟的基于深度学习的目标检测模型已经被应用于检测倒塌的建筑物。然而，深度学习模型的训练通常需要大量标记数据。由于航空遥感数据收集的门槛较高，同时地震倒塌受损的建筑物数据又比较稀缺，因此可供深度学习模型训练的相关数据集非常稀少。此外，单个场景中受损区域有限，特征多样性不足。以上限制，导致使用先标注数据然后对模型进行监督训练，这种传统目标检测模型训练范式训练得到的倒塌建筑物检测模型有以下两个问题：
[0004]1.训练样本不足导致模型识别准确率不高；
[0005]2.由于航空数据和卫星数据为不同图像域的数据，基于航空数据训练的模型，在卫星数据上表现明显变差。
[0006]这些问题限制了深度学习在地震灾害响应应用中的发展。
[0007]在深度学习领域的现有技术中，往往使用半监督学习来应对标注样本少的问题。半监督目标检测技术是利用标注、弱标注或未标注数据来训练目标检测器。同时航空数据和卫星数据可以认为是不同图像域的数据，域适应算法可以帮助模型提升在不同图像域上的平均表现。但目前还没有将半监督学习和域适应算法结合到地震倒塌建筑物检测中的技术。
[0008]现有技术一的技术方案
[0009]文献《Earthquake
‑
Induced Building Damage Mapping Based on Multi
‑
Task Deep Learning Framework》提出的技术主要原理为将带标注的震后图像数据输入深度学习语义分割模型进行训练，令模型除了检测倒塌建筑以外还要检测正常的建筑，强化网络的特征学习。
[0010]现有技术一的缺点
[0011]1.此技术仍然为传统监督学习的训练范式，没有使用无标签数据的机制。
[0012]2.不能解决当标注样本少时产生的过拟合问题，以及模型在航空数据和卫星数据之间的域迁移问题。
[0013]现有技术二的技术方案
[0014]一项名为“Cross
‑
Domain Adaptive Teacher for Object Detection”的研究提出了一种类似的师生框架，用于解决目标检测中的域适应问题。在这项研究中，源域有标签，目标域无标签，因此存在域间的差异。该研究提出了一种名为“自适应教师”的自训练框架，尝试解决模型域迁移问题，并通过对抗学习和相互学习提高目标领域的伪标签质量。该模型包括两个独立的模块：目标特定的教师模型和跨领域的学生模型。这项研究也应用了弱强增强技术，并使用了Faster R
‑
CNN作为检测器的骨干网络。
[0015]现有技术二的缺点
[0016]1.在解决源域数据和目标域数据之间域迁移问题时，仅在特征图层面通过损失函数和Discriminator来约束特征提取模块(Feature Encoder)，而没有在原始输入图像层面针对图像域之间的差异做对齐或过渡。
[0017]2.没有在航空遥感和卫星遥感图像上，特别是倒塌建筑物检测上验证或应用。
[0018]3.没有针对性的解决航空遥感图像和卫星遥感图像的跨图像域目标检测问题。
[0019]4.数据增强方式上没有根据两个域的图像特性进行针对性设计，仍然使用传统的强随机数据增强方式容易导致训练不稳定，偏差增大。

技术实现思路

[0020]为解决上述技术问题，本专利技术提出一种基于交叉域师生互训的倒塌建筑物检测方法的技术方案，以解决上述技术问题。
[0021]本专利技术第一方面公开了一种基于交叉域师生互训的倒塌建筑物检测方法，所述方法包括：
[0022]步骤S1、构建包括倒塌建筑物的航空光学遥感数据和卫星光学遥感数据的数据集；
[0023]步骤S2、应用航空光学遥感数据的人工标注和所述航空光学遥感数据作为输入，训练教师网络，得到伪标签；
[0024]步骤S3、应用航空光学遥感数据和卫星光学遥感数据作为输入，训练航空卫星风格迁移网络，生成伪卫星光学遥感数据；所述航空卫星风格迁移网络的结构是一种非配对图像到图像转换的生成对抗网络；
[0025]步骤S4、将所述伪卫星光学遥感数据、人工标注和伪标签作为输入，训练学生网络；
[0026]步骤S5、应用EMA算法将本轮训练完成的学生网络中的参数更新到所述教师网络中，对所述教师网络的参数进行更新；
[0027]步骤S6、重复步骤S2～S5对所述教师网络进行训练迭代，训练完成的教师网络即为最终获取的目标检测模型；
[0028]步骤S7、将航空光学遥感数据输入所述目标检测模型，检测倒塌建筑物。
[0029]根据本专利技术第一方面的方法，在所述步骤S2中，选择二阶段模型Faster
‑
Rcnn作为教师网络。
[0030]根据本专利技术第一方面的方法，在所述步骤S2中，应用损失函数根据本专利技术第一方面的方法，在所述步骤S2中，应用损失函数对所述教师网络进行训练；
[0031]其中，表示RPN分类损失，表示RPN回归损失，表示ROI分类损失，表示ROI回归损失。
[0032]根据本专利技术第一方面的方法，在所述步骤S3中，所述航空卫星风格迁移网络的网络结构学习一个映射G：X1→
X2和F：X2→
X1；
[0033]X1代表航空光学遥感数据，X2代表卫星光学遥感数据，G和F表示映射函数；
[0034]将循环一致性损失函数与X1和X2的对抗损失函数相结合，得到航空卫星风格迁移网络训练的非配对图像到图像转换的完整目标函数。
[0035]根据本专利技术第一方面的方法，在所述步骤S3中，选择Cycle
‑
GAN网络作为航空卫星风格迁移网络。
[0036]根据本专利技术第一方面的方法，在所述步骤S4中，所述将所述伪卫星光学遥感数据、人工标注和伪标签作为输入，训练学生网络的方法包括：
[0037]将伪卫星光学遥感数据分别与所述人工标注和伪标签组成两组训练数据对，将所述两组训练数据对作为输入，训练学生网络。
[0038]根据本专利技术第一方面的方法，在所述步骤S4中，所述学生网络模型由一个R
‑
CNN网络和一个C本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于交叉域师生互训的倒塌建筑物检测方法，其特征在于，所述方法包括：步骤S1、构建包括倒塌建筑物的航空光学遥感数据和卫星光学遥感数据的数据集；步骤S2、应用航空光学遥感数据的人工标注和所述航空光学遥感数据作为输入，训练教师网络，得到伪标签；步骤S3、应用航空光学遥感数据和卫星光学遥感数据作为输入，训练航空卫星风格迁移网络，生成伪卫星光学遥感数据；所述航空卫星风格迁移网络的结构是一种非配对图像到图像转换的生成对抗网络；步骤S4、将所述伪卫星光学遥感数据、人工标注和伪标签作为输入，训练学生网络；步骤S5、应用EMA算法将本轮训练完成的学生网络中的参数更新到所述教师网络中，对所述教师网络的参数进行更新；步骤S6、重复步骤S2～S5对所述教师网络进行训练迭代，训练完成的教师网络即为最终获取的目标检测模型；步骤S7、将航空光学遥感数据输入所述目标检测模型，检测倒塌建筑物。2.根据权利要求1所述的一种基于交叉域师生互训的倒塌建筑物检测方法，其特征在于，在所述步骤S2中，选择二阶段模型Faster
‑
Rcnn作为教师网络。3.根据权利要求2所述的一种基于交叉域师生互训的倒塌建筑物检测方法，其特征在于，在所述步骤S2中，应用损失函数于，在所述步骤S2中，应用损失函数对所述教师网络进行训练；其中，表示RPN分类损失，表示RPN回归损失，表示ROI分类损失，表示ROI回归损失。4.根据权利要求1所述的一种基于交叉域师生互训的倒塌建筑物检测方法，其特征在于，在所述步骤S3中，所述航空卫星风格迁移网络的网络结构学习一个映射G：X1→
X2和F：X2→
X1；X1代表航空光学遥感数据，X2代表卫星光学遥感数据，G和F表示映射函数；将循环一致性损失函数与X1和X2的对抗损失函数相结合，得到航空卫星风格迁移网络训练的非配对图像到图像转换的完整目标函数。5.根据权利要求4所述的一种基于交叉域师生互训的倒塌建筑物检测方法，其特征在于，在所述步骤S3中，选择Cycle
‑
GAN网络作为航空卫星风格迁移网络。6.根据权利要求1所述的一种基于交叉域师生互训的倒塌建筑物检测方法，其特征在于，...

【专利技术属性】
技术研发人员：尹鹏宇，潘洁，谭骏翔，王旻罡，杨宏，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：