一种数据迁移改进数据有限区域滑坡危险性评估的方法技术

本发明专利技术公开了一种数据迁移改进数据有限区域滑坡危险性评估的方法，属于地质灾害防治技术领域。通过数据迁移的评估算法，将数据量完整且丰富的区域中的历史样本筛选出有益于数据有限区域的滑坡灾害危险性评估建模。通过该方法可以有效解决数据非常有限区域由于样本不足无法建立可靠模型的问题。本不足无法建立可靠模型的问题。本不足无法建立可靠模型的问题。

A method of data migration to improve landslide risk assessment in data limited areas

【技术实现步骤摘要】
一种数据迁移改进数据有限区域滑坡危险性评估的方法


[0001]本专利技术涉及一种数据迁移改进数据有限区域滑坡危险性评估的方法，属于地质灾害防治


技术介绍

[0002]滑坡是一种地质灾害，严重地危害当地居民的生产生活。我国是滑坡地质灾害多发区，滑坡每年造成巨大的经济损失和人员伤亡，对其开展危险性评估以合理规避和减少滑坡灾害风险至关重要。但由于滑坡灾害具有分布广泛但影响范围较为局地，且缺乏像地震和台风等灾害的监测台站资料，这导致了在如青藏高原或西南山区等数据有限地区开展滑坡危险性评估建模极具挑战性。

技术实现思路

[0003]为了克服现有技术的不足，本专利技术提供了一种数据迁移改进数据有限区域滑坡危险性评估的方法，以改进数据有限区域滑坡灾害危险性的评估，解决在数据缺乏或非常有限的地区滑坡危险性无法建模、难以评估的问题。
[0004]本专利技术的技术方案：本专利技术提供了一种数据迁移改进数据有限区域滑坡危险性评估的方法，其包括如下步骤：步骤一、定义区域A为有充足且完整的历史滑坡灾害数据，区域B为仅有非常有限数据量的滑坡灾害数据；步骤二、从区域A的历史滑坡灾害数据中提取影响滑坡因素构建基于深度学习卷积神经网络的滑坡危险性模型，所述滑坡危险性模型包括特征提取模块和分类模块两部分，所述特征提取模块为卷积神经网络结构，包括卷积层、池化层和全连接层，所述卷积层用于特征提取，通过提取到特定的、有效的、能够反应原始数据与目标任务之间关联的图像特征；所述池化层用于实现降采样，以实现卷积神经网络特征提取的层次性，使特征提取特征的视野随网络深度逐渐展开，所述全连接层用于实现卷积神经网络单元之间全连接，最终提出适用于进行滑坡危险性分类目标概率估计的高维度影响因素特征；所述分类模块选择Softmax classifier分类器用于通过高维度影响因素特征变量中对历史滑坡分类做概率估计，再根据指标评估方法确定最终的深度学习卷积神经网络模型的参数组合，作为完整历史区域A的深度学习滑坡灾害危险性评估模型；步骤三、建立一种基于相似系数的距离函数评估算法，其计算公式如下：式中X为区域A样本在所述影响滑坡因素特征变量上的值，Y为区域B样本在所述影响滑坡因素特征变量上的值，为区域A和区域B的样本表现于各所述影响滑坡因素上的相似性距离，X
A1
为区域A第1个滑坡灾害点在不同所述影响滑坡因素上的特征向量；X
An
为区域A第N个滑坡灾害点在不同所述影响滑坡因素上的特征向量；Y
A1
为区域B第1个滑坡灾
害点在不同所述影响滑坡因素上的特征向量；Y
An
为区域B第N个滑坡灾害点在不同所述影响滑坡因素上的特征向量；对于每个区域A中的历史滑坡数据样本，通过所述基于相似系数的距离函数评估算法评估其与区域B有限数据集的距离，并排序选择一定数量与区域B样本特征更接近的区域A中的样本，将与区域B有限的数据样本差异较大的样本移除，而与区域B有限样本较为接近的样本保留，作为潜在辅助样本C；步骤四、将区域B的有限数据随机划分为区域B训练集和区域B测试集，利用区域B的有限训练集样本，对所述完整历史区域A的深度学习滑坡灾害危险性评估模型进行参数微调，并应用于所述区域B测试集，计算其指标评估方法；步骤五、将步骤三中筛选得到的所述潜在辅助样本C逐个引入步骤四的过程中，用于改进和丰富参数优化调整的样本量，并每次评估所述潜在辅助样本C对于区域B测试集评估表现的贡献和影响，其损失函数采用混淆矩阵分类正确率通过交叉验证方法逐个计算，所述交叉验证方法首先将所有潜在辅助样本C引入区域B训练集计算得到引入所有辅助样本的分类正确率E
m
，再将潜在辅助样本C逐个样本从区域B训练集剔除，计算得逐个剔除样本的分类正确率E
i
，对比E
i
和E
m
，如果分类正确率降低，则该被剔除样本为有益贡献的样本，需要保留下来，反之则为无益样本，从潜在辅助样本C中移除，最终得到区域B的有益历史样本D；步骤六、所述区域B的有益历史样本D对步骤二中建立的所述完整历史区域A的深度学习滑坡灾害危险性评估模型进行参数优化和调整，得到对区域B的改进深度学习数据迁移滑坡灾害危险性评估模型。
[0005]进一步地，步骤二中，所述指标评估方法包括分类正确率评估方法、ROC曲线下的面积评估方法。
[0006]进一步地，步骤二中，所述影响滑坡因素包括地貌、地质岩性、植被覆盖、土壤类型、降水、距道路、河流和断裂带距离。
[0007]进一步地，步骤二中，所述分类正确率为不同模型参数组合情况下完整历史区域A中的训练滑坡和非滑坡样本被模型正确分类占所有训练样本的比例。
[0008]进一步地，步骤五中，所述损失函数采用混淆矩阵分类正确率计算，包括步骤如下：根据实际是否为滑坡灾害与模型预测是否为滑坡灾害进行联立，设滑坡灾害为1，非滑坡灾害为0，可以得到一个2乘2的混淆矩阵，所述混淆矩阵根据实际和预测是否发生滑坡灾害可以分为四种情况，分别是：f
a
为实际非滑坡灾害样本，预测也为非滑坡灾害样本；f
b
为实际非滑坡灾害样本，预测为滑坡灾害样本；f
c
为实际滑坡灾害样本，预测为非滑坡灾害样本；f
d
为实际滑坡灾害样本，预测为滑坡灾害样本，据此可计算分类正确率O
a
公式如下： 。
[0009]有益效果本专利技术一种数据迁移改进数据有限区域滑坡危险性评估的方法通过数据迁移的评估算法，将数据量完整且丰富的区域中的历史样本筛选出有益于数据有限区域的滑坡灾害危险性评估建模。通过该方法可以有效解决数据非常有限区域由于样本不足无法建立可靠模型的问题。
附图说明
[0010]图1为本专利技术一种数据迁移改进数据有限区域滑坡危险性评估的方法流程示意图；图2为特征提取模块流程结构示意图；图3为获得有益历史样本D流程示意图；图4为完整历史滑坡灾害样本代表性区域A：东南山地丘陵福建省；图5为有限滑坡灾害样本代表性区域B：西南横断山区；图6为采用本专利技术方法和直接用有限数据开展滑坡危险性建模的ROC曲线；图7为直接基于有限数据建模得到的滑坡危险性分布图；图8为采用本专利技术方法在数据有限地区建模得到的滑坡危险性分布图。
具体实施方式
[0011]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。
[0012]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0013]在本实施例的一些可实现方式中，本专利技术提出了一种数据迁移改进数据有限区域滑坡危险性评估的方法，其包括如下步骤：步骤一、定义区域A为有充足且完整的历史滑坡灾害数据，区域B为仅有非常有限数据量的滑坡灾害数据；步骤二、基于区域A的完整本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移改进数据有限区域滑坡危险性评估的方法，其包括如下步骤：步骤一、定义区域A为有充足且完整的历史滑坡灾害数据，区域B为仅有非常有限数据量的滑坡灾害数据；步骤二、从区域A的历史滑坡灾害数据中提取影响滑坡因素构建基于深度学习卷积神经网络的滑坡危险性模型，所述滑坡危险性模型包括特征提取模块和分类模块两部分，所述特征提取模块为卷积神经网络结构，包括卷积层、池化层和全连接层，所述卷积层用于特征提取，通过提取到特定的、有效的、能够反应原始数据与目标任务之间关联的图像特征；所述池化层用于实现降采样，以实现卷积神经网络特征提取的层次性，使特征提取特征的视野随网络深度逐渐展开，所述全连接层用于实现卷积神经网络单元之间全连接，最终提出适用于进行滑坡危险性分类目标概率估计的高维度影响因素特征；所述分类模块选择Softmax classifier分类器用于通过高维度影响因素特征变量中对历史滑坡分类做概率估计，再根据指标评估方法确定最终的深度学习卷积神经网络模型的参数组合，作为完整历史区域A的深度学习滑坡灾害危险性评估模型；步骤三、建立一种基于相似系数的距离函数评估算法，其计算公式如下：式中X为区域A样本在所述影响滑坡因素特征变量上的值，Y为区域B样本在所述影响滑坡因素特征变量上的值， 为区域A和区域B的样本表现于各所述影响滑坡因素上的相似性距离，X
A1
为区域A第1个滑坡灾害点在不同所述影响滑坡因素上的特征向量；X
An
为区域A第N个滑坡灾害点在不同所述影响滑坡因素上的特征向量；Y
A1
为区域B第1个滑坡灾害点在不同所述影响滑坡因素上的特征向量；Y
An
为区域B第N个滑坡灾害点在不同所述影响滑坡因素上的特征向量；对于每个区域A中的历史滑坡数据样本，通过所述基于相似系数的距离函数评估算法评估其与区域B有限数据集的距离，并排序选择一定数量与区域B样本特征更接近的区域A中的样本，将与区域B有限的数据样本差异较大的样本移除，而与区域B有限样本较为接近的样本保留，作为潜在辅助样本C；步骤四、将区域B的有限数据随机划分为区域B训练集和区域B测试集，利用区域B的有限训练集样本，对所述完整历史区域A的深度学习滑坡灾害危险性评估模型进行参数微调，并应用于所述区域B测试集，计...

【专利技术属性】
技术研发人员：林齐根，黄金龙，王国杰，王艳君，苏布达，翟建青，姜彤，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：