一种基于多模态数据融合的城市洪水韧性评价方法技术

本发明专利技术公开了一种基于多模态数据融合的城市洪水韧性评价方法。本发明专利技术在城市洪水韧性的评价任务中先进行了对两种模态的城市数据及对应洪水韧性评价指标标签进行预处理；然后提出通过数据特征融合模块融合两种模态数据的特征信息；最后通过城市洪水韧性评价模块基于融合特征评价城市韧性的优劣。与传统的城市洪水韧性评价方法相比，本发明专利技术首次将多模态融合的思想引入到城市洪水韧性评价任务中，并验证了其有效性。证了其有效性。证了其有效性。

【技术实现步骤摘要】
一种基于多模态数据融合的城市洪水韧性评价方法


[0001]本专利技术涉及深度学习、计算机视觉和自然语言处理领域，具体涉及一种基于多模态数据融合的城市洪水韧性评价方法。

技术介绍

[0002]洪水是最常见的自然灾害之一。由于城市包含稠密的人口、支撑工业、商业等多种经济社会活动，洪水对城市的发展和城市居民的生命财产安全具有直接且严重的威胁。不同国家、地区的诸多城市饱受洪水造成的损失。当前，“建设韧性城市”已成为社会关注的发展规划和目标，以提高城市在各类灾害发生时保持正常运作，且积极应对的能力。因此，通过学习灾害历史数据，评价城市的洪水韧性，可对提高城市灾害适应能力做出贡献。
[0003]现有城市洪水韧性评价方法，主要包括滨海社区韧性指数、快速风险评价、城市水韧性分析等。滨海社区韧性指数(Coastal Community Resilience Index，CCRI)由美国国家大气海洋管理局于2015年开发，可预测沿海城市社区在飓风、风暴潮、降雨等情况下的功能损失和短期恢复，提供分析、规划和决策基础；快速风险评价(Quick Risk Estimation，QRE)是联合国减灾署开发的一款评价工具，可根据洪水、地震、核爆炸等86种灾害的严重程度和发生的可能性建立灾害风险矩阵，识别和理解风险，输出风险评价结果；城市水韧性分析方法(City Water Resilience Approach，CWRA)为由瑞典CWRA Steering Group于2019年提出，通过理解系统评价城市水系统韧性、制定计划、实施计划、评价、学习和适应等5个步骤，对各项指标进行评分相加，得到整体的城市水韧性评价。
[0004]上述方法基于打分和问卷评价模型，以人工评价为主，需依靠有专业知识和经验的规划师、工程师和决策者参与，具有实时性较差、地域敏感性较强、成本较高等明显局限性。当前，人工智能技术的飞速发展，尤其是深度学习在计算机视觉、自然语言处理等领域的广泛应用，为更好地评价城市洪水韧性提供了新的思路。具体而言，发挥深度神经网络的挖掘能力，融合不同模态数据中的特征信息，可使城市洪水韧性评价问题以更先进、更快速、具有实时性的方法解决。

技术实现思路

[0005]本专利技术要解决的技术问题是如何使用深度学习、计算机视觉和自然语言处理领域技术，对图像和文本两种模态数据中的特征信息进行充分、有效地融合，提供一种基于多模态数据融合的城市洪水韧性评价方法。
[0006]本专利技术所采用的具体技术方案如下：
[0007]一种基于多模态数据融合的城市洪水韧性评价方法，其包括：
[0008]S1、对目标城市按照路网进行区域划分，形成一系列不规则区域；在每个不规则区域内设置若干采样点位，并针对每个采样点位获取对应的由图像数据和文本数据组成的多模态数据，所述图像数据为该采样点位处的街景图像，所述文本数据为以该采样点位为中心的邻域空间范围内用户在社交网络上发表的关于洪水的社交网络文本；基于目标城市的
地表水量变化数据集，计算每个不规则区域的洪水韧性值，并根据所有不规则区域的洪水韧性值的平均值作为阈值，对每个不规则区域赋予代表洪水韧性优劣的二值化标签；每个采样点位的洪水韧性标签为采样点位所在的不规则区域对应的二值化标签；
[0009]S2、在各采样点位的洪水韧性标签监督下，将目标城市的所有采样点位的多模态数据由数据特征融合模块和城市洪水韧性评价模块组成的城市洪水韧性评价模型中，对城市洪水韧性评价模型进行训练；在城市洪水韧性评价模型中，首先由数据特征融合模块分别对多模态数据中的图像数据和文本数据进行特征提取，其中街景图像在图像特征提取网络中被分别提取了浅层特征和深层特征并通过融合得到图像特征，而文本数据则在基于注意力机制的预训练语言模型中被提取了文本特征，图像特征和文本特征经过拼接后形成融合特征，再将融合特征输入到城市洪水韧性评价模块中对各采样点位进行洪水韧性评价，输出预测的各采样点位的洪水韧性标签；
[0010]S3、针对任一待评价点位，获取该待评价点位对应的由图像数据和文本数据组成的多模态数据，并将其输入经过训练后的城市洪水韧性评价模型中，输出待评价点位的洪水韧性标签。
[0011]作为优选，每个采样点位处的所述街景图像需经过预处理，预处理方式为：首先将街景图像放缩(Resize)成同样的大小，再进行中心裁剪，然后进行归一化(Normalize)，最终得到矫正后的街景图像数据。
[0012]作为优选，每个采样点位处的所述社交网络文本需经过预处理，预处理方式为：首先将文本中的停用词和数字删除；再基于正则表达式去除网址、以@开头的英文单词、中文以及非字母字符；最后对文本数据进行词性还原，得到矫正后的推特文本数据。
[0013]作为优选，所述的对目标城市按照路网进行区域划分，形成一系列不规则区域的具体方法如下：首先获取目标城市内部的初级矢量路网，再进行膨胀处理以消除噪声并平滑边界，之后再进行腐蚀操作以去除路网中不必要的细节，最后以矢量面图的形式存储每个封闭的不规则区域以及不规则区域的边界经纬度坐标信息。
[0014]作为优选，对每个不规则区域赋予代表洪水韧性优劣的二值化标签的具体方法如下：
[0015]获取目标城市的地表水量变化数据集并对其进行去噪处理；基于每个不规则区域的边界经纬度坐标信息，构建掩码(Mask)矩阵，再利用掩膜矩阵从去噪处理后的数据集中提取出每个不规则区域中洪水发生期间的时序数据；
[0016]针对每一个不规则区域，计算该不规则区域中每一次洪水发生期间的韧性值，计算公式为：
[0017][0018]式中：t0为当前洪水发生期间该不规则区域中洪水面积首次超过面积阈值的记录时间；Q(t)为当前洪水发生期间该不规则区域中洪水面积与时间的拟合曲线，且Q(t)的值域范围被归一化在[0,100]范围内；t1为根据拟合曲线Q(t)计算得到的当前洪水发生期间该不规则区域中洪水面积重新回落到面积阈值以下的时间；
[0019]针对每一个不规则区域，对该不规则区域中所有轮次的洪水发生期间的韧性值进行平均，并将得到的第一平均值作为该不规则区域的洪水韧性值；再将所述目标城市中所
有不规则区域的洪水韧性值进行平均，以得到的第二平均值作为韧性阈值；
[0020]最后对每个不规则区域赋予代表洪水韧性优劣的二值化标签，若一个不规则区域中的洪水韧性值高于所述韧性阈值，则赋予第一洪水韧性标签，否则赋予第二洪水韧性标签；其中，具有第一洪水韧性标签的不规则区域的洪水韧性优于具有第二洪水韧性标签的不规则区域。
[0021]作为优选，所述的数据特征融合模块中的图像特征提取网络采用ResNet 50网络模型，将街景图像输入到ResNet 50网络模型中，由ResNet 50的第一个残差块得到浅层特征，由ResNet 50的第四个残差块得到深层特征，对浅层特征和深层特征进行融合得到街景图像最终的图像特征。
[0022]作为优选，所述数据特征融合模块中的基于注意力机制的预训练语言本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据融合的城市洪水韧性评价方法，其特征在于，包括：S1、对目标城市按照路网进行区域划分，形成一系列不规则区域；在每个不规则区域内设置若干采样点位，并针对每个采样点位获取对应的由图像数据和文本数据组成的多模态数据，所述图像数据为该采样点位处的街景图像，所述文本数据为以该采样点位为中心的邻域空间范围内用户在社交网络上发表的关于洪水的社交网络文本；基于目标城市的地表水量变化数据集，计算每个不规则区域的洪水韧性值，并根据所有不规则区域的洪水韧性值的平均值作为阈值，对每个不规则区域赋予代表洪水韧性优劣的二值化标签；每个采样点位的洪水韧性标签为采样点位所在的不规则区域对应的二值化标签；S2、在各采样点位的洪水韧性标签监督下，将目标城市的所有采样点位的多模态数据由数据特征融合模块和城市洪水韧性评价模块组成的城市洪水韧性评价模型中，对城市洪水韧性评价模型进行训练；在城市洪水韧性评价模型中，首先由数据特征融合模块分别对多模态数据中的图像数据和文本数据进行特征提取，其中街景图像在图像特征提取网络中被分别提取了浅层特征和深层特征并通过融合得到图像特征，而文本数据则在基于注意力机制的预训练语言模型中被提取了文本特征，图像特征和文本特征经过拼接后形成融合特征，再将融合特征输入到城市洪水韧性评价模块中对各采样点位进行洪水韧性评价，输出预测的各采样点位的洪水韧性标签；S3、针对任一待评价点位，获取该待评价点位对应的由图像数据和文本数据组成的多模态数据，并将其输入经过训练后的城市洪水韧性评价模型中，输出待评价点位的洪水韧性标签。2.如权利要求1所述的一种基于多模态数据融合的城市洪水韧性评价方法，其特征在于，每个采样点位处的所述街景图像需经过预处理，预处理方式为：首先将街景图像放缩(Resize)成同样的大小，再进行中心裁剪，然后进行归一化(Normalize)，最终得到矫正后的街景图像数据。3.如权利要求1所述的一种基于多模态数据融合的城市洪水韧性评价方法，其特征在于，每个采样点位处的所述社交网络文本需经过预处理，预处理方式为：首先将文本中的停用词和数字删除；再基于正则表达式去除网址、以@开头的英文单词、中文以及非字母字符；最后对文本数据进行词性还原，得到矫正后的推特文本数据。4.如权利要求1所述的一种基于多模态数据融合的城市洪水韧性评价方法，其特征在于，所述的对目标城市按照路网进行区域划分，形成一系列不规则区域的具体方法如下：首先获取目标城市内部的初级矢量路网，再进行膨胀处理以消除噪声并平滑边界，之后再进行腐蚀操作以去除路网中不必要的细节，最后以矢量面图的形式存储每个封闭的不规则区域以及不规则区域的边界经纬度坐标信息。5.如权利要求1所述的一种基于多模态数据融合的城市洪水韧性评价方法，其特征在于，对每个不规则区域赋予代表洪水韧性优劣的二值化标签的具体方法如下：获取目标城市的地表水量变化数据集并对其进行去噪处理；基于每个不规则区域的边界经...

【专利技术属性】
技术研发人员：冯天，张微，胡晨璐，尤宁宁，沈骏翱，
申请(专利权)人：浙江大学，
类型：发明
国别省市：