基于网络大数据的震后灾情应急动态监测方法技术

本发明专利技术公布了一种基于网络大数据的震后灾情应急动态监测方法，包括：获取震后网络数据；建立结构化数据集；对结构化数据集进行数据分析，确定最优网络地震应急监测指标，并标记标记不可识别指标和可识别指标；分解出分指标数据集；分指标数据集信息提取；建立云上多源地理信息数据库；建立地震应急监测矢量点文件；得到地震应急监测指标带有地理坐标的矢量图层；输出地震应急监测的空间分布图；实现震后灾情数据快速自动获取、信息识别和定位，融合多源数据，建立地震应急数据的时空可视化图像，实现基于网络信息的地震应急动态监测。实现基于网络信息的地震应急动态监测。实现基于网络信息的地震应急动态监测。

【技术实现步骤摘要】
基于网络大数据的震后灾情应急动态监测方法


[0001]本专利技术涉及地震灾情应急监测
，具体涉及一种应用人工智能技术快速获取网络地震应急监测信息的技术，是一种震后灾情网络大数据应急动态监测的方法和系统。

技术介绍

[0002]地震是对社会经济造成损失最大的突发性灾害之一，地震发生后，快速准确获取灾情数据能为实施救援提供信息支持至关重要。地震监测数据为准确制定救援方案，评估地震损失提供科学依据。
[0003]目前，现有的地震灾情应急监测常规方法是，地震灾情情况采用人工现场调查汇总数据，兼用卫星遥感技术解译地物实体受灾状况，这一方法所需时间长，收集信息不全面，调查费时耗力，难以保障快速地震应急监测的需求。

技术实现思路

[0004]本专利技术鉴于上述现有技术存在的问题，提供一种应用网络大数据的快速获取地震应急监测信息的方法。通过本专利技术的技术方案，实现震后灾情数据快速自动获取、信息识别和定位，融合多源数据，建立地震应急数据的时空可视化图像，实现基于网络信息的地震应急动态监测。
[0005]本专利技术的技术方案：
[0006]基于网络大数据的震后灾情应急动态监测方法，包括以下步骤：
[0007]1)获取震后网络数据。以社交媒体平台、媒体网站和地震地方政府网站为信源，利用合法的网站爬虫程序，经过目标优化的地震灾情主题词筛选，建立震后网络原始数据集。
[0008]2)原始数据整理，处理无效数据。对收集的原始数据清洗，去除数据集中不一致和不完整的无效、冗余和头文件等内容，建立震后灾情规范数据集。
[0009]3)从步骤2)的数据集按时间顺序转换为数据表，利用正则技术，分解并提取其中的时间、来源、标题、地点的数据属性，包括：发布时间、事件时间、事件地点、信息来源、发布人名称(昵称)、信息来源等特征，添加数据表的属性字段，建立结构化数据集。
[0010]4)利用TF
‑
ID文本关键词抽取技术对所述结构化数据集进行数据分析，以地震应急监测需求为目标筛选，确定最优网络应急监测指标，包括死亡、受伤、房屋、道路、救援队伍、救援物资、受灾人口、地质次生灾害、心理，共9个指标。建立所述地震应急监测指标的字典集，采用词频统计技术，确定指标对应的语义，扩大数据检索的全面性和准确性。利用TF
‑
ID值较小值为网络不可直接从网络获取信息，标记为不可识别指标，其余指标标记为可识别指标。对不可识别指标，转到步骤8)；
[0011]5)对步骤3)结构化数据集总表按照震后应急监测指标添加选中特征的标签进行多维分解，利用采用朴素贝叶斯算法和LSTM算法等人工智能技术，分解出截止当前时间点之内的按时间顺序排列的9个包括应急指标关键词的多个分指标数据集。
[0012]6)分指标数据集信息提取：按照指标特征分别对每个分指标数据集提取其中对应指标的数字型和文本描述型数据，采用数据变换和规范化的方法进行量化取值，将量化结果保存为按时间顺序的结果数据表，地点名称采用地州、县、镇、村四级字段详细记录。
[0013]7)建立云上地理信息数据库，集成灾区社会、经济和自然等数据集。
[0014]数据库中的数据包括常驻人口密度、矢量图行政区划图、道路、水系、DEM、卫星遥感图像、POI矢量点数据、统计年鉴、人口普查数据等GIS格式的多源数据。
[0015]8)对不可识识别指标，以网络获取的信息和云上数据库为参数，建立灾损模型计算不可识别指标。
[0016]9)将数据集接入地理信息系统，基于结果数据表的四级地名与POI矢量点逐级关联，增加事件的地理经纬度坐标，建立地震应急监测矢量点文件。
[0017]9)将9个指标数值与相应的矢量数据关联，得到该指标带有地理坐标的矢量图层。
[0018]10)对矢量数据的量化数值制图，输出地震应急监测的空间分布图。
[0019]与现有技术相比，本专利技术的有益技术效果：
[0020]本专利技术提供一种应用网络大数据的快速获取地震应急监测信息的方法，包括：获取震后网络数据；建立结构化数据集；对结构化数据集进行数据分析，确定最优网络地震应急监测指标，并标记标记不可识别指标和可识别指标；分解出分指标数据集；分指标数据集信息提取；建立云上多源地理信息数据库；建立地震应急监测矢量点文件；得到地震应急监测指标带有地理坐标的矢量图层；输出地震应急监测的空间分布图。采用本专利技术的技术方案，可快速高效全面地收集信息，实现震后灾情数据快速自动获取、信息识别和定位，融合多源数据，建立地震应急数据的时空可视化图像，实现基于网络信息的地震应急动态监测，提高准确性，保障快速地震应急监测的需求。
附图说明
[0021]图1为本专利技术提供的一种人工智能与网络大数据结合的地震灾情应急监测方法的流程框图。
[0022]图2为本专利技术实施例实现的一种人工智能与网络大数据结合的地震灾情应急监测系统的结构框图。
具体实施方式
[0023]下面结合附图，通过实施例进一步描述本专利技术，但不以任何方式限制本专利技术的范围。
[0024]图1为本专利技术实施例提供的一种人工智能与网络大数据结合的地震灾情应急监测方法流程，具体实施实现了一种人工智能与网络大数据结合的地震灾情应急监测系统，其结构如图2所示，包括：震后网络数据集建立模块、数据分解模块、量化指标模块、多源数据库模块、预测模型建立模块、应急监测数据空间化模块和地震应急监测数据可视化制图模块。其中，震后网络数据集建立模块基于原始数据采集，建立原始震后灾情数据集；数据分解模块用于对数据进行属性结构化整合，并按时间顺序将收集的记录分解，提取每一列字段，建立标准化数据库；量化指标模块用于建立应急监测指标，得到包括应急指标关键词的多个分指标数据集；多源数据库模块用于建立集成灾区社会、经济和自然多源数据的云上
地理信息数据库；预测模型建立模块用于对网络不可识别指标建立估算预测模型，包括受灾人口指标预测模型建立；应急监测数据空间化模块用于对地震应急监测矢量数据以时间间隔为索引进行空间统计，构建地震应急监测时间序列变化数据；地震应急监测数据可视化制图模块用于通过制图显示灾情空间分布特征并进一步检测灾情的环境状况。
[0025]本专利技术方法具体实施包括如下步骤：
[0026]S101步骤1、原始数据采集，建立原始震后灾情数据集；包含如下操作：
[0027]S102启动预先编制的网络爬虫数据收集程序，输入优选的震后信息主题词，优选的主题词有震中地点名称、地震发生时间、震中所在行政省市县名、此地区重要区域名称组成。
[0028]S103运行特定目标的信源网站收集震后灾情的新闻、公告和自媒体消息等信息的程序，建立震后灾情信息的原始数据。特定信源目为以用户多、更新快的权威媒体、政府网站、自媒体平台。经过比较选择确定的信源是：央视新闻网、新华网、微博、微信公众号、受灾地方政府网站。
[0029]S104爬虫算法遵循深度优先和广度优先相结合的原则对互联网数据进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于网络大数据的震后灾情应急动态监测方法，包括以下步骤：1)获取震后网络数据，建立震后灾情网络原始数据集；利用网站爬虫程序工具，经过优化的地震灾情主题词筛选，建立震后网络原始数据集；经优化的主题词包括：震中地点名称、地震发生时间、震中所在行政省市县名、地区重要区域名称组成；2)对原始数据进行整理，包括处理无效数据；对收集的原始数据清洗，去除数据集中不一致和不完整的无效、冗余和头文件，建立震后灾情规范数据集；3)将步骤2)的数据集按时间顺序转换为数据表，利用正则技术，提取其中的时间、来源、标题、地点的数据属性特征，包括：发布时间、事件时间、事件地点、信息来源、发布人名称、信息来源，添加数据表的属性字段，建立结构化数据集；4)根据所述结构化数据集数据，以地震应急监测需求为目标筛选，确定最优网络地震应急监测指标，包括死亡指标、受伤指标、房屋指标、道路指标、救援队伍指标、救援物资指标、受灾人口指标、地质次生灾害指标和心理指标；建立地震应急监测指标的字典集；采用词频统计技术，确定地震应急监测指标对应的语义，扩大数据检索；并确定和标记不可识别指标和可识别指标；对不可识别指标，转到步骤8)；5)对步骤3)结构化数据集按照震后应急监测指标添加选中特征的标签进行多维分解，分解出按时间顺序排列的包括地震应急监测指标关键词的多个分指标数据集；包括：首先进行数据分析：对输入的文本记录分词处理，利用朴素贝叶斯算法对步骤3)的结构化数据集中的文本标注后的新闻信息中每个词汇进行概率分析，得到每个词汇在每一类新闻中的分布概率，选出各指标模型并进行拟合，通过概率对每个语句的类型进行概率评估，依据概率评估结果判断新闻的最优归属类型；然后将判断的结果文本作为对应的分指标数据集的“详细内容”字段中，增加指标名称字段，并保留原来记录的结构和属性，即得到带有发布时间、详细信息、事件信息、来源属性的多个分指标数据集；6)对步骤5)得到的分指标数据集进行信息提取；按照指标特征分别对每个分指标数据集提取其中对应指标的数字型和文本描述型数据，进行量化后将量化结果保存为按时间顺序的结果数据表；地点名称采用地州、县、镇、村四级地名；7)建立云上多源地理信息数据库，其中GIS格式的多源数据包括常驻人口密度、矢量图行政区划图、道路、水系、DEM、卫星遥感图像、POI矢量点数据、统计年鉴、人口普查数据；8)基于网络获取的信息和云上多源地理信息数据库，通过建立灾损模型计算不可识别指标；不可识别指标包括受灾人口指标；建立受灾人口的灾损模型中增加流动人口密度和旅游人口密度参数，表示为：上式中，POP
dis
受灾人口总数，n和m是受灾区域网格行数和列数，受灾面积的行列数值用网络获取地震烈度图和县级行政矢量图叠加得到；POPdis为受灾人口，I
i
为地震强度，从
网络信息获取，P
a
为强度概率，POP
i
为受灾区域内利用人口普查数据计算的人口密度；POP
f
为流动人口密度；POP
t
是旅游人口密度；将得到的数据集接入地理信息系统，可进行震后数据的空间可视化及...

【专利技术属性】
技术研发人员：刘雪萍，李素菊，刘龙飞，简小虎，
申请(专利权)人：应急管理部国家减灾中心，
类型：发明
国别省市：