【技术实现步骤摘要】
本专利技术涉及数字孪生技术和知识图谱，具体为一种流域防洪四预平台的多模态知识图谱构建方法。
技术介绍
1、数字孪生流域防洪四预平台是以物理流域为底座，以模型平台与知识平台为支撑，以算据、算法、算力为基础，以支持流域内防洪业务协同为重点，通过物理流域与数字孪生流域动态、实时信息交互和深度融合，支持防洪业务全要素预报、预警、预演、预案（即四预）功能，支持实现智慧防洪业务应用的数字化、可视化、智能化平台。四预平台中具有丰富的天空地一体化观测数据、模型模拟数据、水利对象关联关系、业务规则、知识场景、专家经验和预报调度等各类结构化数据和非结构化数据。传统知识管理难以应对如此浩瀚且缺乏统一整合和关联的知识，在会商决策中不能整合调用，不能满足对精准化决策的要求。如何融合利用多领域多源数据，针对实际流域情况及水利业务需求，构建基于知识图谱技术的水利知识体系架构，是提升流域防洪四预平台决策的精准性的关键基础。
2、知识图谱是以“实体-关系-实体”、“实体-属性-属性值”等形式将实体相互联结成网状知识结构的语义知识库，其本质是揭示实体之间关系的语义网络。如今，随着包括文本、音频、图像、视频等多种模态的海量数据迸发，多模态知识图谱成为必然。多模态知识图谱是知识图谱和多模态学习的有机结合，在汲取不同模态优点的基础上将多个模态的信息有效整合。本专利技术建构了一种流域防洪四预平台的多模态知识图谱构建方法，为流域防洪提供精准画像、决策建议、智能问答、搜索等功能，极大提升流域防洪四预平台的智能化、精准化水平。
技术实现思
1、本专利技术的目的在于提供一种流域防洪四预平台的多模态知识图谱构建方法，将多种形态数据转化为结构化信息并建立知识图谱，为四预数字孪生系统提供知识支撑。
2、本专利技术采用的技术方案是：一种流域防洪四预平台的多模态知识图谱构建方法，包括以下步骤：
3、步骤s1，从流域防洪四预平台数据底板中获取流域基础数据、流域地理空间数据、流域气象数据、流域监测数据、流域业务管理数据，获取的数据分为影像数据和文本数据；
4、步骤s2，对步骤s1获取的数据进行定性梳理和分类，构建流域防洪四预平台的知识本体和模式层；
5、步骤s3，对步骤s1获取的流域地理空间数据进行预处理，获得预处理后的流域防洪四预平台影像数据，将流域防洪四预平台影像数据通过步骤s2构建的流域防洪四预平台的模式层运用深度残差全卷积网络的遥感影像智能解译方法进行解译和分类；
6、步骤s4，基于步骤s3解译和分类的流域防洪四预平台影像数据，运用地理逆编码方法获得流域防洪四预平台影像数据的地理位置文本信息；
7、步骤s5，依据步骤s2构建的流域防洪四预平台的模式层，从步骤s1获取的流域防洪四预平台数据的文本数据中提取流域防洪四预平台的文本数据实体关系；
8、步骤s6，将步骤s4获得流域防洪四预平台影像数据的地理位置文本信息和步骤s5提取流域防洪四预平台的文本数据实体关系进行多模态数据融合；
9、步骤s7，对步骤s6多模态数据融合后的数据进行存储，构建流域防洪四预平台知识图谱。
10、进一步的，流域基础数据包括社会经济数据、水利基础数据、水利行业单位数据、水文基础数据、标准规范和管理制度文本数据。
11、进一步的，步骤s2中构建流域防洪四预平台的知识本体和模式层，具体步骤为：
12、步骤s21，通过对断面预报方案、水库预报方案、工程调度方案、历史降雨、历史洪水、历史灾害、法律法规、技术标准、规章制度、规范规程、预报经验、调度经验、抢险经验、防洪预案、应急预案、安全鉴定十六个方面的知识梳理，确定流域防洪四预平台专业知识体系，厘清层级关系，确定专业领域和范畴；
13、步骤s22，通过自顶向下的方式梳理、确定流域防洪四预平台知识本体的层级关系，确定流域防洪四预平台本体；
14、步骤s23，借助本体编辑工具 protégé以半自动化的方式构建流域防洪四预平台的模式层。
15、进一步的，步骤s3中对步骤s1获取的流域地理空间数据进行预处理，获得预处理后的流域防洪四预平台影像数据，将流域防洪四预平台影像数据通过步骤s2构建流域防洪四预平台的模式层运用深度残差全卷积网络的遥感影像智能解译方法进行解译和分类；具体步骤为：
16、步骤s31，将步骤s1获得的流域地理空间数据的影像数据导入遥感图像处理平台，使用辐射传输模块对流域地理空间数据的影像数据进行辐射校正，获得地表真实反射率；运用几何校正模块纠正流域地理空间数据的影像数据中存在的几何变形现状，获得真实地理坐标信息；运用兴趣区域工具进行无规则多边形裁剪，获得预处理后的流域防洪四预平台影像数据；
17、步骤s32，对预处理后的流域防洪四预平台影像数据中的流域实体、防洪工程、防洪对象进行矢量标注；运用深度残差全卷积网络方法对流域防洪四预平台影像数据进行编码，提取流域防洪四预平台中的影像特征；
18、步骤s33，对步骤s32提取的流域防洪四预平台中的影像特征运用深度残差全卷积网络方法中的反卷积模块进行解码，将流域防洪四预平台影像数据中的浅层和高层的图像特征进行融合，利用归一化水体指数增强对流域防洪对象、防洪工程所属地物的识别，实现语义信息和空间信息的统一表达，随后由深度残差全卷积网络方法中的分类器对流域防洪对象、防洪工程所属地物进行目标分类。
19、进一步的，步骤s4中运用地理逆编码方法获得流域防洪四预平台影像数据的地理位置文本信息；具体步骤为：流域防洪对象、防洪工程所属地物的识别；
20、步骤s41，选用地图提供的在线地理编码服务，对步骤s3预处理后的流域防洪四预平台影像数据进行逆编码处理；
21、步骤s42，利用语言软件编程调用地图提供的应用程序编程接口，将地址转换为坐标，获得地理实体的地理位置文本信息。
22、进一步的，步骤s5中依据步骤s2构建流域防洪四预平台的模式层，从步骤s1获取流域防洪四预平台数据的文本数据中提取流域防洪四预平台的文本数据实体关系；具体步骤为：
23、步骤s51，对流域防洪四预平台的文本数据进行预处理，即采用正则表达式对流域防洪四预平台的文本数据进行数据清洗，去除非常规数字字符、英文字符、标点符号字符；采用统一码四预编码方法筛选出中文字符，去除特殊标点符号，去除空格，去除特殊符号，将省略号更换为句号；
24、步骤s52，将步骤s51预处理后的流域防洪四预平台的文本数据进行序列标注，即运用生物标注方法bio标注体系进行序列标注；
25、步骤s53，对流域防洪四预平台的文本数据序列标注后，首先运用实体抽取模型electra模型进行预训练，生成实体表示；然后将实体表示输入到双向长短时记忆网络bilstm模型进行上下文实体语义学习，输出实体特征表示；最后将实体特征表示输入到条件随机场crf模型完成序列标注任务；
26、步骤s54，采用神经本文档来自技高网...
【技术保护点】
1.一种流域防洪四预平台的多模态知识图谱构建方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种流域防洪四预平台的多模态知识图谱构建方法，其特征在于：流域基础数据包括社会经济数据、水利基础数据、水利行业单位数据、水文基础数据、标准规范和管理制度文本数据。
3.根据权利要求2所述的一种流域防洪四预平台的多模态知识图谱构建方法，其特征在于：步骤S2中构建流域防洪四预平台的知识本体和模式层，具体步骤为：
4.根据权利要求3所述的一种流域防洪四预平台的多模态知识图谱构建方法，其特征在于：步骤S3中对步骤S1获取的流域地理空间数据进行预处理，获得预处理后的流域防洪四预平台影像数据，将流域防洪四预平台影像数据通过步骤S2构建流域防洪四预平台的模式层运用深度残差全卷积网络的遥感影像智能解译方法进行解译和分类；具体步骤为：
5.根据权利要求4所述的一种流域防洪四预平台的多模态知识图谱构建方法，其特征在于：步骤S4中运用地理逆编码方法获得流域防洪四预平台影像数据的地理位置文本信息；具体步骤为：
6.根据权利要求5所述的一种流域防
7.根据权利要求6所述的一种流域防洪四预平台的多模态知识图谱构建方法，其特征在于：
8.根据权利要求7所述的一种流域防洪四预平台的多模态知识图谱构建方法，其特征在于：步骤S54具体步骤如下：
9.根据权利要求8所述的一种流域防洪四预平台的多模态知识图谱构建方法，其特征在于：步骤S6中将步骤S4获得流域防洪四预平台影像数据的地理位置文本信息和步骤S5提取的文本数据实体关系进行多模态数据融合；具体步骤为：
10.根据权利要求9所述的一种流域防洪四预平台的多模态知识图谱构建方法，其特征在于：步骤S7中对步骤S6多模态数据融合后的数据进行存储，具体为：利用图数据库Neo4j对多模态数据融合后的流域防洪四预平台的实体和关系进行存储。
...【技术特征摘要】
1.一种流域防洪四预平台的多模态知识图谱构建方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种流域防洪四预平台的多模态知识图谱构建方法，其特征在于：流域基础数据包括社会经济数据、水利基础数据、水利行业单位数据、水文基础数据、标准规范和管理制度文本数据。
3.根据权利要求2所述的一种流域防洪四预平台的多模态知识图谱构建方法，其特征在于：步骤s2中构建流域防洪四预平台的知识本体和模式层，具体步骤为：
4.根据权利要求3所述的一种流域防洪四预平台的多模态知识图谱构建方法，其特征在于：步骤s3中对步骤s1获取的流域地理空间数据进行预处理，获得预处理后的流域防洪四预平台影像数据，将流域防洪四预平台影像数据通过步骤s2构建流域防洪四预平台的模式层运用深度残差全卷积网络的遥感影像智能解译方法进行解译和分类；具体步骤为：
5.根据权利要求4所述的一种流域防洪四预平台的多模态知识图谱构建方法，其特征在于：步骤s4中运用地理逆编码方法获得流域防洪四预平台影像数据的地理位置文本信息；具...
【专利技术属性】
技术研发人员：许小华，涂小强，王小笑，李光锦，吴治玲，
申请(专利权)人：江西省水利科学院江西省大坝安全管理中心，江西省水资源管理中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。