基于超算的多源异构图数据融合方法及系统技术方案

本公开提供了一种基于超算的多源异构图数据融合方法及系统，涉及多源异构图数据处理技术领域，采用虚拟化服务器通过镜像模拟知识本体构建工具的运行环境，并以数据服务接口的方式将多个知识本体构建方法进行统一整合，能够集成知识标注、知识抽取、知识融合等图数据处理工具，实现多源异构数据的图数据融合，并且采用大规模知识图谱分布式存储方式，实时存储解析后的多源异构数据；对历史存储的多源异构数据进行统计分析，得到统计分析结果并进行可视化展示，其数据融合自动化程度高、融合速度快，可拓展性强，可支撑一站式图数据处理操作，另外，采用虚拟化技术完成各种工具环境部署，具有算力强大、硬件条件高、安全性高、性能优越的特点。优越的特点。优越的特点。

【技术实现步骤摘要】
基于超算的多源异构图数据融合方法及系统


[0001]本公开涉及多源异构图数据处理
，特别涉及一种基于超算的多源异构图数据融合方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
，并不必然构成现有技术。
[0003]随着科技的迅速发展，各类数据的体量和规模正在呈指数级增加。其中，图数据是一种较为新颖的数据模式，常见的图数据包括生活中的社交网络、交通网络、金融网络，生物医药领域的分子图结构、生物医药图数据等，具备超大规模、时序性、动态性、多模态等特点。
[0004]面对超大规模多模态异构图数据，如何快速完成数据处理、数据融合等操作，这一直是业界的难点。通常情况下，个人电脑和单节点服务器无论是在处理器、内存还是存储等方面，均无法满足超大规模多模态异构数据处理与融合的需求。虽然在现有的技术方案下，已经出现了诸多本体构建工具、数据解析工具、数据融合工具，但是以上工具间的协调性太差，无法形成一栈式数据融合框架，同时也面临算力短缺的问题，这极大影响了数据处理与数据融合的效率。
[0005]当前，常用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于超算的多源异构图数据融合方法，其特征在于，包括：获取多源异构数据，并存储于数据载体中；对所述多源异构数据进行知识标注、知识抽取、知识融合，构建基于本体的知识图谱，确定所述知识图谱构建过程中知识本体构建工具的运行环境，采用虚拟化服务器通过镜像模拟各运行环境，并以数据服务接口的方式将多个知识本体构建方法进行统一整合，得到所述多源异构数据的解析结果；采用大规模知识图谱分布式存储方式，实时存储解析后的多源异构数据；对历史存储的多源异构数据进行统计分析，得到统计分析结果并进行可视化展示。2.如权利要求1所述的多源异构图数据融合方法，其特征在于，所述多源异构数据包括结构化数据和非结构化数据；对于结构化数据，对本体数据进行解析，实时获取互联网数据进行增量更新。3.如权利要求1所述的多源异构图数据融合方法，其特征在于，采用分布式混合图数据存储模式对多源异构数据进行存储，具体包括：文件系统的数据采用MongoDB分布式存储；关系型数据采用Neo4J存储；属性类数据采用mysql存储。4.如权利要求1所述的多源异构图数据融合方法，其特征在于，还包括：基于历史存储的多源异构数据，挖掘多源异构数据在链接预测、聚类分析和属性预测方面的应用。5.如权利要求4所述的多源异构图数据融合方法，其特征在于，采用图数据处理辅助工具对历史存储的多源异构图数据进行挖掘，所述图数据处理辅助工具至少包括图计算与图算法工具、大规模图检索工具、图表示学习工具和多源异构图数据可视化工具中的一个或多个。6.一种基于超算的多源异构图数据融合系统，其特征在于，包括数据源层、计算层、数据层和分析层；...

【专利技术属性】
技术研发人员：王英龙，杨帅，武鲁，郭莹，潘景山，王春晓，赵志刚，卢晶晶，李丽君，
申请(专利权)人：山东省计算中心国家超级计算济南中心，
类型：发明
国别省市：